肝癌診療ガイドライン外部評価の結果
科学的根拠に基づく肝癌診療ガイドライン評価委員会
| 名前（敬称略） | 所属機関名 |
科・職名 |
|---|---|---|
| 今岡真義 | 大阪府立成人病センター | 総長 |
| 工藤正俊 | 近畿大学 | 消化器内科教授 |
| 菅野健太郎 | 自治医科大学 | 消化器内科教授 |
| 山口俊晴 | 癌研究会附属病院 | 消化器外科部長 |
| 山口拓洋 | 東京大学医学部 | 生物統計学 |
| A氏 | 患者代表 |
肝癌診療ガイドライン外部評価の結果
本診療ガイドライン作成過程の妥当性や臨床現場への適用可能性などを客観的に評価するために，本ガイドラインの作成後，その開発に直接関わっていない肝癌専門医2名（内科系，外科系各1名），肝癌を専門としないが臨床ガイドラインに精通している医師2名（非専門医），生物統計専門家1名，患者代表1名の計6名から構成される外部評価委員によって，独立した評価が行われた（表1参照）。評価は，診療ガイドラインを評価するツールとして世界的に用いられているAGREE（Appraisal of Guidelines for Research and Evaluation）プロジェクトによる評価方法1），Shaneyfeltらによる評価方法2），COGS（Conference on Guideline Standardization）による評価方法3）を用いて行われた（各調査票を附録1〜3につけた）。結果の概要を以下に示す。なお，評価全体のサンプルサイズが6名と少ないことに加え，その6名をさらに，肝癌専門医，非専門医，医師以外に分けての集計・比較も探索的に行っており，結果の解釈には十分注意する必要がある。
| 職種 | 小計 | 合計 | ||
|---|---|---|---|---|
| 医師 | 肝癌専門医 | 2 |
4 |
6 |
| 非専門医 | 2 |
|||
| 医師以外 | 生物統計家 | 1 |
2 |
|
| 患者代表 | 1 |
|||
【AGREEによる評価】
AGREEによる評価は6領域（「対象と目的」，「利害関係者の参加」，「作成の厳格さ」，「明確さと提示の方法」，「適用可能性」，「編集の独立性」）23項目および全体評価1項目の計24項目から成る。各項目について，4点：「強くあてはまる」から1点：「まったくあてはまらない，または情報がない」の4段階で評価される。また，各項目にはコメントを記載するための欄が設けられている。
領域毎の平均点（最低1点〜最高4点）および標準化スコア（最高評点に対するパーセンテージとして標準化したスコア，最低0％〜最高100％）4）は，「対象と目的」についてはそれぞれ3.56点，85％，「利害関係者の参加」2.35点，42％，「作成の厳格さ」3.43点，81％，「明確さと提示の方法」3.50点，83％，「適用可能性」2.47点，44％，「編集の独立性」2.33点，44％であり，「対象と目的」，「作成の厳格さ」および「明確さと提示の方法」については非常に優れているものの，「利害関係者の参加」，「適用可能性」および「編集の独立性」については改善の余地があることが示唆された（表2，図1参照）。また，「利害関係者の参加」については，専門医の評価が他と比してやや高かったものの，全体としては三者でほぼ一貫した結果が得られた。
各項目に関しては，評価が高いものとしては，項目2：「ガイドラインで取り扱う臨床上の問題が具体的に記載されている」，項目15：「推奨が具体的であり，曖昧でない」などであり（図2参照），一方で，評価が低かった項目は，項目7：「ガイドラインの想定する利用者ですでに試行されたことがある」，項目23：「ガイドライン作成グループの利害の衝突が記載されている」，項目5：「患者の価値観や好みが十分に考慮されている」などであった（図3参照）。項目7については，「試行のプロセスに関する具体的な記述はない」とのコメントがあった（表3参照）。項目23については，「グループ間の利害などは全くないように思えます」などのコメントがあり，質問の前提がそもそも成立しないとも思われた。項目5については，「患者団体の参加なし」などのコメントがあり，患者がガイドライン作成に関わっていないことが原因と考えられるが，一方で，「（患者の参加がないのは）班会議の性格上やむなし」とのコメントもみられた。項目6：「ガイドラインの利用者が明確に定義されている」については，専門医の評価は高かった（平均3.50点）一方で，非専門医2.5点，医師以外2.0点と専門が離れるにつれて評価が低くなっていた（表2参照）。また，項目22：「ガイドラインは編集に関して資金源から独立している」については，専門医の評価は高いものの（平均3.50点），非専門医の評価は低く（平均2.0点），医師でも肝癌専門医かどうかによって評価が異なっていた。
全体評価については，「本ガイドラインを診療に用いることを推奨するか？」という質問に対し，半数が「きわめて有用である」と回答し，残りの評価者も「有用である」と回答していた（図4参照）。
図1：AGREEによる肝癌診療ガイドラインに対する今回の評価結果
AGREE |
|
|---|---|
| 評価項目 | １．ガイドライン全体の目的が具体的に述べられている。 |
| ・前文に具体的に述べられている 。 | |
| ・厚労省の支援事業として行われたことが記されていない。 | |
| ２．ガイドラインで取り扱う臨床上の問題が具体的に記載されている。 | |
| ・適切な Reserch question が取り扱われている。 | |
| ３．どのような患者を対象にしたガイドラインであるかが具体的に記載されている。 | |
| ・具体的に対象患者が各項目で示されている。 | |
| ・予防の項は肝癌でない患者も対象となっている。 | |
| ・患者というより肝癌という疾患を対象としたガイドラインとなっている。 | |
| １．〜３． | |
| ・癌の治療（根治−治療−療法）は基本的には切除である。しかし、肝癌は癌そのものが特殊性を帯びており、また障害肝に対する侵襲になる。これらの背景が多くの治療法を生み出した。加えて肝移植が癌の診療に加えられてきた、など前文がもう少しわかりやすく説明されていたらと思いました。 | |
| ４．ガイドライン作成グループには、関係するすべての専門家グループの代表者が加わっている。 | |
| ・充分な専門家が網羅されている。 | |
| ・放射線治療（重粒子線）、癌化学療法の専門家が不足。 | |
| ・研究者がどのように決められたかが明記していない。 | |
| ・私には評価不能。 | |
| ５．患者の価値観や好みが十分に考慮されている。 | |
| ・患者の価値観や好みに考慮した記載・文献の採用はみられない。 | |
| ・患者団体の参加なし（班会議の性格上やむなし）。 | |
| ・作成グループに患者はいない。「患者の価値観を考慮して・・・すべき」とか、「患者の面接によりだんだんすると・・・」といった記述はない。 | |
| ６．ガイドライン利用者が明確に定義されている。 | |
| ・前文に若干の記載がみられる。 | |
| ・事業の性格によりおのずと明らかであるか、「利用者」の明確な定義は記述されていない。 | |
| ７．ガイドラインの想定する利用者がすでに試行されたことがある。 | |
| ・特にこの点は該当しない。 | |
| ・試行のプロセスに関する具体的な記述はない。 | |
| ８.エビデンスを検索するために系統的な方法が用いられている。 | |
| ・この点は明確に記載されている。 | |
| ９．エビデンスの選択基準が明確に記載されている。 | |
| ・前文に明確に記載されている。 | |
| １０．推奨を決定する方法が明確に記載されている。 | |
| ・サイエンティフィックステートメント・解説で明確に記載、ただし、意見が一致しなかった場合の解決法は明記されず。 | |
| １１．推奨の決定にあたって、健康上の利益、副作用、リスクが考慮されている。 | |
| ・様々な治療のメリット・デメリット etc. の記載は各項目でみられる。 | |
| ・リスクについての記載が不足している傾向あり。 | |
| １２．推奨とそれを支持するエビデンスとの対応関係が明確である。 | |
| ・何とはなしに、少し主観が入っているような念を受ける部分があるのでは、と思います。 | |
| ・各項目にエビデンスレベル、推奨度の記載が明確にされている。 | |
| １３．ガイドラインの公表に先立って、外部審査がなされている。 | |
| ・現在されていると思います。 | |
| ・実際に進行中。 | |
| ・報告書を「公表」と扱わなければ３となりますが。 | |
| １４．ガイドラインの改訂手続きが予定されている。 | |
| ・前文に記載。 | |
| ・時期の明示はなされていない | |
| ・改訂をいつ、どこが行うかが記されていない | |
| ・「定期的に改訂される必要がある」と記述されてはいるが、予定の具体的言及はない。→記載予定との記述により（３）に変更しました。 | |
| １５．推奨が具体的であり、曖昧でない。 | |
| ・具体的にリサーチクエスチョンに対する結論は明確、診断診療アルゴリズムは具体的。 | |
| 評価項目 | １６．患者の状態に応じて、可能な他の選択肢が明確に示されている。 |
| ・実際の臨床の場面では、より悩むこともあると思われますが、今後の課題でしょうか。 | |
| ・全体を通読すると、選択肢は示されているが、AGREE 評価用チェックリストで示されるほど、明確には列記されていない。 | |
| ・JIS あるいは LLIP など、あるいは腫瘍の個数に応じた治療選択。 | |
| １７．どれが重要な推奨か容易に見分けられる。 | |
| ・治療しなくてもよい、あるいは何もしないほうがよい場面もあると思いますが、やや悩む場面もあるのでは？ | |
| ・P16〜P19 推奨一覧や診断とのアルゴリズムは容易に理解しやすい。 | |
| １８．利用のためのツールが用意されている。 | |
| ・ホームページ公開および出版予定。 | |
| １９．推奨の適用にあたって予想される制度・組織上の障碍が論じられている。 | |
| ・各項目に保険適用になっているか否かなどが論じられている。 | |
| ・一部論じられているが、もっと増やすべき。 | |
| ２０．推奨の適用に伴う付加価値的な費用（資源）が考慮されている。 | |
| ・付加的な費用を伴うことは、この GL の場合、少ないと思われる。したがって、この点についての記載は少ない。 | |
| ・経済的分析が不足。 | |
| ・不要という判断であろうが、記述のないところもみられる。記述されているところも定量的ではない。 | |
| １９．〜２０． | |
| ・健康保険適用が記載されていることは好ましい。しかし、病因には諸事情があり、健康保険採用されていない治療・診断がグレードAの推奨とされると非常に困ることになる。 | |
| ２１．ガイドラインにモニタリング・監査のための主要な基準が示されている。 | |
| ・よくわかりませんが、あまり示されていないのでは？ | |
| ・この GL にモニタリング、監査はなじまないが、手術・局所療法・TAE・移植の基準は明確に記載されている。 | |
| ２２．ガイドラインは編集に関して資金源から独立している。 | |
| ・これは独立しているように思われます。 | |
| ・厚労省からの資金であるが、基本的には独立していると考えるべき。 | |
| ・厚労省の支援を100％受けている。 | |
| ２３．ガイドライン作成グループの利害の衝突が記載されている。 | |
| ・グループ間の利害などは全くないように思われます。 | |
| ・もともと利害の衝突はないと考えられるが、しかし、その点の記載はなし（たとえば、インターフェロンメーカーなどからの研究費）。 | |
| ・ただし、もともと利害の衝突するグループとは見受けられない。 | |
| あなたはこれらのガイドラインを診療に用いることを推奨しますか？ | |
| ・肝癌に対する始めてのガイドラインとしては優れています。 | |
| ・きわめて明快で EBM に則って作成されている。 | |
| ・局所治療（腹腔鏡下）についての評価が少ない。 | |
図４：AGREE全体評価「本ガイドラインを診療に用いることを推奨するか」
【Shaneyfeltらによる評価】
Shaneyfeltらによる評価は25項目から成り，すべてYes/Noで回答する。Yesと回答した割合が100％であった項目は，項目2：「ガイドラインの作成理由と基本原理，重要性が記載されている」など13項目であった（表4参照）。一方，項目6：「想定している読者，使用者が特定されている」，項目18：｢利得と害が定量的に記載されている」，項目19：「診療行為のコストへの影響が記載されている」，項目22：「患者の意向が考慮されている」の割合がかなり低く，項目20：「コストが定量的に示されている」についてはYesと回答した評価者は皆無であった。
| 評価 項目 |
Yes | No | 総計 | Yesの割合 | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 専門医 | 非専門医 | 医師以外 | 計 | 専門医 | 非専門医 | 医師以外 | 計 | 専門医 | 非専門医 | 医師以外 | 計 | ||
| 1 | 2 | 1 | 2 | 5 | 0 | 1 | 0 | 1 | 6 | 100% | 50% | 100% | 83% |
| 2 | 2 | 2 | 2 | 6 | 0 | 0 | 0 | 0 | 6 | 100% | 100% | 100% | 100% |
| 3 | 2 | 2 | 1 | 5 | 0 | 0 | 1 | 1 | 6 | 100% | 100% | 50% | 83% |
| 4 | 2 | 2 | 2 | 6 | 0 | 0 | 0 | 0 | 6 | 100% | 100% | 100% | 100% |
| 5 | 2 | 1 | 1 | 4 | 0 | 1 | 1 | 2 | 6 | 100% | 50% | 50% | 67% |
| 6 | 1 | 0 | 0 | 1 | 1 | 2 | 2 | 5 | 6 | 50% | 0% | 0% | 17% |
| 7 | 2 | 2 | 1 | 5 | 0 | 0 | 0 | 0 | 5 | 100% | 100% | 100% | 100% |
| 8 | 1 | 2 | 2 | 5 | 1 | 0 | 0 | 1 | 6 | 50% | 100% | 100% | 83% |
| 9 | 1 | 0 | 1 | 2 | 1 | 2 | 0 | 3 | 5 | 50% | 0% | 100% | 40% |
| 10 | 2 | 1 | 1 | 4 | 0 | 1 | 1 | 2 | 6 | 100% | 50% | 50% | 67% |
| 11 | 2 | 2 | 2 | 6 | 0 | 0 | 0 | 0 | 6 | 100% | 100% | 100% | 100% |
| 12 | 2 | 2 | 2 | 6 | 0 | 0 | 0 | 0 | 6 | 100% | 100% | 100% | 100% |
| 13 | 2 | 2 | 2 | 6 | 0 | 0 | 0 | 0 | 6 | 100% | 100% | 100% | 100% |
| 14 | 2 | 2 | 2 | 6 | 0 | 0 | 0 | 0 | 6 | 100% | 100% | 100% | 100% |
| 15 | 2 | 2 | 2 | 6 | 0 | 0 | 0 | 0 | 6 | 100% | 100% | 100% | 100% |
| 16 | 2 | 2 | 2 | 6 | 0 | 0 | 0 | 0 | 6 | 100% | 100% | 100% | 100% |
| 17 | 2 | 2 | 1 | 5 | 0 | 0 | 1 | 1 | 6 | 100% | 100% | 50% | 83% |
| 18 | 0 | 0 | 1 | 1 | 2 | 2 | 1 | 5 | 6 | 0% | 0% | 50% | 17% |
| 19 | 0 | 1 | 1 | 2 | 2 | 1 | 1 | 4 | 6 | 0% | 50% | 50% | 33% |
| 20 | 0 | 0 | 0 | 0 | 2 | 2 | 2 | 6 | 6 | 0% | 0% | 0% | 0% |
| 21 | 2 | 2 | 2 | 6 | 0 | 0 | 0 | 0 | 6 | 100% | 100% | 100% | 100% |
| 22 | 0 | 1 | 0 | 1 | 2 | 1 | 2 | 5 | 6 | 0% | 50% | 0% | 17% |
| 23 | 2 | 2 | 2 | 6 | 0 | 0 | 0 | 0 | 6 | 100% | 100% | 100% | 100% |
| 24 | 2 | 2 | 2 | 6 | 0 | 0 | 0 | 0 | 6 | 100% | 100% | 100% | 100% |
| 25 | 2 | 2 | 2 | 6 | 0 | 0 | 0 | 0 | 6 | 100% | 100% | 100% | 100% |
| 総計 | 39 | 37 | 36 | 112 | 11 | 13 | 12 | 36 | 148 | 78% | 74% | 75% | 76% |
| 評価 項目 |
Yes | No | 総計 | Yesの割合 | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 専門医 | 非専門医 | 医師以外 | 計 | 専門医 | 非専門医 | 医師以外 | 計 | 専門医 | 非専門医 | 医師以外 | 計 | ||
| 1 | 2 | 2 | 2 | 6 | 0 | 0 | 0 | 0 | 6 | 100% | 100% | 100% | 100% |
| 2 | 2 | 2 | 2 | 6 | 0 | 0 | 0 | 0 | 6 | 100% | 100% | 100% | 100% |
| 3 | 2 | 2 | 2 | 6 | 0 | 0 | 0 | 0 | 6 | 100% | 100% | 100% | 100% |
| 4 | 2 | 1 | 0 | 3 | 0 | 1 | 2 | 3 | 6 | 100% | 50% | 0% | 50% |
| 5 | 2 | 0 | 1 | 3 | 0 | 2 | 1 | 3 | 6 | 100% | 0% | 50% | 50% |
| 6 | 2 | 1 | 1 | 4 | 0 | 1 | 1 | 2 | 6 | 100% | 50% | 50% | 67% |
| 7 | 1 | 2 | 1 | 4 | 1 | 0 | 1 | 2 | 6 | 50% | 100% | 50% | 67% |
| 8 | 2 | 2 | 2 | 6 | 0 | 0 | 0 | 0 | 6 | 100% | 100% | 100% | 100% |
| 9 | 2 | 2 | 2 | 6 | 0 | 0 | 0 | 0 | 6 | 100% | 100% | 100% | 100% |
| 10 | 2 | 2 | 1 | 5 | 0 | 0 | 1 | 1 | 6 | 100% | 100% | 50% | 83% |
| 11 | 2 | 2 | 2 | 6 | 0 | 0 | 0 | 0 | 6 | 100% | 100% | 100% | 100% |
| 12 | 2 | 1 | 2 | 5 | 0 | 1 | 0 | 1 | 6 | 100% | 50% | 100% | 83% |
| 13 | 1 | 2 | 1 | 4 | 1 | 0 | 1 | 2 | 6 | 50% | 100% | 50% | 67% |
| 14 | 2 | 2 | 1 | 5 | 0 | 0 | 1 | 1 | 6 | 100% | 100% | 50% | 83% |
| 15 | 2 | 0 | 2 | 4 | 0 | 2 | 0 | 2 | 6 | 100% | 0% | 100% | 67% |
| 16 | 0 | 0 | 1 | 1 | 2 | 2 | 0 | 4 | 5 | 0% | 0% | 100% | 20% |
| 17 | 2 | 2 | 2 | 6 | 0 | 0 | 0 | 0 | 6 | 100% | 100% | 100% | 100% |
| 18 | 0 | 0 | 1 | 1 | 2 | 2 | 1 | 5 | 6 | 0% | 0% | 50% | 17% |
| 総計 | 30 | 25 | 26 | 81 | 6 | 11 | 9 | 26 | 107 | 83% | 69% | 74% | 76% |
AGREE |
|||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| ・班会議で作成するガイドラインと適応するのが無理な項目がある。 | |||||||||||||
Shaneyfelt |
|||||||||||||
| ・AGREE のほうがよいのでは？ | |||||||||||||
| ・９については、｢外部評価結果｣が記載されることを前提に評価。 | |||||||||||||
COGS |
|||||||||||||
| ・比較的要点を得た評価であるが、やや具体性に乏しいのでは？ | |||||||||||||
| ・１１は外部評価の結果の記載がなされることを前提に回答。 | |||||||||||||
| ・評価項目が多岐にわたるのに、Yes/No でこたえることは困難な場合がある。AGREE のように小設問に分けての評価の方がよい。 | |||||||||||||
【COGSによる評価】
COGSによる評価は18項目から成り，Shaneyfeltらの評価と同様にすべてYes/Noで回答する。Yesと回答した割合が100％であった項目は，項目1：「概観資料（ガイドラインの公開の日付，構造化抄録の提示など）」や項目2：「焦点（扱う主な疾患，介入についての記載など）」など7項目であった（表5参照）。一方，項目16：「患者の選好（患者の選好の役割についての記載など）」と項目18：「実施にあたっての考慮（勧告の適用にあたって予想される障害についての記載など）」については，20％以下であった。
【ガイドライン評価方法に関する有用性】
各評価には，それぞれの方法が有用かどうかを問う項目がついている。いずれの評価方法についても，評価者全員が「きわめて有用である」あるいは「有用である」と回答していたが，コメント内容も考慮すると，AGREEの評価が他に比して高かったと考えられる（図5，表6参照）。
【考察】
ガイドラインの対象や目的，作成プロセス，推奨（勧告）の明確さなどについては，いずれの評価方法を用いても高い評価が得られていたものの，利害関係者（患者）の参加，適用可能性（実際の適用にあたっての考慮）などについては評価が低かった。ある程度予想された結果ではあるが，これらをどう考慮していくかは今後の課題と思われた。また，今回は評価者が6名と限定されており，また，肝癌専門医，非専門医，医師以外の比較についても，十分な検討は不可能であった。今後は，特に，本ガイドラインを実際の臨床現場で用いるより多くの医師，コメディカルあるいは患者などからの評価を受け，意見を求めることが重要であろう。また，どのような評価方法を用いるかについても，さらなる検討の余地があると思われる。
AGREEにおける全体評価では，評価者全員が「きわめて有用である」，「有用である」と回答しており，一方，ShaneyfeltあるいはCOGSによる評価にはそのような総合評価項目はみられないものの，全項目をまとめて全体でのYesと回答した割合を試行的に求めてみたところ，いずれも76％であった（表4，表5参照）。以上より，いくつかの課題は残るものの，本ガイドラインの評価は総じて高いと考えられる。
【文献など】
- 1） Appraisal of Guidelines for Research and Evaluation（AGREE）Collaboration. http://www.agreecollaboration.org/
- 2） Shaneyfelt TM, et al. JAMA 1999; 281: 1900-5.
- 3） The Conference on Guideline Standardization. Ann Intern Med 2003; 139（6）: 493-8.
- 4） 長谷川友紀ら訳. ガイドラインの研究・評価用チェックリスト Appraisal of Guidelines for Research and Evaluation（AGREE）instrument. 2001.
（山口拓洋）
