医療画像AIのアノテーション事例|専門医の関与・規制・品質設計の実務

医療画像AIのアノテーション事例|専門医の関与・規制・品質設計の実務

胸部CTを経験のある放射線科医4人が別々に読影すると、3mm以上の結節だと4人全員が判定する病変は約3分の1にとどまります。公開データセットLIDC-IDRIの集計では、1人以上が「3mm以上の結節」と判定した2,669病変のうち、4人全員が同じ判定をしたのは928病変(34.7%)でした(Armato et al., 2011)。医療画像のアノテーションは、専門家どうしでも判断が分かれることを前提に設計します。

この記事では、公開データセットの作成手順と国内の規制をもとに、医療画像診断AIのアノテーションで発注前に決めておく項目を整理します。データアノテーション全体の基礎はデータアノテーションの完全ガイドにまとめています。

1. 医療画像AIのアノテーションは「正解が1つに決まらない」前提で設計する

医療画像診断を支援するAIは、病変の疑いがある部位を示すもの(CADe)と、病変の種類や良悪性の候補を示すもの(CADx)に大きく分けられます。どちらも、医師が判断した病変の位置や種類を教師データとして学習します。

一般的な物体検出では、「車」や「歩行者」の正解を作業者が判断できます。医療画像では、病変かどうか、どこまでが病変かの判断に専門知識が要ります。専門医どうしでも判断が一致しない場合があり、冒頭のLIDC-IDRIの結果はその一例です。そのため、作業の手順だけでなく、判断が分かれたときに何を正解とするかを先に決めておく必要があります。

モダリティごとに成果物と工数の要因が変わる

医療画像は、撮影装置(モダリティ)によってデータの形式が大きく異なります。

モダリティデータの形式主なアノテーション成果物工数を左右する要因
単純X線2D画像所見の有無の分類、病変の矩形所見の種類の数、重なって写る臓器の読み分け
CT・MRI断面(スライス)を積み重ねた3D画像臓器・病変の3Dセグメンテーション、結節の位置と大きさ1検査あたりのスライス数、スライス間で境界をそろえる作業
病理(バーチャルスライド)1枚が数万ピクセル四方に及ぶ2D画像腫瘍領域の塗り分け、細胞単位の分類画像の大きさ、拡大倍率の指定、染色の濃さの違い
内視鏡動画病変の矩形・領域、病変が写る区間フレーム数、カメラの動きによるぶれ
超音波動画・静止画計測線、病変の領域撮影者による画像の違い、画面に焼き込まれた文字

矩形・ポリゴン・塗り分けといった手法ごとの工数と精度の違いは画像アノテーションの種類6手法で比較しています。ピクセル単位の塗り分けはセマンティックセグメンテーションとは?で、CT・MRIのような立体データの扱いは3Dアノテーションとは?で解説しています。

2. 専門医の関与とダブルチェックの組み方

医療画像のアノテーションでは、すべての作業を専門医が担う必要はありません。公開データセットの多くは、作業を担当する人と、結果を承認する専門医を分けています。

誰が描き、誰が承認するか

脳腫瘍のMRIデータセットBraTS 2021では、複数の自動セグメンテーションを統合した下書きを、神経放射線科のアノテーターが修正しました。その結果を15年以上の経験を持つ神経放射線科の専門医2人が確認し、承認するか、修正を求めて差し戻しました(Baid et al., 2021)。

この分担では、専門医の時間を「境界を描く作業」ではなく「判断の確認」に充てられます。発注時には、次の3つの役割に誰を充てるかを決めます。

  • 作業者 — 研修を受けたアノテーター、医学知識のある作業者、研修医など。ガイドラインに沿って領域を描く
  • 確認者 — 専門医。作業者のラベルを確認し、承認か差し戻しかを判断する
  • 判定者 — 確認者どうしの判断が分かれたときに最終判断をする、経験年数の長い専門医

独立して読影し、そのあと相互に確認する

LIDC-IDRIでは、4人の胸部放射線科医が2段階で読影しました。1回目は他の医師の結果を見ずに各自で病変を記録し、2回目は他の3人の結果を匿名で見たうえで、自分の記録を修正するかどうかを決めました。目的は結節をできるだけ漏れなく拾うことで、4人の判断を1つにまとめることは求めていません(The Cancer Imaging Archive)。

他の人の結果を先に見せると、その判断に引きずられることがあります。独立した読影を先に行えば、どの病変で判断が分かれたかが記録に残ります。

医療画像アノテーションのダブルチェックの流れ。AIの下書きを作業者が修正し、2人の専門医が互いの結果を見ずに確認する。判断が一致すれば承認し、分かれた場合は判定者が最終判断をする。差し戻した理由と判断の記録は、ガイドラインの改訂に使う

正解を何で決めるかを先に決める

確認者の判断が分かれたときの決め方には、多数決、合議、判定者による決定などがあります。胸部X線のデータセットCheXpertでは、評価用データの正解を5人の放射線科専門医の合意で決めています(Irvin et al., 2019)。

画像だけでは確定できない所見では、病理診断の結果や経過観察の結果を正解とする方法もあります。この場合、画像以外の診療情報をどう結び付けるかを、データの提供元と事前に取り決めます。

3. データの取り扱い・倫理・規制

医療画像は、アノテーションの品質より先に、データを外部の作業者に渡せるかどうかが問題になります。この章は実務の観点から整理したもので、個別の判断は法務部門や倫理審査委員会に確認してください。

病歴は要配慮個人情報にあたる

個人情報保護法では、病歴は「要配慮個人情報」に含まれます。取得には原則として本人の同意が要り、第三者に提供する場合も、通常の個人情報で使える「本人が拒否しない限り提供する」方式(オプトアウト)は使えません。

ただし、アノテーションの外注は、多くの場合「第三者提供」ではなく「委託」にあたります。データを預かった事業者が、依頼された作業のためだけにデータを扱う形です。委託に伴ってデータを渡すことに本人の同意は要りませんが、依頼元には委託先を監督する義務があり、委託先はその作業以外にデータを使えません。受け取った事業者が自社の製品開発などにもデータを使う場合は、委託ではなく第三者提供として扱われます。

研究として医療画像を使う場合は、「人を対象とする生命科学・医学系研究に関する倫理指針」に沿って、倫理審査委員会の審査を受けます。本人からの同意の取り方は、研究の種類やデータが誰のものか分かる状態かによって変わります。医療機関がすでに保有している情報を使う研究では、研究の内容を公開し、本人が拒否できる機会を設ける方法が認められる場合もあります。

2024年4月には改正次世代医療基盤法が施行され、従来の匿名加工医療情報に加えて「仮名加工医療情報」の仕組みが作られました。認定を受けた事業者を通じて、医薬品・医療機器の開発に医療情報を使えるようにするものです(内閣府)。どの枠組みでデータを入手したかによって、アノテーションを外部に委託できる範囲も変わります。

DICOMのヘッダーと画像に焼き込まれた文字を匿名化する

医療画像の標準形式であるDICOMには、画像の中身とは別に、患者名・患者ID・検査日などを記録する項目(ヘッダー)があります。匿名化では、このヘッダーの個人情報を削除または置き換えます。

見落としやすいのが、画像そのものに焼き込まれた文字です。DICOM規格では、焼き込まれた個人情報を画素ごと消去する手順を別のオプションとして定めています。重ね表示やマスクで隠すだけでは不十分で、CTでは通常焼き込まれていない一方、超音波画像には日常的に焼き込まれるとしています(DICOM PS3.15 E.3)。超音波や内視鏡の画像を扱う場合は、作業者に渡す前に画面の文字を確認する工程を入れます。

作業環境の安全管理

医療機関から委託を受けて医療情報を扱う事業者は、厚生労働省の「医療情報システムの安全管理に関するガイドライン 第6.0版」(2023年5月)を参照します。アノテーションでは、作業端末からのデータの持ち出し制限、作業者ごとのアクセス権限、作業ログの保存、契約終了時のデータの破棄方法を契約段階で決めておきます。クラウド型のアノテーションツールを使う場合は、データの保存場所も確認します。

医療機器としての承認を見据えたデータ管理

診断を支援するAIを医療機器として販売するには、医薬品医療機器等法(薬機法)に基づく承認や認証が必要です。厚生労働省は2019年5月に「人工知能技術を利用した医用画像診断支援システム」の評価指標を公表しています(次世代医療機器評価指標の公表について)。

承認申請では、学習に使ったデータと性能評価に使ったデータの来歴を説明する必要があります。アノテーションの段階から、どの症例を学習用・評価用にしたか、誰がどの版のガイドラインでラベルを付けたかを記録しておくと、後から説明できます。

医療画像アノテーションの工程と規制の対応関係。データの入手では個人情報保護法・倫理指針・次世代医療基盤法、作業者への受け渡しではDICOMヘッダーと焼き込み文字の匿名化、作業環境では医療情報システムの安全管理ガイドライン、納品と承認申請では学習・評価データの分離と作業記録が関わることを示す図

4. 品質担保が難しい理由と対処

医療画像では、作業手順を整えても品質がそろわない要因が、データと判断の両方にあります。

専門家どうしでも判断が分かれる

LIDC-IDRIの例のとおり、専門医の判断が一致しない病変は珍しくありません。複数の専門医によるラベルを残しておけば、判断が割れた病変を学習時に区別できます。1人の判断だけでラベルを作ると、その医師の判断の癖までモデルが学習することがあります。

作業者間の一致率は、ガイドラインの曖昧な箇所を見つける手がかりにもなります。一致率の測り方と研修の進め方はアノテーター研修の進め方で解説しています。

病変のデータが少ない

検診データでは、病変のない画像が大半を占めます。病変のある症例だけを選んで作業すれば工数は減りますが、病変のない画像での誤検出を評価できません。学習用と評価用で、病変のある症例とない症例の割合をどうするかを決めておきます。

施設や装置によって画像が変わる

同じCTでも、メーカー・撮影条件・断面画像を作るときの設定(スライスの厚さ、輪郭の強調の度合い)によって画像の見え方が変わります。1施設のデータだけで学習すると、他の施設では性能が下がることがあります。データの提供元が複数あるなら、施設や装置の情報を残し、評価用データには学習に使っていない施設のデータを含めます。

読影レポートから作ったラベルには誤りが含まれる

CheXpertでは、22万枚あまりの胸部X線画像に対し、読影レポートの文章から14種類の所見を自動で抽出してラベルを付けました。レポートの「〜の可能性がある」といった表現は「不確実」として扱い、学習時の扱い方を複数比較しています。一方、評価用データでは専門医が画像を見てラベルを付けています(Irvin et al., 2019)。

大量のデータに安くラベルを付ける方法と、専門医が画像を見て付ける方法を、学習用と評価用で使い分けた例です。検品の体制と費用の関係はアノテーションの費用はどう決まる?で整理しています。

5. 事例で見る判断の分かれ目と仕様書のチェックリスト

公開データセットの手順と医療画像の特性をもとに、作業の現場で判断が分かれやすい6つの場面と、仕様書に書くべき内容を示します。

場面1:CTの表示条件によって病変の境界が変わる

CTは、表示する濃度の範囲(ウィンドウ幅・ウィンドウレベル)を変えると、同じ画像でも臓器や病変の見え方が変わります。肺の病変の輪郭を肺用の表示条件で描くか、縦隔用の表示条件で描くかで、境界の位置がずれることがあります。仕様書には、部位・病変ごとに使う表示条件を数値で書きます。

場面2:すりガラス影のように境界がはっきりしない

肺のすりガラス影のように、周囲との境界がはっきりしない病変では、作業者によって塗る範囲が変わります。どこまでを病変に含めるかを文章だけで伝えるのは難しいため、判断の境目にあたる画像を、含める例と含めない例の両方でガイドラインに載せます。ガイドラインの作り方はアノテーションガイドラインの作り方を参照してください。

場面3:隣り合うスライスで境界がつながらない

CT・MRIの3Dセグメンテーションをスライスごとに描くと、隣り合うスライスで境界が不自然に飛ぶことがあります。1枚ずつ見ると問題がなくても、立体にすると病変の形がいびつになります。確認の工程では、断面を縦・横・前後の3方向で表示したり、3Dで表示したりして形を確かめます。

場面4:専門医の判断が分かれた病変をどう残すか

2人の専門医の一方だけが病変と判断した場合、判定者の結論だけを残すと、判断が分かれたという情報が失われます。LIDC-IDRIのように各専門医のラベルを別々に残しておけば、後から「全員が一致した病変だけで評価する」といった使い分けができます。仕様書には、統合した正解に加えて、個々の専門医のラベルも納品するかどうかを書きます。

場面5:「疑い」をどのラベルで表すか

読影では「〜の疑い」と判断することがあります。ラベルを「あり」「なし」の2値にすると、疑いの所見がどちらかに寄せられます。CheXpertのように「不確実」を3つ目の値として残す方法や、確信度を段階で記録する方法があります。どの方法を選ぶかは、学習させるモデルの出力に合わせて決めます。

場面6:同じ患者の検査が学習用と評価用に混ざる

同じ患者が複数回検査を受けている場合、検査単位でデータを分けると、同じ患者の画像が学習用と評価用の両方に入ることがあります。評価用データで性能が高く出ても、新しい患者では同じ性能が出ないおそれがあります。データは患者単位で分け、可能であれば学習に使っていない施設のデータも評価に含めます。

仕様書に書くべき項目のチェックリスト

発注前に、次の10項目を仕様書に整理します。

  • 作業者・確認者・判定者の要件 — それぞれに求める資格・経験年数と人数
  • 独立した確認の有無 — 確認者が互いの結果を見ずに判断するかどうか
  • 正解の決め方 — 多数決、合議、判定者による決定、病理結果の利用のどれを使うか
  • 納品するラベルの範囲 — 統合した正解だけか、個々の専門医のラベルも含めるか
  • ラベルの値 — 2値か、「不確実」や確信度の段階を含めるか
  • 表示条件 — 部位・病変ごとのウィンドウ幅・ウィンドウレベル
  • 境界の基準 — 含める例・含めない例の画像、3Dで形を確認する手順
  • データの分け方 — 患者単位・施設単位での学習用と評価用の分割
  • 匿名化の範囲 — DICOMヘッダーの処理方法と、焼き込まれた文字の確認手順
  • 記録する項目 — 作業者・確認者・ガイドラインの版・修正履歴

実際の画像を見ないと決められない項目もあります。少数の症例で試行し、判断が分かれた箇所を仕様書に反映すると、後からの作り直しを減らせます。外部に委託する工程と社内に残す判断の切り分けは、アノテーションは外注か内製かでも扱っています。

6. Nextremerの医療画像アノテーション支援

仕様をすべて決めてから相談する必要はありません。Nextremerでは少数のデータで試行し、判断が分かれた箇所を依頼者と確認しながら仕様を具体化します。

医療分野では、国立大学の研究向けに、手術動画から必要な場面の画像を切り出し、特定部位にアノテーションを付けた実績があります。研究の進捗に合わせて仕様が変わるため、研究者と定期的に協議し、変更をその都度作業手順と基準に反映しました(手術画像の特定部位アノテーション事例)。

品質管理には、筑波大学との共同研究でアノテーション手法の標準化、ガイドライン策定、再現性の検証に取り組んできた経験を生かしています。作業は、独自の研修で育成した専任のアノテーターが担当します。効率化できる作業には、AIの下書きを人が確認・修正するHuman-in-the-Loopを取り入れ、データ作成の工数を最大40%削減しています。

お預かりしたデータと成果物は、そのプロジェクトに限って利用し、自社の製品やサービスには転用しません。作業環境、アクセス権限、終了後の破棄方法は契約段階で取り決めます。詳しくはデータアノテーションサービスをご覧ください。

7. まとめ|判断が分かれる箇所を仕様に書く

医療画像のアノテーションでは、専門医どうしでも判断が分かれることを前提に、作業者・確認者・判定者の役割と正解の決め方を先に決めます。

データの取り扱いでは、入手の枠組み、DICOMの匿名化、作業環境の安全管理を確認し、承認申請を見据えて学習用・評価用データの来歴を記録します。

公開データセットの手順を参考に、自社の画像で判断が分かれる点を洗い出し、第5章のチェックリストで仕様の抜けを確かめてください。他の業界の事例は自動運転のアノテーション事例で、アノテーションの種類や品質管理の考え方はデータアノテーションの完全ガイドで確認できます。

執筆者

  • 喜多 俊之

    喜多 俊之

    株式会社Nextremer 取締役CTO

    2013年に東北大学大学院理学研究科を修了後、三井情報株式会社へ入社。SI部門やR&D部門のエンジニアとして、時系列予測やデータ分析、機械学習に携わる。2017年より大手メーカーのグループ企業にて機械学習エンジニアとして幅広い業種・規模のシステム開発に参画。2019年より現職にて画像認識や対話システムなど機械学習システムの開発を担うR&D部門にてマネージャーを務める。

データアノテーションサービスの詳細を見る→