半自動アノテーションとは?AIの下書きを人が直す仕組みと、効果が出る条件・出ない条件

半自動アノテーションとは?AIの下書きを人が直す仕組みと、効果が出る条件・出ない条件

半自動アノテーションは、AIが付けたラベルの候補を人が確認・修正して、教師データを作る方法です。対象を一から囲んだり塗ったりする作業が、候補を確かめて直す作業に変わるため、1件あたりの時間を短くできます。ただし候補の精度が低いと、修正のほうがかえって手間になります。

この記事では、AI開発者に向けて、半自動アノテーションの仕組みを対話型と一括型の違い、再学習のループ、アクティブラーニング、モデルを使ったラベル誤りの検出の順に説明します。そのうえで、工数が減る条件と逆効果になる条件を、公開研究の数値とNextremerの案件での計測結果から整理し、導入前に確かめることをまとめます。アノテーションの種類や工程の全体像は、データアノテーションの完全ガイドをご覧ください。

1. 半自動アノテーションとは:手動・完全自動との違い

アノテーションの進め方は、人とAIの役割分担によって手動・半自動・完全自動の3つに分けられます。分かれ目は、最終的なラベルを誰が決めるかです。

進め方ラベルを決める人AIの役割向いている場面
手動人なし立ち上げ期、判断が難しいデータ、評価用のデータの作成
半自動人候補を出す判断基準が固まり、同じ種類のデータが大量にある
完全自動AIラベルを決める誤りをある程度許容できる用途、人が確認できない規模の下処理

半自動では、AIが付けたラベルはあくまで候補です。この記事では、AIが付けた下書きのラベルを「事前ラベル」と呼びます。ツールによって「プレラベル」「事前アノテーション」など呼び方は違いますが、指しているものは同じです。事前ラベルは、人が確認して確定させた時点で初めて正解ラベルになります。

手動・半自動・完全自動のアノテーションを、最終的なラベルを人が決めるかAIが決めるかで並べた図。半自動はAIが事前ラベルを出し、人が確認・修正して確定させる

完全自動は、人の確認を通さずにAIの出力をそのままラベルとして使います。人の工数はほぼかかりませんが、モデルが間違えたところはそのまま学習データに残ります。教師データの品質がモデルの精度を左右するAI開発では、最終判断を人に残す半自動が現実的な選択肢になることが多いです。手動での基本的な作業の流れは、画像アノテーションのやり方で解説しています。

2. 対話型と一括型:AIが候補を出すタイミングの違い

半自動アノテーションは、AIが候補を出すタイミングによって、対話型と一括型の2つに分かれます。ツールの機能名だけを見ると同じ「AIアシスト」に見えますが、使うモデルも、効果が出る作業も違います。

項目対話型一括型
候補を出すタイミング作業者がクリックや矩形を入力した、その場作業を始める前に、全データへまとめて
主に使うモデルSAM(Segment Anything Model)などの汎用モデル対象データで学習させた検出・分類モデル
人の作業点や矩形、物体の名前を入れ、出てきた輪郭を確かめる付いている事前ラベルを確かめ、直す・消す・足す
効果が出やすい作業ポリゴンやマスクなど、手で描くと時間がかかる作業同じ種類のデータが大量にある作業
注意点入力のたびに結果を確かめる操作は残る事前ラベルの精度が低いと、修正が手描きより遅くなる

対話型:作業者の入力に応じて、その場で候補を出す

対話型では、作業者が対象の上を1回クリックしたり、おおまかな矩形を描いたりすると、モデルがその場で輪郭のマスクを返します。作業者は返ってきた輪郭を確かめ、はみ出しや欠けがあれば点を足して直します。代表的なモデルは、Metaが公開したSAMです。CVATのAI Tools、Label StudioのML Backendを使ったSAM連携、RoboflowのSmart Selectなどが、この方式を備えています。

入力の方法は、点や矩形だけではなくなっています。2025年に公開されたSAM 3は、「黄色いスクールバス」のような短い名詞句や、例として囲んだ画像の一部を入力すると、条件に合う物体を画像の中からすべて見つけてマスクを返します(Carionら、2025年)。1つずつクリックしなくても、同じ種類の物体にまとめて候補を付けられます。

対話型の利点は、プロジェクト専用のモデルを用意しなくても使い始められることです。セグメンテーションのように、輪郭を1点ずつ打つと時間がかかる作業で効果が出やすくなります。セグメンテーションの手法と、検出モデルの矩形をSAMでマスクへ変換する流れは、セマンティックセグメンテーションの解説で紹介しています。

一括型:作業を始める前に、全データへ事前ラベルを付ける

一括型では、学習済みのモデルを未ラベルのデータ全体にかけ、その結果を事前ラベルとしてツールに読み込みます。作業者は、付いている事前ラベルを確かめて、ずれた矩形を直し、誤った検出を消し、見落としを足します。一括型の機能には、CVATの自動アノテーション、Label StudioのML Backendによる予測の読み込み、Labelboxの事前ラベルの読み込みなどがあります。CVATとLabel Studioは、対話型の例にも挙げたとおり、1つのツールで両方の方式を使えます。

一括型は、データの件数が多いほど、モデルを用意する手間に見合いやすくなります。その反面、対象のデータに合ったモデルが必要です。汎用モデルが学習していない物体や、業界特有の判断基準があるデータでは、事前ラベルの精度が上がらず、消す作業と描き直す作業が増えます。次章のループは、この一括型の精度を上げていくための仕組みです。

3. 事前ラベル→人の修正→再学習のループ

一括型の半自動アノテーションは、1回で終わる処理ではありません。人が直したラベルでモデルを学習し直し、次のデータに付ける事前ラベルの精度を上げていく、という繰り返しで進めます。

  1. 少量のデータに、人がラベルを付ける。 最初は数百件程度など、少量を手動で作ります。対象に近い学習済みモデルがあれば、それを出発点にしても構いません。
  2. そのデータでモデルを学習する。 この時点のモデルは、事前ラベルを出すための道具なので、本番の精度は求めません。
  3. 未ラベルのデータに事前ラベルを付ける。 モデルが出した予測と、その信頼度(モデルが自分の予測をどれだけ確かだと見ているかを示す値)を記録します。
  4. 信頼度で振り分け、人が確認・修正する。 信頼度が低い事前ラベルは全件を人が確認し、高いものは抜き取りで確認します。
  5. 修正したラベルを加えて、モデルを学習し直す。 3に戻り、次のデータに事前ラベルを付けます。

事前ラベルを使う半自動アノテーションのループ図。少量を手動でラベル付けし、モデルを学習し、未ラベルデータに事前ラベルを付ける。信頼度が低いものは人が全件確認し、高いものは抜き取りで確認する。修正したラベルで再学習し、次の事前ラベルへ戻る

ループを回すたびに事前ラベルの精度が上がり、人が直す量は減っていきます。同じ考え方は対話型にも使えます。SAMの開発では、作業者がSAMを使って付けたマスクでモデルを学習し直す工程を6回繰り返し、1マスクあたりの平均作業時間を34秒から14秒まで縮めました(Kirillovら、2023年)。

信頼度のしきい値は、実際の誤り率で決める

4の振り分けに使うしきい値は、勘で決めずに測って決めます。信頼度が高い事前ラベルを抜き出し、そのうち何割が実際に間違っていたかを確かめて、誤り率が許容できる範囲に収まるようにしきい値を決めます。

ここで注意したいのは、信頼度の数値をそのまま「正解である確率」とはみなせないことです。ニューラルネットワークは、出力する信頼度に比べて実際の正解率が低い、つまり自信過剰になりやすいことが報告されています(Guoら、2017年)。信頼度が0.95でも、95%が正解だとは限りません。信頼度が高い事前ラベルにも、抜き取りの確認は残しておきます。

4. アクティブラーニングで、人が見るデータを選ぶ

前章の振り分けは、「事前ラベルのどれを人が確認するか」を決めるものでした。アクティブラーニングは、「未ラベルのデータのうち、どれに人がラベルを付ければモデルの精度が最も上がるか」を決める手法です。人の作業時間には限りがあるため、モデルの改善につながるデータから順に回します。

代表的な選び方は、次の2系統です。

  • 不確実性サンプリング:モデルが最も迷っているデータを選びます。迷いの測り方には、最上位の予測の確率が低いもの(least confident)、1位と2位の確率の差が小さいもの(margin)、予測の分布のばらつきが大きいもの(entropy)の3つがよく使われます(Settles、2009年)。
  • 多様性に基づく選び方:データ全体の分布をなるべく偏りなく覆うように選びます。代表例が、選んだデータの集合で全体を近似するコアセットという考え方です(Sener & Savarese、2018年)。

半自動アノテーションのループに当てはめると、信頼度が低いデータは、人の確認が必要なデータであると同時に、不確実性サンプリングで選ばれるデータでもあります。ループの4で全件確認に回したデータは、確認が済めばそのまま次の学習に使えます。確認にかけた工数が、モデルの改善にも直接つながります。

ただし、不確実性だけで選び続けると、似たような境界付近のデータや、ノイズの多い外れ値ばかりが集まることがあります。多様性に基づく選び方や、無作為に選んだデータを一定割合混ぜておくと、偏りを抑えられます。もう一つ、アクティブラーニングで集めたデータは分布が偏っているため、モデルの評価には向きません。評価用のデータは、全体から無作為に抜き出して別に作ります。この点は7章でもう一度触れます。

5. モデルで人のラベルの誤りを見つける

ここまでは、モデルが候補を出し、人がそれを直す使い方でした。半自動アノテーションには、逆向きの使い方もあります。人が付けたラベルをモデルで点検し、誤っていそうなものを見つける使い方です。

手順は次のとおりです。まず、検品が済んだデータでモデルを学習します。次に、そのモデルでまだ検品していないデータを推論し、人のラベルとモデルの予測がどれだけ一致するかを1件ずつ計算します。物体検出であれば、食い違いは主に2種類です。人がラベルを付けていない場所にモデルが物体を検出していれば、付け忘れ(見落とし)の候補です。同じ物体に人とモデルが別のクラスを付けていれば、ラベルの付け間違いの候補です。

一致しないデータは、人が間違えたか、モデルが間違えたかのどちらかです。どちらであっても、もう一度人が見る価値があります。一致率の低いデータを高リスクとして抜き出し、熟練した作業者が優先して見直します。

モデルで人のラベルの誤りを見つける流れの図。検品済みのデータでモデルを学習し、未検品のデータを推論して人のラベルとの一致率を計算する。一致率が低いものを高リスクとして抜き出し、熟練者が見直す。一致率が高いものは抜き取りで確認する。例として、人が乗用車としモデルがトラックとしたデータはラベルの付け間違いの候補、人がラベルを付けていない標識をモデルが検出したデータは見落としの候補になる

学習に使うデータと、点検するデータは分けておきます。人のラベルで学習したモデルに同じデータを推論させると、モデルは人のラベルを誤りごと覚えているため、食い違いが出にくくなります。モデルの予測確率と人のラベルを突き合わせてラベルの誤りを推定する手法は、Confident Learningとして研究されており、ここでも学習に使っていないデータに対する予測を使います(Northcuttら、2021年)。全件を同じ密度で検品するより、誤りが集まっていそうな箇所に検品の工数を集中できるのが利点です。ラベルの誤りが学習データとテストデータでそれぞれどう影響するかは、アノテーションと教師あり学習の関係で解説しています。

Nextremer(Project HANA)での進め方

Nextremerでは、独自開発のアノテーション効率化の仕組み「Project HANA」で、ここまでの事前ラベルと、この章で説明したラベル誤りの検出を組み合わせています。

作業では、SAM系のモデルで事前ラベルを付け、作業者は確認と修正に集中します。SAM系のモデルは案件のデータで学習していなくても妥当な候補を出せるため、案件の初期から使えます。2つのデータセットで、1枚あたりの作業時間を従来の進め方と比べた結果は次のとおりです。

データセット従来(1枚あたり)Project HANA(1枚あたり)削減率
データセットA750秒540秒28.0%
データセットB600秒360秒40.0%

検品では、検品済みのデータで学習した検品用モデルが、見落としやラベルの付け間違いの候補を示します。人だけでは抜き取りになりやすい確認を、全件に広げられます。あわせて、仕様書と成果物をVLM(画像と文章をあわせて扱うモデル)で突き合わせ、仕様とずれている箇所を探します。

この進め方で、アノテーションと検品の作業工数を従来と比べて25〜40%削減しています。削減率は、プロジェクトの規模や環境によって変わります。取り組みの背景はProject HANAについての講演(YouTube)で、適用例は大量の監視カメラ映像へのアノテーション事例で紹介しています。

6. 効果と限界:工数が減る条件、逆効果になる条件

工数が減るのは、「描く」が「確かめる」に変わるから

半自動アノテーションで工数が減るのは、対象を一から囲む・塗る作業が、候補が正しいかを判断する作業に変わるためです。5章で紹介したNextremerの2つのデータセットでは、1枚あたりの作業時間が28.0%と40.0%短くなりました。

ただし、AIが処理しやすいデータから先に作業が終わるため、人の手元には難しいデータが残ります。SAMの開発では、信頼度の高いマスクを自動で埋め、残りの物体だけを人が追加する段階に進むと、1マスクあたりの平均時間は14秒から34秒に戻りました(Kirillovら、2023年)。効果は1件あたりの時間ではなく、データセット全体を仕上げるまでの総時間で測ります。

事前ラベルの精度が低いと、手で描くより遅くなる

事前ラベルが外れていると、作業者は消してから描き直すことになり、最初から手で描くより時間がかかります。どの精度から効果が出るかはタスクによって違います。古典シリア語の形態素解析では、事前ラベルの精度が60%以上で作業者の正確さが、80%以上で作業速度が上がったという予備的な結果があります(Feltら、2012年)。物体検出の矩形でも、候補を確かめる方式と手で描く方式のどちらが効率的かは、検出器の性能、画像の難しさ、求める品質で変わります(Konyushkovaら、2018年)。

これらの数値は別のタスクにそのまま当てはまらないため、自社のデータで、事前ラベルを使う場合と使わない場合の時間を測ります。測り方は次章で説明します。

作業者の判断が事前ラベルに寄る

構文解析の研究では、パーサーの出力を人が修正して作ったアノテーションに、明確なアンカリング(最初に示された答えに判断が寄る偏り)が見られ、人が一から付けたものより品質が下がったと報告されています(Berzakら、2016年)。画像でも、少しずれた矩形を「だいたい合っている」と承認したり、検出されなかった物体を見落としたりします。事前ラベルの精度が高いほど作業者が疑う場面が減り、確認が甘くなることがあります。

誤りがループの中で広がる

3章のループには、誤りを繰り返す危険もあります。人が見逃した誤った事前ラベルは、正解として再学習に使われます。次のモデルは同じ誤りを学び、次のデータにも同じ誤りを付けやすくなります。出現頻度の低いクラスや例外的なケースは、もともと事前ラベルの精度が上がりにくいため、この影響を受けやすくなります。

7. 導入前に確かめること

半自動アノテーションの効果は、モデルの精度とデータの性質で決まります。ツールを入れれば自動的に工数が減るものではないため、本作業に入る前に次の点を確かめておきます。

同じデータで、事前ラベルあり・なしの時間と品質を比べる

本作業と同じ種類のデータを数百件用意し、事前ラベルを使う場合と使わない場合で作業を比べます。確認しておきたいのは次の3つです。

  • 1件あたりの作業時間:確認・修正にかかった時間と、手で一から付けた時間
  • 修正率:事前ラベルのうち、人が直した・消した・足した割合
  • 最終的な品質:正解データとの一致率や、検品での差し戻し率

修正率が高く、時間も手動と変わらないなら、まずモデルを改善するか、対話型の利用にとどめるほうが向いています。ツールのPoCで確認しておく項目は、アノテーションツールの比較でも整理しています。

評価用のデータは、事前ラベルを使わずに作る

モデルの性能を測る評価用のデータ(テストデータ)は、同じモデルの事前ラベルから作らないようにします。6章で見たとおり、作業者の判断は事前ラベルに寄りやすいため、モデルが間違えやすい箇所ほど、モデルと同じ答えが正解として残りやすくなります。その状態で評価すると、モデルの性能が実際より高く出ます。評価用のデータは、全体から無作為に抜き出したものに、人が一からラベルを付けて作ります。

確認が形だけになっていないかを測る

事前ラベルをそのまま承認する作業が続くと、確認が形だけになることがあります。これを防ぐには、正解が分かっているデータを一定の割合で作業に混ぜ、見逃し率を測る方法があります。修正率が急に下がった作業者や期間があれば、事前ラベルが良くなったのか、確認が甘くなったのかを抜き取りで確かめます。

ガイドラインを先に固める

事前ラベルを付けるモデルも、確認する人も、同じ判断基準に沿っている必要があります。基準が曖昧なまま半自動化すると、モデルの癖が基準の代わりになってしまいます。クラスの定義や判断に迷うケースの扱いは、半自動化の前に文書にしておきます。作業を始めた後も、判断が割れたケースは仕様書に戻して直していきます。5章で紹介したように、VLMで成果物と仕様のずれを探す方法もあります。書くべき項目はアノテーションガイドラインの作り方にまとめています。

半自動化は、アノテーションの費用を抑える方法の一つでもあります。ただし事前ラベルの精度が低い段階では逆効果になるため、パイロットで確かめてから採否を決めます。費用全体の中での位置付けは、アノテーション費用の内訳と見積もりの立て方で解説しています。

8. まとめ

半自動アノテーションでは、AIが事前ラベルを出し、人が確認・修正して正解ラベルを確定させます。作業中にSAMなどで候補を出す対話型と、学習済みモデルで全データにまとめて事前ラベルを付ける一括型があり、一括型は人の修正で再学習するループを回すほど精度が上がります。人が見るデータはアクティブラーニングで選べるほか、モデルの予測と人のラベルの一致率を使えば、人のラベルの誤りも見つけられます。

効果が出るのは、事前ラベルの精度が十分に高く、「描く」作業が「確かめる」作業に置き換わるときです。精度が低ければ修正のほうが手間になり、精度が高くても作業者の判断が事前ラベルに寄る問題が残ります。導入前には、事前ラベルあり・なしの時間と品質を同じデータで比べ、評価用のデータは事前ラベルを使わずに作ってください。

Nextremerは、SAM系モデルによる事前ラベルの調整から、作業環境の構築、検品用モデルやVLMを使った誤りの検出を含む品質管理まで、半自動アノテーションの体制づくりを支援しています。詳しくはデータアノテーションサービスをご覧ください。

執筆者

  • 喜多 俊之

    喜多 俊之

    株式会社Nextremer 取締役CTO

    2013年に東北大学大学院理学研究科を修了後、三井情報株式会社へ入社。SI部門やR&D部門のエンジニアとして、時系列予測やデータ分析、機械学習に携わる。2017年より大手メーカーのグループ企業にて機械学習エンジニアとして幅広い業種・規模のシステム開発に参画。2019年より現職にて画像認識や対話システムなど機械学習システムの開発を担うR&D部門にてマネージャーを務める。

データアノテーションサービスの詳細を見る→