アノテーションのクラウドソーシング活用法｜向き不向きと品質設計

クラウドソーシングは、単価表の金額だけを見ると、最も安く依頼できるように見えます。ところが実際に運用すると、同じデータを複数人に作業させ、正解が分かっている設問を混ぜ、一致率を監視する仕組みが必要になります。この仕組みの分だけ、支払う総額と単価表の数字との差が少しずつ広がっていきます。

この記事では、クラウドソーシングに出せるタスクの条件、品質を担保する4つの仕組み、単価と冗長度から、実際にかかるコストを考える方法、個人データを扱うときの制約を順に整理します。あわせて、主要プラットフォームの前提が2026年に変わった点にも触れます。データアノテーションの全体像はデータアノテーションとは？基礎から種類・ツール・外注まで完全ガイドをご覧ください。

1. クラウドソーシングは不特定多数への細分化発注

アノテーションにおけるクラウドソーシングは、作業を1件ずつの小さなタスクに分け、プラットフォームを通じて不特定多数の作業者に依頼する発注形態です。代行会社への外注と違うのは2点あります。作業者を特定できないことと、仕様設計と品質管理が発注側に残ることです。

外部へ委託する形は、実務上3つに分かれます。

見落とされやすいのは真ん中の形です。「クラウドソーシングは品質が不安だから代行会社へ」と考えても、その代行会社が内部でクラウドソーシングを使っていることがあります。外注と内製の選び方そのものはアノテーションの外注と内製はどう選ぶ？で扱っているので、ここではクラウドソーシングを選んだ後の設計に絞ります。

2. 主要プラットフォームの前提は2026年に変わった

長らくこの分野の代表格だった Amazon Mechanical Turk は、2026年7月に新規受付を停止しました。7月30日以降は新しいリクエスターとワーカーの登録ができず、AWS の「Services in Maintenance」に移って新機能の追加も行われません。既存アカウントは継続利用できますが、これから立ち上げる案件の選択肢からは外れます。

同じく、Mechanical Turk の作業者を利用できた Amazon SageMaker Ground Truth も新規受付を終了しています。「安いクラウドソーシングといえば Mechanical Turk」という前提で書かれた記事や社内資料は、そのまま使えません。

現在利用できる主なクラウドソーシング関連サービスは、次の3系統です。

特化型を選ぶと、次章で挙げる仕組みの一部を自前で作らずに済みます。harBestは自動品質チェックのアルゴリズムと複数ワーカーの相互検証、専門スタッフによる最終確認を組み合わせる構成で、プラットフォーム利用料は月額5万円から、データ作成費は量と難易度に応じた個別見積もりです。ツール自体の機能比較はアノテーションツールおすすめ比較にまとめています。

3. 仕様を具体化できるタスクだけが向いている

向き不向きを分ける条件は1つに絞れます。判断基準を文章と例で具体化できるかです。判断基準を具体化できないタスクをクラウドソーシングに出すと、作業者ごとに解釈が分かれ、そのばらつきが学習データに残ります。

具体的には、次の条件を満たすタスクが向いています。

• ラベルの選択肢が有限で、迷うケースの扱いを事前に列挙できる
• 1件の作業が数秒から数十秒で終わる
• 数万件以上あり、短期間で処理したい
• 複数人の回答を突き合わせれば正解が決まる
• データに個人情報や営業秘密が含まれない

逆に、次のどれかに当てはまる場合は、別の体制を検討した方がよいでしょう。

• 専門知識が必要 — 医療画像の病変判定、法務文書の条項分類など。研修を受けた作業者でないと判断が安定しません
• 文脈依存が強い — 前後の会話や業界の慣習を踏まえないと決まらない判定
• 出力が自由記述 — 要約や説明文の作成。正解が1つに定まらず、多数決も効きません。次章で挙げるLLM代行のリスクも直撃します
• 仕様が固まっていない — 着手後にラベル定義を変えると、それまでの分が作り直しになります
• 機密データを含む — 不特定多数の作業者に渡す構造そのものが制約になります（第7章）

手法によって難易度が変わる点は画像アノテーションのやり方も参考になります。矩形で囲むだけなら基準を具体化できても、輪郭をピクセル単位でなぞる作業は、同じ仕様書でも作業者ごとの差が出ます。

4. 4つの仕組みを組み合わせて品質を担保する

作業者を選べない前提で品質を確保するには、個人の技量に頼らない仕組みを組み合わせます。どれか1つだけでは十分ではありません。

ゴールデンデータを作業列に混ぜる

正解を確定させた設問を用意し、通常の作業に混ぜて配ります。作業者から見て通常の設問と区別が付かないことが条件です。ここでの正答率が、その作業者の成果物を採用するかどうかの判定材料になります。

設計で決めるのは3つです。混入率は5〜10%程度から始め、不合格者が多ければ上げます（そのぶん作業費が増加します）。設問の内容は、仕様書で迷いやすいと分かっているケースを優先します。易しい設問ばかりだと、仕様をきちんと読んでいない作業者を見分けられません。更新のタイミングは、作業が進んで想定外のケースが見つかったときです。同じ設問を長く使い続けると、答えが作業者間で共有され、正確な評価ができなくなります。

冗長付与で複数の回答を束ねる

同じデータを複数人に付けさせ、結果を1つに束ねます。何人に付けさせるか（冗長度）の相場は、SageMaker Ground Truth の既定値が参考になります。

矩形（バウンディングボックス）だけ5人と多いのは、位置と大きさという連続値を含み、単純な多数決では1つに決められないためです。「多数決」で片付けられないのがここで、Ground Truth は手法ごとに違う束ね方をしています。

• 画像・テキストの分類 — EM法（期待値最大化）の変種で作業者ごとの精度を推定し、ベイズ推定で真のクラスを求める。全員を等しく1票として数えない
• バウンディングボックス — Jaccard係数（IoU）で作業者間の最も近い箱同士を対応付け、その平均を取る
• セマンティックセグメンテーション — ピクセル単位の多クラス分類として扱い、各ピクセルの付与を「投票」とみなしたうえで、周辺ピクセルの情報を平滑化して反映する
• 固有表現抽出 — 文字範囲をJaccard類似度でクラスタリングし、境界は最頻値（不明瞭なら中央値）、ラベルはクラスタ内で最も多いものを採る

自前で組むなら単純多数決から始めて構いませんが、作業者ごとの信頼度を票の重みに反映させるだけで結果は変わります。全員1票の多数決では、経験の浅い作業者の票も熟練者の票も同じ重みで扱います。

配る前に作業者を絞り込む

資格テスト（本番と同じ形式の設問に一定以上正答した人だけに開放する）、段階投入（少量を割り当てて成績を見てから本量を渡す）、プラットフォーム側の実績フィルタの3つが基本です。ゴールデンデータで事後に落とすより、先に絞ったほうが作り直しが減ります。

一致率を仕様書に返す

冗長付与をしているなら、作業者間の一致率が自動で取れます。この数字は品質の指標というより、仕様書の曖昧さを測る目安として活用することが重要です。特定のラベルだけ一致率が低いなら、原因は作業者の質ではなく、そのラベルの判断基準が仕様書に十分書かれていないことです。作業を止めて仕様書を直し、判断例を追加してから再開します。

一致率や差し戻し率をパイロットの合否基準としてどう置くかは、外注と内製の判断基準の記事で指標の定義とあわせて扱っています。

5. 作業者がLLMで代行するリスクを織り込む

クラウドソーシングには、近年になって生じた固有のリスクがあります。作業者が生成AIに答えさせ、その出力を提出することです。

Mechanical Turk で医学論文のアブストラクトを要約させた調査では、キー入力の記録と文章の特徴を判定する仕組みを組み合わせた推定で、提出された要約の33〜46%がLLMの支援を受けて作成されたと報告されています（Veselovsky et al., 2023）。作業者が短時間に多くの作業をこなそうとする動機があるため、こうした事態は個々の不正というより、仕組み上起こり得る問題です。Mechanical Turkが新規受付を停止したことを報じた記事でも、この問題が背景の一つとして指摘されています。

問題は品質のばらつきではなく、人間の判断を集めているつもりが、実際にはモデルの出力を集めてしまうことにあります。そうして集めたデータで別のモデルを学習させると元のモデルの癖や誤りまで引き継ぐため、人間の評価を正解として使う用途ではデータの前提が成り立たなくなります。

打ち手は3つあります。

1. 自由記述タスクをクラウドソーシングに出さない。 要約や説明文の生成が最も代行されやすい形です。選択式や範囲指定に落とせるなら落とします
2. モデルが答えにくい設問をゴールデンデータに混ぜる。 画像の細部を見ないと答えられない設問や、その場の指示に依存する設問が有効です
3. 作業時間の分布を見る。 1件あたりの所要時間が極端に短い作業者、表現が不自然に均質な作業者を洗い出します

人手のアノテーションを買う目的が「モデルにない判断を得ること」であるなら、その目的が果たされているかを確認する仕組みまで含めて設計する必要があります。

6. 実効コストは単価 × 冗長度に検品を足して見る

実効コストを考えるときは、単価だけでなく冗長度も見る必要があります。冗長度とは、1件のデータを何人の作業者に重複して付けてもらうかを示す数字です。冗長度1なら1人、冗長度3なら3人が同じデータを判定します。クラウドソーシングの単価表は、冗長度1・品質担保なしの数字です。ここまで挙げた仕組みを乗せると、実際に払う額は次の形になります。

実効コスト ＝ 作業単価 × 件数 × 冗長度 ×（1 ＋ ゴールデン混入率）＋ 仕様設計 ＋ 合意形成の実装 ＋ 検品と差し戻し

画像分類10万枚、1枚5円で試算します（単価の目安はアノテーションの費用はどう決まる？を参照）。

ここに、仕様書とゴールデンデータの作成、合意形成ロジックの実装、一致率の監視、基準を満たさなかった分の差し戻しが乗ります。冗長度を3にすると、ダブルチェックを前提とした専任チーム型に依頼した場合の総額と同程度になりやすいのが実際のところです。

そのため、単価の安さだけでは選定理由になりません。クラウドソーシングが効くのは、冗長度を上げずに済むほど仕様を具体化できていて、なおかつ量とスピードが要るときです。この条件を満たさないまま単価だけで選ぶと、品質担保の工数が発注側に積み上がります。費目の全体像と、各社から同じ条件で見積もりを取る手順は見積もりを依頼するときに確認することにまとめています。

7. 機密データは委託先の監督義務から逆算する

「機密データには使えない」で終わらせず、何が引っかかるのかを押さえておくと判断が速くなります。

個人データの取扱いを外部の事業者に任せる場合でも、自社の利用目的の範囲内で業務を委託しているのであれば、第三者提供として本人の同意を求められるわけではありません。その一方で、委託元には、委託先を適切に監督する責任があります。委託先で漏えいが起きたときは、委託元も報告義務を負います。不特定多数の作業者が入れ替わりながら作業する構造では、この監督を果たしたと説明するのが難しくなります。

海外のワーカーが含まれる場合は、別の点にも注意が必要です。個人情報保護委員会は、外国にある第三者への委託にも法第28条が適用されると示しています（個人情報保護委員会 FAQ）。国内委託と違って例外がなく、本人の同意を得るか、十分性認定を受けた国の事業者であるか、基準に適合する体制を整備した事業者であることが必要です。プラットフォームがどの国のワーカーに配るかを制御できるかどうかは、契約前に確認する項目になります。

実務で見落としやすいのは再委託の実態です。専任チーム型として契約したつもりでも、実作業がクラウドワーカーに流れていることがあります。「誰が作業するのか」「作業環境はどこか」を見積もり段階で確認してください（見積書に表れにくい隠れコストの観点からも同じ確認が必要です）。

個人情報を含むデータでも、マスキングして機密性を落としてからクラウドソーシングに出す選択はあります。顔の匿名化、氏名の置換、位置情報の粗視化といった前処理の工数は、作業費とは別に見積もります。

8. Nextremerはクラウドソーシングと専任チームを使い分ける

Nextremerは、量とスピードが要るタスクと、判断の安定が要るタスクを同じ体制で扱いません。

判断の安定が要る領域は、作業者を特定できることを前提に、アノテーション専任チームで対応します。この体制を支えるため、独自の研修プログラムでアノテーターを育成しています。作業者が固定されていれば、仕様書の更新を全員に反映でき、一致率が落ちた原因を作業者ごとに追えます。クラウドソーシングで冗長度を上げて統計的に潰す部分を、教育と管理で先に潰す考え方です。

品質保証の設計は、筑波大学との共同研究を通じたアノテーション手法の標準化、ガイドライン策定、再現性の検証をもとにしています。加えて、AIが付けた下書きを人が確認・修正するHuman-in-the-Loopの体制も取り入れています。これにより、データ作成の工数を最大40%削減し、単価を下げるのではなく、必要な作業量を減らすことでコストを抑えています。

お預かりしたデータと成果物は当該プロジェクトに限って利用し、自社の製品やサービスには転用しません。アクセスできる関係者を必要最小限に限定し、学習済みモデルや中間生成物を含む不要なデータはプロジェクト終了後に破棄します。

「この工程はクラウドソーシングでよいが、ここは専任チームで」という切り分けの相談も受け付けています。詳しくはデータアノテーションサービスをご覧ください。

9. まとめ｜仕様を具体化できたタスクの量産手段として使う

クラウドソーシングを使えるかどうかは、判断基準を文章と例で具体化できるかで決まります。ラベルの選択肢が有限で、迷うケースを事前に列挙でき、1件が短時間で終わり、件数が数万件以上ある。この形なら成立します。専門知識や文脈理解が必要な判定、自由記述の出力、仕様が固まっていない作業には向きません。

品質は、ゴールデンデータの混入、冗長付与と合意形成、作業者の事前の絞り込み、一致率の監視という4つを組み合わせて確保します。合意形成は単純多数決では足りず、データの種類に応じて正解を決める方法を変える必要があります。矩形はIoUで対応付けて平均を取り、分類は作業者ごとの精度を推定してから真のクラスを求めます。一致率が落ちたら、疑うのは作業者ではなく仕様書です。

近年は、作業者が生成AIに答えさせるリスクも織り込む必要があります。自由記述タスクは出さない、モデルが答えにくい設問をゴールデンに混ぜる、作業時間の分布を見る。この3つで、実際に人間が判断したデータを集められているかを確認します。

コストは、単価に冗長度と検品を掛け合わせた実効値で比べます。冗長度を3まで上げると、専任チーム型に依頼した場合の総額と同程度になりやすいため、単価の安さは選定理由になりません。個人データを扱う場合は、委託先の監督義務と、海外ワーカーを含む場合の法第28条から先に条件を確認します。

種類や手法、品質管理の考え方をまとめて確認したい場合は、データアノテーションの完全ガイドもあわせてご覧ください。