AI学習データを購入する前のチェックリスト — サンプルで何を見るか

学習データを購入するかどうかの判断は、提供元から届いたサンプルをどう評価するかに大きく左右されます。ところが、サンプルを受け取ってから「何を見ればよいか」を考え始めると、画質がきれいか、件数が足りているかといった目に付きやすい点だけで判断してしまいがちです。購入後に分かる問題の多くは、撮影条件の偏りやアノテーションの基準のずれのように、サンプルを開いただけでは目立たないところにあります。

この記事では、AI学習データの購入前に確認する観点を、発注前に自社で決めておくこと、サンプルの中身、アノテーション、量、契約と納品形式の順に整理します。最後の章には、発注担当者と評価を担当するAI開発者がそのまま使えるチェックリストを表で載せています。

1. 発注前に自社側で決めておくこと

サンプルの良し悪しは、自社の要件と照らさないと判断できません。夜間の映像が1割しかないサンプルは、日中だけ動かすシステムなら十分で、24時間動かすシステムなら足りません。サンプルを依頼する前に、次の3点を文章にしておきます。

用途

何を検出・分類・予測するモデルなのかを、ラベルの単位まで具体化します。「作業員を検出したい」なのか、「ヘルメットを着けていない作業員を検出したい」なのかで、必要なアノテーションも、サンプルで見るべき場面も変わります。分類であればクラスの一覧、検出であれば対象物の定義と最小サイズまで決めておくと、提供元との会話が早く進みます。

目標精度と評価方法

どの指標で、どの水準を目指すかを決めます。見逃しを減らしたいなら再現率（実際の対象のうち検出できた割合）を、誤報を減らしたいなら適合率（検出したもののうち正しかった割合）を重く見ます。どちらを優先するかで、少数クラスのデータをどれだけ揃えるべきかが変わります。

評価に使うデータを自社で用意できるかも、この段階で確認します。購入したデータだけで学習と評価をすると、提供元の撮影条件に合ったモデルを、同じ条件で評価することになり、自社の現場での精度が分かりません。少量でも自社の現場で撮ったデータを評価用に残しておくと、購入データの効果を測れます。

想定環境

モデルを動かす現場の条件を書き出します。項目の例は次のとおりです。

• カメラの種類・解像度・フレームレート・設置の高さと角度
• 照明（屋内の照明だけか、外光が入るか）と時間帯
• 季節・天候の影響を受けるか
• 対象物の種類と世代（製品の型番、車両の種類、設備の更新時期など）

この一覧が、次章でサンプルと突き合わせる基準になります。提供元にも事前に渡しておくと、条件に近いサンプルを選んでもらいやすくなります。

2. サンプルデータで見るべき観点

サンプルの出し方を確認する

中身を見る前に、そのサンプルがデータセット全体からどう選ばれたかを確認します。提供元が見栄えのよいものを選んだサンプルは、全体の平均ではなく上限を示しています。可能であれば、全体から無作為に抜き出したサンプルを依頼し、あわせて全体のメタデータ（撮影日時・場所・機材・条件の一覧）をもらいます。メタデータがあれば、サンプルに写っていない部分も含めて、条件のばらつきを集計で確かめられます。

撮影条件のばらつき

1章の想定環境の一覧と、サンプルの条件を1項目ずつ突き合わせます。見るのは「条件が含まれているか」と「どのくらいの割合で含まれているか」の2つです。

• 時間帯（日中・夕方・夜間）と照明の種類
• 天候（晴れ・雨・霧）、季節
• カメラの画角・高さ・距離
• 背景や現場の混雑度

自社の現場で起きる条件が、データセットにほとんど含まれていない場合は、その条件で精度が落ちると考えておきます。逆光や夜間のように、モデルが苦手としやすい条件ほど、件数を確認しておく価値があります。

解像度とフレームレート

解像度は、自社のカメラと同じか、それより高いかを確認します。高解像度のデータを縮小して使うことはできますが、低解像度のデータから細部を取り戻すことはできません。対象物が画面内で何ピクセル程度の大きさで写っているかも見ておきます。遠くの小さな対象を検出したいのに、サンプルでは大きく写った対象ばかりということがあります。

映像データでは、フレームレートと、動画のまま納品されるのか、静止画に切り出して納品されるのかも確認します。動作の認識や追跡に使う場合、フレームレートが低いと速い動きの途中が抜けます。圧縮の強さによってはブロックノイズが出るため、動きの速い場面を何本か再生して確かめます。

欠損と破損

ファイルが開けない、映像の途中でフレームが飛んでいる、センサーデータの一部の時間帯が空いている、といった欠損を確認します。サンプルでは目立たなくても、全体では一定の割合で混ざっていることがあるため、欠損の扱い（除外して納品するのか、そのまま含めるのか）を提供元に聞いておきます。

匿名化のためにぼかしやマスクがかかっている場合は、その処理が対象物の判別に影響しないかも見ます。顔のぼかしは問題にならなくても、ナンバープレートの検出を学習させたいなら、ナンバーが隠れたデータは使えません。

偏り

特定の場所・日・機材のデータが大半を占めていないかを確認します。件数が多くても、数か所の現場で連続して撮ったデータであれば、似た画像が並ぶだけで、モデルが見る条件の幅は広がりません。メタデータで、撮影場所や撮影日ごとの件数を集計すると、偏りが分かります。学習用と評価用に分けるときも、同じ場所・同じ日のデータが両方に入ると評価が甘くなるため、場所や日の単位で分けられる情報が付いているかを確認します。

3. アノテーション済みデータで見るべき観点

アノテーション済みのデータを購入する場合は、データの中身に加えて、ラベルがどの基準で付けられたかを確認します。ラベルの基準が自社の用途と違えば、データ自体が良くても付け直しが必要になります。

仕様の明確さ

アノテーションの仕様書（作業者向けのマニュアル）を見せてもらえるかを聞きます。仕様書で確認するのは次の点です。

• クラスの定義が、例を挙げて書かれているか
• バウンディングボックスなら、対象のどこまでを枠に含めるか（影、持ち物、はみ出した部分）
• セグメンテーションなら、境界をどの精度で塗るか
• 1章で決めた自社のラベル定義と、どこが同じでどこが違うか

仕様書がない、または「人を囲む」程度の記述しかない場合は、作業者ごとに判断が分かれている可能性があります。

境界ケースの扱い

判断の分かれる例がどう処理されているかを、サンプルで確かめます。たとえば次のような場面です。

• 対象の一部しか写っていない（画面の端で切れている、他の物に隠れている）
• 小さすぎて判別しにくい
• 2つのクラスのどちらとも取れる
• ぼやけている、暗くて見えにくい

これらを「ラベルを付けない」「別のクラスにする」「無視フラグを付ける」のどれで扱っているかは、仕様書で決まっているべき内容です。サンプルの中から境界ケースを探して、仕様書のとおりに処理されているかを照合します。自社の評価担当者が同じサンプルにラベルを付けてみて、提供元のラベルと比べる方法も有効です。どこで判断がずれるかが具体的に分かります。

作業者間の一致

品質管理として、同じデータを複数の作業者がアノテーションし、結果がどの程度一致したかを測っているかを確認します。測っている場合は、どの指標で測ったかも聞きます。

単純な一致率（2人のラベルが同じだった割合）は、クラスの偏りが大きいと高く出ます。9割が「正常」のデータなら、2人がそれぞれ中身を見ずに9割の確率で「正常」と付けても、一致率は8割を超えます。この偶然の一致を差し引いた指標が、Cohen's kappa（コーエンのカッパ係数）です。2人の作業者の一致率から、それぞれのラベルの出現頻度から計算される偶然の一致率を引き、偶然を除いて一致しうる幅で割った値で、1なら完全な一致、0なら偶然と同程度の一致を表します（参照：Cohen, J. (1960) "A Coefficient of Agreement for Nominal Scales"）。作業者が3人以上ならFleiss' kappa、検出タスクなら枠の重なりを測るIoU（2つの枠の共通部分の面積を、和集合の面積で割った値）が使われます。

どの値以上なら十分かは、タスクの難しさと用途によって変わるため、一律の基準を置くことはできません。数値の大小より、測定しているかどうか、一致しなかったデータをどう扱っているか（第三者が判定する、仕様書を直す）を確認するほうが、品質管理の実態が分かります。

4. 量が足りているかの判断

総件数だけでは、量が足りているかを判断できません。見るべきなのは、クラスごと、条件ごとの件数です。

クラス分布を確認する

クラスごとの件数の一覧をもらい、少数クラスが何件あるかを見ます。10万枚のデータセットでも、検出したい異常が200件しか含まれていなければ、モデルが異常について学べる量は200件分です。1章で決めた優先する指標が再現率なら、少数クラスの件数が足りるかどうかが判断の中心になります。

件数は、画像の枚数とアノテーションの数を分けて確認します。1枚の画像に対象が何十個も写っていることもあれば、対象が写っていない画像が大半ということもあります。

条件ごとに分けて数える

少数クラスの件数は、さらに2章の条件ごとに分けて見ます。異常が200件あっても、すべて日中の映像であれば、夜間の異常についてはデータがないのと同じです。クラスと条件をかけ合わせた件数表を作ると、どの組み合わせのデータが足りないかが分かります。

必要量は小さく試して見積もる

何件あれば目標精度に届くかは、タスクとデータによって大きく変わり、事前に正確には分かりません。現実的なのは、サンプルや小規模な初回購入分で実際に学習させ、件数を増やしたときに精度がどう伸びるかを見て見積もる方法です。件数を倍にしても精度が伸びないなら、量ではなく条件の偏りやラベルの基準に原因がある可能性があります。

足りないクラスや条件が分かったら、提供元が同じ条件で追加収集できるかを確認します。追加ができない場合は、その部分を自社収集で補う計画を立てます。購入と自社収集をどう組み合わせるかはAI学習データは自社で集めるべきか、購入すべきかで整理しています。

5. 契約・納品フォーマットの確認項目

契約で確認すること

データの中身に問題がなくても、契約の条件が用途と合わなければ使えません。最低限、次の点を確認します。

• 利用目的の範囲（社内での学習・検証だけか、学習済みモデルを製品に組み込めるか）
• 独占か非独占か
• 契約終了後に、データと学習済みモデルをどう扱うか
• 加工したデータやアノテーションを足したデータの扱い
• 写り込んだ人物や撮影場所について、提供元がどのような許諾・根拠に基づいて提供しているか

各条項をどう読むかはAI学習データの著作権とライセンス — 買う前に確認する条件で詳しく扱っています。

あわせて、品質に問題があったときの扱いも決めておきます。納品後の検収期間、検収で不合格とする基準（欠損率、ラベルの誤りの割合など）、不合格だった場合に差し替えるのか返金するのかを、契約か発注書に書いておくと、納品後の協議が短く済みます。

納品フォーマットで確認すること

納品形式は、受け取った後の作業量を左右します。確認する項目は次のとおりです。

• ファイル形式（画像のJPEG/PNG、映像のMP4、点群のPCDなど）と圧縮の有無
• アノテーションの形式（COCO形式、Pascal VOC形式、YOLO形式、独自のJSONなど）と、自社の学習環境でそのまま読めるか
• メタデータの項目と形式
• フォルダ構成とファイル名の規則
• 学習用・評価用の分割が済んでいるか、済んでいる場合はどの単位で分けたか
• 受け渡しの方法（クラウドストレージ、物理メディアなど）と、受け取れる容量

アノテーションの形式が独自のものである場合は、変換スクリプトを書く工数がかかります。座標の原点や、枠の表し方（左上と幅・高さか、中心と幅・高さか）の違いは、変換時の誤りが起きやすい箇所なので、サンプルで実際に読み込んで描画し、枠が正しい位置に出るかを確かめておきます。

6. 購入前チェックリスト

ここまでの観点を、確認する順に表にまとめました。「確認方法」の列は、誰が何を見て判断するかの目安です。

すべての項目を満たすデータセットは多くありません。表で「満たさない」となった項目は、購入をやめる理由になるもの、自社収集や追加購入で補えるもの、契約で手当てできるものに分けます。発注するかどうかは、この分類の結果を見て判断します。

Nextremerでは、様々な加工済みデータをご提供しています。このチェックリストの項目に沿って、購入前にサンプルで内容を確認いただけます。詳しくはデータ提供サービスをご覧ください。

7. まとめ

学習データの購入で失敗しやすいのは、サンプルの見た目と総件数で判断したときです。購入前に確認するべきなのは、撮影条件が自社の現場とどれだけ一致しているか、ラベルがどの基準で付けられているか、少数クラスが条件ごとに何件あるか、そして契約と納品形式が自社の使い方に合うかです。

これらを確かめるには、サンプルを受け取る前に、自社の用途・目標・想定環境を文章にしておく必要があります。比べる基準がなければ、サンプルの良し悪しは判断できません。発注前の準備に時間をかけるほど、サンプル確認は短く済みます。

購入以外の調達ルートも含めた比較は、AI学習データはどう調達するか — 自社収集・公開データセット・購入の比較と選び方で扱っています。