AI学習データは自社で集めるべきか、購入すべきか — 判断基準

AI学習データは自社で集めるべきか、購入すべきか — 判断基準

AI学習データを自社で集めるか、外部から買うか。どちらがよいかは、プロジェクトがどの段階にあるかで変わります。同じ案件でも、AIで実現できるかを確かめる検証段階では購入が有利になり、本番運用に入ると自社収集が有利になることが多いためです。

この記事では、自社収集と購入の2つに絞って、どちらを選ぶかの判断基準を整理します。比べる軸は必要量・期間・権利要件・コスト・再現性の5つです。そのうえで、検証段階と本番運用で答えが入れ替わる理由をフェーズ別の表にまとめ、最後に発注前に使える判断チェックリストを載せています。社内でデータ調達の方針を説明する立場の発注担当者に向けた内容です。

1. 3つの調達ルートとそれぞれが向くケース

学習データの調達方法は、自社収集・公開データセット・購入の3つに分かれます。

ルート中身向くケース
自社収集自社の現場にカメラやセンサーを置き、自分たちで取得する対象が自社に固有で、運用中も継続して集める必要がある
公開データセット研究機関や企業が配布しているデータを使う手法が成立するかを無償で試す。ベースラインを作る
購入提供事業者が実環境で収集したデータを調達する着手を早めたい。自社にない環境のデータを補いたい

公開データセットは、撮影条件が自社の現場と合わないことが多く、商用利用を認めていないライセンスも少なくありません。手法の見通しを付ける段階を過ぎると、実務上の選択は「自社で集めるか、買うか」の二択になることが多いです。この記事がこの2つに絞っているのはそのためです。公開データセットを含めた3ルートの比較はAI学習データはどう調達するかで扱っています。

自社収集と購入は、社内での呼び方が「内製」と「外注」になっていることもあります。ただし、ここでいう購入は、提供元が手持ちの収集済みデータを納品する形を指します。自社の現場での撮影を外部に委託する場合は、データの中身としては自社収集に近く、期間と費用のかかり方は両者の中間になります。

2. 判断軸 — 必要量・期間・権利要件・コスト・再現性

自社収集と購入を比べるときは、次の5つの軸で自社の条件を書き出すと、どちらに寄るかが見えてきます。

判断軸自社収集に寄る条件購入に寄る条件
必要量運用しながら継続的に増やしていく初期の学習に必要な量がまとまって手に入ればよい
期間収集に数か月〜年単位かけても事業計画に収まる数週間〜数か月で検証結果を出す必要がある
権利要件独占的に使いたい。モデルやデータを社外に出す予定がある社内利用が中心で、非独占のライセンスで足りる
コスト長く使うほど1件あたりの費用を下げられる発注時点で総額を確定させたい
再現性同じ条件で何度でも撮り直せる必要がある一度揃えば足りる。追加は提供元に依頼できる

必要量

必要な件数は、学習に使う量と、運用開始後に足していく量に分けて考えます。初期に数千件あれば足りて、その後は大きく増やさないなら、購入で一度に揃えるほうが早く済みます。運用しながら誤検知の事例を集め、学習し直す前提なら、データを継続して取れる仕組みが要ります。この仕組みは自社の現場にしか作れません。

期間

自社収集は、撮影を始める前の現場調整と許諾に時間がかかります。検出したい事象がまれにしか起きない場合は、必要な件数が集まるまで年単位で待つこともあります。購入なら、要件確認とサンプル確認を経て、数日〜数週間で着手できることが多いです。

権利要件

自社で撮ったデータは、利用範囲を自社で決められます。ただし、人の顔や声、取引先の情報などが含まれる場合は、個人情報や肖像権の扱いを別に検討する必要があります。購入したデータは、契約で定めた範囲でしか使えません。独占か非独占か、契約終了後に学習済みモデルを使い続けられるかは、契約前に確認しておく必要があります。確認する条項は学習データの著作権・ライセンスで確認すべきことで整理しています。

コスト

自社収集の費用は、機材費のほかに、現場調整・立ち会い・前処理・アノテーションの社内工数としてかかります。期間に比例して増える費用が多く、収集が長引くほど総額が当初の見積もりより膨らみます。購入は、発注時点で金額が確定します。単純な金額の大小より、費用がいつ確定するかのほうが、予算の通しやすさに影響します。自社収集の費用を工程ごとに積み上げる方法は学習データを自社で揃えるといくらかかるかにまとめています。

再現性

運用中にモデルの精度が落ちたとき、同じ条件のデータを撮り直して原因を調べられるかどうかも判断材料になります。自社の現場であれば、照明やカメラ位置を変えて撮り直せます。購入したデータは撮影条件を自分で変えられないため、提供元が同じ条件で追加収集に対応できるかを、最初の発注の時点で確かめておきます。

3. 検証段階と本番運用で答えが逆転する

前章の5つの軸は、プロジェクトのフェーズによって重みが変わります。検証段階で重視されるのは期間とコストで、本番運用で重視されるのは必要量・権利要件・再現性です。そのため、同じ案件でも、フェーズが変わると、自社収集と購入のどちらが有利かが入れ替わります。

判断軸検証段階(AIで実現できるかを確かめる)本番運用(現場で使い続ける)
確かめたいことこの案件をAIで実現できるか現場の変化に追随して精度を保てるか
必要量精度の見通しが立つ量で足りる運用中に継続して増やす
期間短いほどよい。結論が出るまでの時間が投資判断を左右する長期で計画できる
権利要件社内の検証に使えれば足りる製品への組み込みや社外提供まで含めて確認が要る
コスト結論が「実現できない」でも無駄にならない額に抑える長く使うほど1件あたりの費用が下がる体制を作る
再現性低くてもよい撮り直しと追加収集ができる必要がある
有利なルート購入自社収集(購入での補完を含む)

検証段階で自社収集の体制から作ると、AIで実現できるかの結論が出る前に、予算と時間の大半を現場調整と収集に使うことになります。検証の結論が「実現できない」だった場合、作った収集体制はそのまま不要になります。この段階では、実環境に近い収集済みデータを買って精度の見通しを先に得るほうが、総額でも期間でも有利になりやすいです。

本番運用に入ると、事情が変わります。現場の照明や設備、扱う製品は時間とともに変わり、学習時のデータと運用時のデータの分布がずれていきます。このずれを埋めるには、自社の現場からデータを取り続ける仕組みが必要です。購入したデータだけで運用を続けると、提供元の手持ちにない変化が起きたときに追加の手段がありません。

ただし、この逆転は「対象が自社に固有かどうか」で例外が出ます。自社製品の外観不良のように、他では手に入らない対象は、検証段階でも自社収集が前提になります。反対に、一般的な走行環境や店舗の動線のように、どの現場でも成り立つデータは、本番運用でも購入で埋められることがあります。

4. 自社収集が正解になる条件

次の条件が揃うほど、自社収集を選ぶ理由が強くなります。

  • 対象が自社に固有である。 自社製品の不良、自社設備の異常音、自社の作業手順のように、他の現場では同じデータが取れないもの
  • 運用中も継続して集める。 一度学習させて終わりではなく、誤検知の事例を足して定期的に学習し直す計画がある
  • 現場に入れる。 撮影する現場の責任者の協力が得られ、写り込む人や取引先の許諾を取れる見込みがある
  • 期間が事業計画に収まる。 現場調整と収集にかかる期間を見込んでも、使い始めたい時期に間に合う
  • データを独占的に使いたい。 競合他社が同じデータで学習したモデルを持つことを避けたい

ただし、上の条件を満たしていても、収集を担う人を社内で確保できない場合は進みません。現場との調整、撮影の立ち会い、匿名化、アノテーションの品質確認は、いずれも誰かの業務時間を使います。自社収集を選ぶときは、どの部署の誰がこれを担うかまで決めてから計画を立てます。

5. 購入が正解になる条件

購入は、費用をかけてでも早くデータを揃えたいときや、自社では集められないデータが要るときに選ばれます。次のような条件があれば、購入を先に検討します。

  • 検証結果を早く出す必要がある。 現場調整から始めると、検証に入るまでに数か月かかる
  • 自社に存在しない環境のデータが要る。 他業種の現場、他地域の道路、自社では再現できない天候や時間帯のデータ
  • 対象がまれにしか起きない。 自社の現場だけで待っていると、必要な件数が集まるまで年単位かかる
  • 社内に収集の担い手がいない。 現場調整や匿名化を担える人を確保できない
  • 予算を発注時点で確定させたい。 収集期間のずれで費用が膨らむリスクを避けたい

購入で注意したいのは、買ったデータが自社の現場と違えば、公開データセットと同じ問題が起きる点です。撮影時期・地域・機材・設置条件が自社の対象環境とどこまで一致するかは、仕様書ではなくサンプルの実物で確かめます。追加収集に対応できる提供元かどうかも、初回の品質と同じくらい重要です。

6. ハイブリッド運用 — 購入で立ち上げ、自社収集で広げる

3章の表を時間の流れに沿って読むと、購入から始めて自社収集へ移る進め方になります。検証から本番運用まで進める案件では、この順序で組み合わせると無駄が少なくなります。

  1. 検証:購入したデータで精度の見通しを得る。 対象環境に近い収集済みデータで学習させ、AIで実現できるかを確かめます。ここで「実現できない」と分かれば、自社の収集体制を作る前に方針を変えられます
  2. 立ち上げ:自社の現場で少量を撮り、差を測る。 購入データで学習したモデルを自社の現場で撮ったデータで評価し、どの条件で精度が落ちるかを特定します。収集量は、この差を測れる規模で足ります
  3. 拡張:精度が落ちる条件に絞って自社収集する。 2で見つかった条件(照明、設備の世代、季節など)に対象を絞って撮影します。全条件を一から集めるより、収集期間と費用を抑えられます
  4. 運用:自社収集を継続し、足りない条件だけ購入で補う。 運用中に見つかった誤検知の事例を自社で集めて学習し直し、自社の現場では起きにくい条件は追加購入で埋めます

この進め方の利点は、自社収集の範囲を「購入データでは足りない部分」に絞れることです。最初から全条件を自社で集める計画と比べて、現場調整と撮影の対象が小さくなり、撮り直しも減らせます。

ハイブリッドで進めるときは、購入データの契約が運用段階の使い方と合っているかを先に確認しておきます。購入データと自社データを混ぜて学習させたモデルを製品に組み込む場合、購入データの利用範囲が社内検証に限られていると、検証後にモデルを作り直すことになります。

7. 判断チェックリスト

次の質問に答えていくと、自社収集と購入のどちらに寄るかを確認できます。「自社収集」側の答えが多いほど自社収集が、「購入」側が多いほど購入が向いています。

質問自社収集に寄る答え購入に寄る答え
いまのフェーズは検証段階か、本番運用か本番運用検証段階
対象は自社に固有か固有で、他では手に入らない他の現場でも同じデータが取れる
運用開始後もデータを足し続けるか足し続ける初期の学習で足りる
いつまでに検証結果が必要か数か月以上の余裕がある数週間〜数か月以内
対象の事象はどのくらいの頻度で起きるか自社の現場で十分に起きるまれにしか起きない
撮影する現場に入れるか、許諾を取れるか入れる。許諾の見込みがある入れない。許諾の調整が難しい
収集・匿名化・アノテーションを担う人がいるか担当を決められる確保できない
データを独占的に使う必要があるか必要非独占で足りる
予算はいつ確定させたいか期間に応じて積み上がってもよい発注時点で確定させたい

答えが両側に分かれた場合は、6章のハイブリッド運用を前提にします。そのときは、フェーズの質問を最優先にしてください。検証段階であれば購入から始め、自社収集はどの条件で精度が落ちるかが分かってから着手しても遅くありません。

購入を選んだ場合は、発注前にサンプル・撮影条件・契約条件を確認します。確認する項目はAI学習データはどう調達するかの4章にまとめています。

Nextremerは、製造・モビリティ・物流・小売・農業・建設などの現場で取得した実環境データの提供と、その加工を扱っています。自社収集と購入のどちらが現実的かの整理からご相談いただけます。詳しくはデータ提供サービスをご覧ください。

8. まとめ

自社収集か購入かは、必要量・期間・権利要件・コスト・再現性の5つの軸で比べると整理できます。ただし、どの軸を重視するかはフェーズで変わります。検証段階では期間とコストが重要になり、購入が有利になりやすくなります。本番運用では継続的な収集と再現性が重要になり、自社収集が有利になりやすくなります。この入れ替わりを前提に置けば、どちらか一方に決めて固定する必要はありません。

実際の案件では、購入したデータで検証を済ませ、自社の現場で精度が落ちる条件を特定してから、その条件に絞って自社収集を始める進め方が現実的です。対象が自社に固有な場合だけは、検証段階から自社収集を前提にします。

調達ルート全体の比較と判断フローは、AI学習データはどう調達するか — 自社収集・公開データセット・購入の比較と選び方で扱っています。

執筆者

  • 喜多 俊之

    喜多 俊之

    株式会社Nextremer 取締役CTO

    2013年に東北大学大学院理学研究科を修了後、三井情報株式会社へ入社。SI部門やR&D部門のエンジニアとして、時系列予測やデータ分析、機械学習に携わる。2017年より大手メーカーのグループ企業にて機械学習エンジニアとして幅広い業種・規模のシステム開発に参画。2019年より現職にて画像認識や対話システムなど機械学習システムの開発を担うR&D部門にてマネージャーを務める。

データ提供の詳細を見る→