ヒューマノイドやマニピュレーションのモデルを作ろうとすると、言語や画像のモデルのようにWeb上から学習データを集めてくることができません。人が何を見て、どう手を動かし、その結果として物がどう変わったかを記録した「人のデモデータ」は、自分たちで集めるしかないためです。
集め方は大きく3つあります。人がロボットを遠隔で操作して動かすテレオペレーション、人が作業している様子を本人の視点から記録する一人称記録、物理シミュレーターで動作を生成するシミュレーションです。この記事では3つをコスト・スケール・環境の多様性・接触や力の再現・アノテーション負荷の5つの観点で比べ、現場で人の作業を一人称で記録する方法が向く条件を示します。後半では、記録しただけのデータを学習に使える形にするために、何が自動で付き、何を人が付けるのかを整理します。ヒューマノイド・マニピュレーション・VLA・世界モデルを開発する企業や研究機関で、データ計画を立てる研究者・PMの方に向けた内容です。
1. Physical AI で「人のデモデータ」が不足する理由
大規模言語モデルや画像生成モデルは、Web上のテキストと画像を学習データにして大きくなりました。ロボットの学習には、これに相当するデータがありません。ロボットに必要なのは「何が見えているか」だけではなく、「そのとき身体をどう動かしたか」と「その結果、環境がどう変わったか」が同じ時間軸で揃ったデータです。Web上にある動画の大半には、動作の記録が付いていません。
データを増やすほど汎化が進む、という前提で開発が進んでいる
ロボット向けの基盤モデルでは、学習データの量と多様性を増やすほど、新しいタスクや環境への汎化が進むという見方が主流になっています。Open X-Embodimentは、21の研究機関が集めた22種類のロボットのデータを1つにまとめ、100万エピソードを超える規模にした取り組みです。(参照:O'Neill et al. "Open X-Embodiment: Robotic Learning Datasets and RT-X Models"(ICRA 2024))2026年に公開されたEgoScaleは、2万時間を超える人の一人称動画でVLA(Vision-Language-Action)モデルを学習し、データ量と検証損失の間に対数線形の関係が見られたと報告しています。(参照:EgoScale(arXiv:2602.16710))
これらの報告が示しているのは、モデルの構造を工夫するだけでは足りず、データを集める仕組みそのものが開発の中心になる、ということです。
模倣学習では、人のデモの量と質が性能を直接決める
ロボット自身が試行錯誤して学ぶ強化学習とは別に、人がやって見せた動作を手本にする学習方法を模倣学習(Imitation Learning)と呼びます。模倣学習では、手本となる人のデモの量と質が性能を大きく左右します。双腕のテレオペレーション装置ALOHAの研究では、1つのタスクにつき50回のデモを集めて学習しています。(参照:Zhao et al. "Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"(RSS 2023))タスクと環境の組み合わせが増えれば、必要なデモの数はそのぶん増えます。
問題は、このデモを誰が、どこで、どうやって記録するかです。次の章で3つの方法を順に見ていきます。
2. 3つの集め方 — テレオペレーション・一人称記録・シミュレーション
テレオペレーション — 人がロボットを操作して動かす
テレオペレーションは、人がマスターアームやVR機器、コントローラーでロボットを操作し、その間のロボットの観測(カメラ画像・関節角)と行動(関節への指令値)をそのまま記録する方法です。データがロボット自身の身体で記録されるため、変換なしにそのまま学習に使えるのが最大の利点です。
スケールさせる取り組みも進んでいます。DROIDは、13の機関の50人の収集者が564の環境で7.6万件のエピソードを集めたデータセットです。(参照:Khazatsky et al. "DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset"(RSS 2024))それでも、ロボット1台と操作者1人が同時に拘束される点は変わりません。収集速度は操作者の熟練度とロボットの動作速度で決まり、ロボットを持ち込めない現場では記録できません。
一人称記録 — 人の作業を本人の視点から記録する
人が頭部にカメラとセンサーを着け、普段どおりに作業する様子を記録する方法です。ロボットは要りません。作業者はいつもの現場で、いつもの作業をするだけです。記録されるのは映像と音声だけではなく、頭の位置と姿勢、手の動き、周囲の深度といった「どう動いたか」の情報です。
人の身体とロボットの身体は違うため、記録したデータをそのままロボットの行動に変換することはできません。この差を埋める研究が近年の中心になっています。EgoMimicは、メガネ型デバイスで記録した人の一人称データとロボットのテレオペレーションデータを混ぜて学習し、人のデータを1時間追加するほうが、ロボットのデータを1時間追加するより性能が上がったと報告しています。(参照:Kareer et al. "EgoMimic: Scaling Imitation Learning via Egocentric Video")2026年5月に公開されたHumanEgoは、タスクあたり30分の人の一人称動画だけからロボットの方策を学習し、同じ収集時間のテレオペレーションを上回ったとしています。(参照:HumanEgo(arXiv:2605.24934、査読前))
人が手に持つグリッパー型のデバイスで記録するUMIも、一人称記録に近い方法です。ロボットと同じ形の手先で人が作業するため変換の手間は減りますが、記録できるのはそのグリッパーでできる作業に限られます。(参照:Chi et al. "Universal Manipulation Interface"(RSS 2024))
シミュレーション・Real2Sim — 仮想環境で動作を生成する
物理シミュレーターの上にロボットと環境を再現し、動作計画や少数のデモの自動変形で大量の軌跡を生成する方法です。MimicGenは、人が集めた約200件のデモから5万件以上のデータを自動生成しています。(参照:Mandlekar et al. "MimicGen"(CoRL 2023))危険な動作や失敗を何度でも試せ、物体の位置や接触の有無といったラベルはシミュレーターから正確に取り出せます。
課題は現実との差です。物体の見た目、摩擦、変形、接触したときの挙動を現実に合わせ込むには手間がかかり、合わせ込んだつもりでも実機では動かないことがあります。この差を小さくするために、現実で記録したデータからシミュレーターの環境や物体を作るReal2Simという流れがあり、ここでも起点になるのは現実のデータです。
3. 5つの観点で比較する — コスト・スケール・多様性・接触の再現・アノテーション負荷
3つの方法を、データ計画を立てるときの判断に関わる5つの観点で並べます。
| 観点 | テレオペレーション | 一人称記録 | シミュレーション |
|---|---|---|---|
| コスト | ロボット本体と操作装置が1組ずつ要る。収集中は操作者とロボットの両方が拘束される | 記録デバイスと装着者。作業者が通常業務の中で記録できれば、追加の人件費は小さい | 環境と物体のモデリングに工数がかかる。生成そのものの費用は計算資源のみ |
| スケール | 操作者の人数×ロボットの台数が上限 | デバイスの台数ぶん並列に記録できる。ロボットは要らない | 計算資源の範囲で増やせる |
| 環境の多様性 | ロボットを持ち込める場所に限られる | 人が作業する場所であれば記録できる | モデリングした範囲に限られる |
| 接触や力の再現 | ロボットの身体で実測される | 人の身体で実測される。ロボットへの変換が要る | 物理モデルの近似。接触や変形は差が出やすい |
| アノテーション負荷 | 行動はそのまま記録される。作業の意味付けは別途要る | 動作の推定は自動化が進んでいる。作業の意味付けは別途要る | ラベルは自動で正確に付く |
| 学習に使うまでの処理 | そのまま使える | 人とロボットの身体差を埋める処理が要る | 現実との差を埋める処理が要る |
どれか1つに決める性質のものではありません。テレオペレーションは、使うロボットが決まっていて、最後にそのロボットで調整する段階に向きます。一人称記録は、多様な現場で人の作業を大量に集める段階に向きます。シミュレーションは、危険な状況や失敗のパターンを増やす用途に向きます。開発の段階に応じて、どこに費用と時間を集中させるかを決めることになります。
4. 一人称記録が向くケース・向かないケース
3つのうち、ロボットを持ち込まずに現場のデータを集められるのは一人称記録だけです。そのぶん、向き不向きがはっきりしています。
向くケース
| 条件 | 向く理由 |
|---|---|
| 対象の作業が現場に固有で、ロボットを持ち込めない | 稼働中の工場・物流倉庫・店舗・病院でも、作業者が装着するだけで記録できる |
| 作業と環境のバリエーションを多く集めたい | 世界モデルやVLAモデルの事前学習に必要な「現場の多様性」を、拠点をまたいで集められる |
| まだロボットの形が決まっていない、複数の形で使いたい | 人の動作として記録するため、特定のロボットに縛られない |
| 熟練者の作業そのものを残したい | 技能伝承の記録と学習データの収集を、同じ記録で兼ねられる |
向かないケース
| 条件 | 向かない理由 |
|---|---|
| 特定のロボットで特定のタスクを短期間で動かしたい | 身体差を埋める処理を挟むより、そのロボットでテレオペレーションしたほうが早い |
| 力の加減や手触りが結果を決める作業 | 人の手が感じている力や触覚は、頭部のデバイスでは記録できない |
| 人の身体では再現できない動作 | 人が届かない場所、人が持てない重量の作業は、人のデモにならない |
| 映り込みや機密の制約で、記録そのものが許可されない現場 | 装着者本人以外の人物や機密情報が映るため、許諾が取れなければ始められない |
自社で集めるか、公開データセットや購入で代替するかという調達ルート全体の比較は、AI学習データはどう調達するか — 自社収集・公開データセット・購入の比較と選び方で扱っています。製造ラインで記録するときの制約は、対象が外観検査でも作業記録でも共通する部分が多いため、製造業の異常検知AIで学習データが集まらない理由と、現場での集め方の3章も参考になります。
5. 記録しただけでは学習に使えない — 自動で付くものと、人が付ける意味付け
一人称で記録した映像は、そのままでは「人が何かをしている動画」です。模倣学習やVLAモデルの学習に使うには、「何が起きたか」と「それが何の作業か」の2段階の意味付けが要ります。前者は自動化が進み、後者は人が付ける部分が残ります。
自動で付くもの — 「何が起きたか」
頭部のデバイスで記録したデータからは、次の情報を自動で推定できるようになっています。
- 空間位置 — 装着者がどこにいて、どちらを向いていたか(SLAMによる自己位置推定と深度推定)
- 手と物体のインタラクション — どの物体に、どちらの手で、いつ触れたか
- 全身モーション — 頭・手・胴体がどう動いたか
- シーン認識 — 工場なのか店舗なのか、周囲に何があるか
Ropedia社のHOMIE Gen2のように、記録デバイスと自動アノテーションのソフトウェアが一体で提供される製品もあります。4基の広角カメラで周囲360°を同期記録し、空間基盤モデル群が上記の情報を付けます。仕様と提供オプションはRopedia製品ページにまとめています。
自動アノテーションで得られるのは、あくまで「物理的に何が起きたか」です。動作の一般的な説明(「物を持ち上げる」「右に移動する」)までは付きますが、その動作が工程の中で何を意味するかまでは付きません。
人が付けるもの — 「それが何の作業か」
学習データとして使うには、次の意味付けを人が付ける必要があります。
- 作業工程の区切り — どこからどこまでが「ねじ締め」で、どこからが「検査」か(行動セグメンテーション)
- 成功/失敗のラベル — やり直しや不良を含む区間かどうか
- 日本語の作業指示文 — VLAモデルの言語入力になる文(「右のトレイからボルトを取り、手前の穴に差し込む」)
- 顧客固有の部品名・工具名 — 自動キャプションには出てこない、現場の呼び名
これらを自動化できないのは、作業の区切りと成否の基準が現場の工程設計で決まるためです。同じ「ボルトを差し込む」動作でも、どの深さまで入れば完了とするかは現場ごとに違います。現場固有の部品名や工具名も、一般的なモデルには含まれていません。アノテーションの種類や品質管理の考え方は、データアノテーションとは?基礎から種類・ツール・外注まで完全ガイドで整理しています。
QC — 自動アノテーションの誤りを人が除く
自動アノテーションは万能ではありません。手が物体の陰に入って追跡が外れる、反射で深度が抜ける、照明が変わって認識がずれる、といった誤りが出ます。人が付けた意味付けと合わせて、使えない区間を人が確認して除く工程が最後に要ります。この工程を省くと、誤った区間がそのまま学習に入ります。
6. 収集を外部に任せるときの確認ポイント
記録デバイスを自社で購入して集めるか、収集とアノテーションを外部に任せるかは、集めたい量と、社内にアノテーションの体制があるかを見て決めます。外部に任せる場合に、見積もりの前に確認しておきたい点をまとめます。
収集とアノテーションを分けて頼まない
収集だけを頼み、アノテーションを別の会社や社内で行うと、「どの粒度で工程を区切るか」が収集側に伝わらず、必要な区間が撮れていないことがあります。撮り直しになれば、現場の調整からやり直しです。収集とアノテーションを同じ相手に頼むと、アノテーションの仕様から逆算して撮り方を決められます。
見積もりに必要な情報を先に揃えておく
| 項目 | 伝える内容 |
|---|---|
| 対象作業 | 何の作業を、どの範囲まで記録するか |
| 現場 | 場所、記録デバイスの台数、装着する作業者の人数 |
| 収集時間 | 合計で何時間ぶん必要か、何日に分けて記録できるか |
| アノテーション項目 | 自動アノテーションのみでよいか、工程区切り・成否・指示文まで要るか |
| 納期 | 学習を始めたい時期 |
このほかに、試験収集を挟めるか、収集したデータの権利がどちらに帰属するか、作業者本人以外の映り込みと個人情報をどう扱うかを、契約の前に確認しておきます。個人情報の扱いは個人情報を含む映像・画像データをAI学習に使う — 匿名化とマスキングで、自社で集めた場合の費用の積み上げ方は学習データを自社で揃えるといくらかかるかで扱っています。
Nextremerは、お客様の現場でのデータ収集からアノテーション・QC・納品までを一括で請け負っています。進め方と、自動アノテーションと人の分担の詳細は収集・アノテーション受託をご覧ください。
7. まとめ
ロボットの模倣学習に使う人のデモデータは、Webから集められないため、テレオペレーション・一人称記録・シミュレーションのいずれかで自分たちで集めることになります。テレオペレーションはそのまま学習に使える代わりに、ロボットと操作者の拘束で量と場所が限られます。シミュレーションは量を増やせますが、現実との差を埋める処理が要ります。一人称記録は、ロボットを持ち込めない現場で多様な作業を集められる方法で、人とロボットの身体差を埋める研究が進んだことで、学習データの供給源として使われ始めています。
一人称で記録したデータは、空間位置や手の動きといった「何が起きたか」までは自動で付きます。「それが何の作業か」を表す工程の区切り、成功/失敗、作業指示文、固有の部品名は人が付け、最後に人のQCで自動アノテーションの誤りを除きます。この分担を前提にして、収集とアノテーションを一体で計画すると、撮り直しと仕様のずれを減らせます。
