自動運転のアノテーション事例｜LiDAR・カメラ・センサーフュージョンの実務要件

自動運転のAIを学習させる際には、カメラ・LiDAR・レーダーが同じ瞬間に捉えた「同じ歩行者」を、1つの物体として扱います。アノテーションの現場では、画像には見えるのにLiDARでは3点しかない対象をどう扱うか、隠れた部分も推定して囲むか、といった判断がフレームごとに必要です。判断のばらつきは、認識モデルの誤検知や見逃しにつながります。

この記事では、公開データセットの仕様書と安全規格をもとに、2D・3D・センサーフュージョンの実務で発注前に決めるべき項目を整理します。データアノテーション全体の基礎はデータアノテーションの完全ガイドにまとめています。

1. 自動運転の認識性能はアノテーションの設計にも左右される

自動運転システムは、大きく「認識」「予測」「判断・制御」の3段階で動きます。周囲の車両や歩行者、車線、信号を検出し（認識）、それらが数秒後にどこへ動くかを推定し（予測）、自車の進路と速度を決めます（判断・制御）。このうち認識の段階では、教師データで学習した深層学習モデルが広く活用されています。

教師あり学習の認識性能は、モデルの構造や学習方法に加え、学習データとラベルの品質にも左右されます。子どもの歩行者のデータが不足すれば、身長の低い対象を安定して検出できないおそれがあります。ただし、子どもを別のクラスに分けることは必須ではなく、nuScenesの物体検出ベンチマークでは大人と同じ「歩行者」クラスにまとめています（nuScenesの検出クラス定義）。夜間・雨天の性能を定量的に確かめるには、学習用とは別に、その条件の正解ラベル付き評価データも必要です。

日本では、2022年成立の改正道路交通法の関連規定が2023年4月に施行され、運転者を必要としないレベル4の「特定自動運行」の許可制度が始まりました（警察庁）。同年5月には福井県永平寺町で国内初の許可が出ています（RoAD to the L4）。2025年2月には茨城県日立市で中型バスのレベル4営業運行が始まり（産業技術総合研究所）、2026年1月には千葉県柏市の一般道を走るシャトルバス路線の一部でも始まりました（東京大学）。乗務員が同乗する形態も含め、限られた条件のもとでレベル4の運行が実用段階に入っています。

許可を受ける際は、区域・時間帯・天候などの「運行条件」を定めます。アノテーションでも、その条件に該当する場面を網羅した教師データを作る必要があります。

2. カメラ・LiDAR・レーダーの3種のデータを組み合わせる

複数のセンサーを同時に使う自動運転車では、センサー間の同期も欠かせません。代表的な公開データセットには、次のような構成があります。

• nuScenes — カメラ6台、LiDAR 1台（32レイヤー）、レーダー5台で全周360度を計測します。20秒のシーンが1,000本あり、23クラス・8属性を使って、2Hzのキーフレームに3D直方体のラベルを付けています
• Waymo Open Dataset — 20秒のシーンが1,150本あり、LiDARの3D直方体とカメラ画像の2D矩形の両方で、フレームが変わっても同じ対象には同じIDが付いています

センサーごとに取得できる情報や計測上の制約が異なるため、作成するラベルの形式も変わります。

センサーフュージョンは「同じ瞬間・同じ座標系」が前提

3種のデータで同じ物体を対応付けるには、時刻と座標系を揃える必要があります。回転式LiDARは全周の走査に時間がかかるため、正面を向いた瞬間にカメラのシャッターを切る、といった同期の仕組みをデータ収集時に整えます。また、各センサーの取り付け位置と向きを求める「キャリブレーション」が不十分だと、3D直方体を画像に投影したときに対象とずれてしまいます。

「LiDARでは正しい位置なのに画像ではずれている」と、作業者はどちらを基準にするか迷います。発注前に同期・キャリブレーションの状態を確認しておきます。

2Dラベルは「3Dラベルを投影する」か「別に付ける」かを決める

3D直方体を画像に投影して2D矩形を自動生成すると工数を抑えられますが、8頂点を囲む矩形は対象より大きくなりがちです。Waymo Open Datasetでは、3Dラベルを投影せず、カメラの2Dラベルを別に付けています。カメラだけで動く検出モデルを学習させるなら、2D側も対象物を余白なく囲んだ矩形が必要になるためです。

LiDARを主なセンサーとし、カメラを分類の補助に使うなら、投影で十分な場合もあります。学習させるモデルと入力データに応じて、2Dラベルの作り方を決めます。

3. 代表的なアノテーションは2D・3D・時間軸の3つに分けられる

自動運転のアノテーションは、画像平面（2D）、空間（3D）、時間軸（トラッキング）に分けて整理できます。1つのプロジェクトで複数の種類を扱うことが多く、ラベル間の矛盾を確認する作業にも工数がかかります。

3D直方体は位置・寸法・向きと属性で表す

Waymo Open Datasetの3D直方体では、前後・左右の傾き（ピッチ・ロール）を0とし、中心座標（x, y, z）、寸法（幅・長さ・高さ）、水平方向の向き（ヨー角）の7つの値で対象を表します（Waymoのラベル定義）。ヨー角は物体の向きであり、後退する車両などでは移動方向と一致しません。nuScenesでは「見えている割合」「走行中・停車中・駐車中」「自転車に人が乗っているか」といった属性も付けます。駐車中なら避け、走行中なら追従するなど、自車の行動を判断する手がかりとなるため、予測モデルの学習にも利用できます。

歩行者や停止中の車両は向きを判断しにくく、作業者間で指定した角度が90度ずれることもあります。2Dと3Dの違いはバウンディングボックスとは？で、点群の扱いは3Dアノテーションとは？で解説しています。

一度隠れた対象が再び見えたとき、トラッキングIDをどう付けるか

トラッキングでは、フレームをまたいで同じ対象に同じIDを付けます。たとえば車両がトラックの陰に3秒隠れて再び見えた場合、同じIDを付けるか、新しいIDにするかを仕様で決めておきます。隠れる前後の軌跡をつないで予測モデルに学習させるには、同じIDが必要です。作業者は位置・寸法・色から同じ対象かどうかを判断します。

フレームごとの追跡や、特定の出来事が起きた区間にラベルを付ける方法は、動画解析とは？でも扱っています。ピクセル単位で分類する場合は、セマンティックセグメンテーションとは？を参照してください。

4. 品質要件は安全規格から逆算する

自動運転では誤ったラベルが事故の原因になり得るため、自動車の安全規格を手がかりに品質要件を定めます。

• ISO 26262 — 電気・電子システムの故障に起因する危険を扱う機能安全の規格
• ISO 21448（SOTIF） — 故障がなくても、センサーの性能の限界や想定外の状況により、意図したとおりに機能しないことで生じる危険を扱う
• ISO/PAS 8800 — 2024年12月に公開された、AIを組み込んだ車載システムの安全に関する仕様。学習データの品質そのものを対象にしている

ISO/PAS 8800では、データセットに求められる性質として完全性、代表性、正確性、独立性、追跡可能性などが挙げられています。要件定義から設計・実装・検証・妥当性確認・保守まで、各段階での管理が必要です（Dataset Safety in Autonomous Driving）。アノテーションの仕様では、次の項目に対応します。

完全性：データが少ないクラスも対象に含める

nuScenesの23クラスには、大人と子どもの歩行者、車椅子、ベビーカー、路上のがれきに加え、台車や手押し車、車輪付きごみ箱、ショッピングカートなど、人が押し引きする物体も含まれています（nuScenesのアノテーション定義）。頻繁に見かけなくても、見逃したときの被害が大きい対象だからです。クラスを大まかに分けると作業は速くなりますが、後から細分化するとラベルの付け直しが必要になります。

代表性：運行条件ごとのデータの割合を数字で決める

学習データは、運行条件に合わせて昼夜や天候ごとの割合を決めます。晴天の昼間のデータばかりでは、夜間や雨天での性能は保証できません。調達段階の考え方はAI学習データの調達方法で扱っています。

正確性：対象を囲む基準を数値で定める

nuScenesの手順書では、位置と形状を合理的に判断できることを条件に、LiDARかレーダーで1点以上計測できた対象にラベルを付けます。対象の点を外さず余白なく囲むことを基本とし、車両のサイドミラーなどは除外します（nuScenes annotator instructions）。このように、仕様書には含める部分・除く部分・必要な最小の点数を数値や例で示します。

検品では、3D直方体の一致度をIoU（2つの直方体の共通部分の体積を、両方を合わせた領域の体積で割った値）で測り、閾値で合否を判定します。誤りが安全に直結する領域では、別の作業者が全件を確認するダブルチェックが必要です。検品体制と費用の関係はアノテーションの費用はどう決まる？で整理しています。

独立性：学習用と評価用のデータを分ける

学習用と評価用のデータは走行ログ単位で分け、同じシーンの前後のフレームが両方に混ざらないようにします。

追跡可能性：誰が・どの版の基準でラベルを付けたかを記録する

ラベルの誤りを追跡できるよう、作業者・ガイドラインの版・修正履歴を記録します。ガイドラインを改訂した際は、過去のデータから見直し対象を特定できるようにしておきます。ガイドライン自体の作り方はアノテーションガイドラインの作り方を参照してください。

補足：個人情報の取り扱い

公道で撮影した画像には、人の顔や車両のナンバープレートが写り込みます。アノテーション作業者に渡す前にぼかし処理を行うか、作業環境を限定するかを決めておきます。この処理の費用は、アノテーションの作業費と分けて見積もりに含めます。

5. 事例で見る3D・センサーフュージョンの決め事

公開データセットの手順書をもとに、3D・センサーフュージョンの現場で判断が分かれる6場面と、仕様書に書くべき項目を示します。

場面1：夜間、カメラには写らないが点群では確認できる歩行者

夜間の歩行者は、画像では判別できなくても、LiDARでは身長に相当する高さに点が並ぶことがあります。「画像で確認できなければラベルを付けない」とすると、点群で捉えた対象が学習データから抜け落ちます。

多くの公開データセットでは、LiDARの情報を判断の基準とし、画像を補助的に使います。仕様書には「点群で形状と位置が判断できればラベルを付ける。画像は分類の確認に使う」と役割を明記します。一方、遠方の信号機などLiDARの点がほとんどない対象は、画像を基準とします。対象クラスごとに、判断の基準とするセンサーを決めます。

場面2：手前の車に隠れた駐車車両をどこまで描くか

駐車車両の後半分が手前の車に隠れている場合、見えている点だけを囲むと直方体も本来の半分の長さになります。nuScenesでは隠れた部分も含めて実寸を推定し、直方体を描きます。すべてのカメラ画像を合わせて判断した見えている割合は「0〜40%」「41〜60%」「61〜80%」「81〜100%」の4段階に分け、属性として別に記録します。

学習時には見えている割合に応じて損失の重みを調整でき、評価時には「見えている割合が40%以下の対象の検出率」などを確認できます。仕様書には実寸を推定して描く方針と、見えている割合を段階に分ける基準の両方を書きます。

場面3：連結バスやトレーラーを1つの直方体で囲むか、分けて囲むか

連結バスやトラクター・トレーラーを曲がった状態で1つの直方体に収めると、内側に大きな余白ができます。nuScenesでは、連結バスの前部と後部を別の直方体で囲み、セミトレーラーのトラクター部分とトレーラー部分は別のクラスに分類しています。

連結車両の出現頻度は、物流拠点の周辺か住宅地かなど、走行区域によって変わります。データが少なくても、分けて囲む方針と例は事前に用意します。

場面4：静止した対象の直方体がフレームごとにずれる

静止した車両でも、自車の位置推定の誤差で点群がフレームごとにずれることがあります。直方体を全フレームにコピーすると、点群と位置が合わなくなります。nuScenesでは各フレームの点群に合わせた直方体を作るよう定めており、補間自体を一律に禁止しているわけではありません。

静止物の最初と最後のフレームにだけ直方体を描き、中間を補間すれば工数を減らせますが、地図やLiDARの精度によってはずれを補えません。実際のデータを確認し、補間を認める条件と、認めない条件を決めます。

場面5：3D直方体を画像に投影すると2Dの矩形とずれる

3D直方体の投影結果と2D矩形がずれる原因として、キャリブレーションの不備と、ラベルの仕様の違いが考えられます。後者は、3Dで実寸を推定し、2Dで見えている部分だけを囲む場合です。

キャリブレーションの不備が疑われるなら、アノテーションを止めて収集データを確認します。仕様の違いなら誤りとして差し戻さず、3Dと2Dのラベルが一致しなくてもよい条件を仕様書に明記します。

場面6：レーダーでしか捉えられない対象にもラベルを付けるか

雨天でLiDARやカメラが対象を捉えにくくても、レーダーでは距離と速度を計測できる場合があります。nuScenesでは、LiDARかレーダーで1点以上計測でき、位置と形状を合理的に判断できれば、レーダーにしか点がない対象にもラベルを付けます。点が少ない場合は画像も使って寸法を確かめます。形状を判断できないままクラスごとの標準寸法を当てはめることは、この条件を満たしません。

仕様書に書くべき項目のチェックリスト

発注前に、次の10項目を仕様書に整理します。

• 座標系と向きの定義 — 車両座標系かグローバル座標系か、ヨー角0度の基準はどの軸か
• 判断の基準とするセンサー — クラスごとにLiDARと画像のどちらを基準にするか
• 必要な最小の点数 — 何点以上あれば直方体を描くか
• 隠れた部分の扱い — 実寸を推定して描くか、見えている割合をどのような段階に分けて記録するか
• 直方体に含める部分・除く部分 — サイドミラー、荷台のクレーン、開いたドア、歩行者の荷物
• まとめて囲むか、分けて囲むか — 連結バス、トレーラー、自転車と乗員の扱い
• 補間を認める条件 — 動いていない対象の位置を補間してよいか、どのような条件で認めるか
• トラッキングIDの付与ルール — 一度隠れた対象に、再び見えたときも同じIDを付ける条件
• 2Dと3Dのラベルの対応関係 — 一致しなくてもよい場合と、誤りとして差し戻す場合
• ラベルを付けない領域 — 対向車線の向こう側、駐車場の内部など、範囲外とする区域の定義

実際のデータを見ないと決められない項目もあります。少量のデータで試行し、判断が分かれた箇所を仕様書に反映すると、作り直しを減らせます。

6. Nextremerの自動運転向けアノテーション支援

要件定義やデータ収集、作業体制などをすべて決めてから相談する必要はありません。Nextremerでは少量のデータで試行し、判断が分かれた箇所を依頼者と確認しながら仕様を具体化します。

試行後に想定外のケースが見つかれば、仕様書とガイドラインを更新し、過去のデータの見直し範囲を特定します。品質管理には、筑波大学との共同研究でアノテーション手法の標準化、ガイドライン策定、再現性の検証に取り組んできた経験を生かしています。

作業は、独自の研修で育成した専任のアノテーターが担当します。3D直方体の向きや隠れた部分の推定では、判断をそろえるため担当者を固定します。効率化できる作業には、AIの下書きを人が確認・修正するHuman-in-the-Loopを取り入れ、データ作成の工数を最大40%削減しています。点群など情報量の多いデータでは、下書きの精度を検証してからAIを利用します。

自社では複数のVLM（画像と言語を扱うモデル）を使い、自動運転の画像を見て質問に答えるVQA 150問で検証しました。信号の色や天候の正解率はほぼ1.0だった一方、車線や車両の向きは0.3〜0.4にとどまりました（VLMとは？知覚・知識・推論の評価基準と選び方）。3D直方体の向きや車線など、位置関係の判断には今も人の確認が欠かせません。

お預かりしたデータと成果物は、そのプロジェクトに限って利用し、自社の製品やサービスには転用しません。顔やナンバープレートの処理、アクセス権限、終了後の破棄方法は契約段階で取り決めます。支援の進め方は、数万枚の画像を塗り分けた大規模画像セグメンテーションの事例や、複数の観点のラベルを一度に付けられるようツールをカスタマイズした事例でも紹介しています。詳しくはデータアノテーションサービスをご覧ください。

7. まとめ｜仕様書に明記した要件の数が品質を左右する

自動運転のアノテーションでは、センサー間で時刻と座標系を揃え、2D・3D・トラッキングのラベルに矛盾がないか確認します。

品質要件はISO 21448やISO/PAS 8800を踏まえ、運行条件の網羅、対象を囲む基準、作業・修正履歴の記録など、具体的な仕様として定めます。

公開データセットの手順書を参考に、自社のデータで判断が分かれる点を具体化し、第5章のチェックリストで仕様の抜けを確かめてください。

種類や手法、品質管理の考え方を体系的に確認したい場合は、データアノテーションの完全ガイドもあわせてご覧ください。