大規模言語モデル（LLM）に画像を入力できるモデルが一般的になり、画像の内容を読み取って質問に答えたり、書類を構造化したりする用途が実運用に入ってきました。一方で、公開されているモデルの数と世代交代の速さに対して「自社のタスクにどれを選べばいいのか」という判断基準は整理されていません。この記事では、VLMの評価軸と選定時に確認すべき条件を、自動運転VQAを使った自社検証の結果を交えて解説します。
1. VLMは画像とテキストを統合処理するAIモデル
VLM（Vision Language Model）とは、画像とテキストの両方を入力として受け取り、統合的に処理できるAIモデルの総称です。LLM（Large Language Model）がテキスト情報のみを扱うのに対し、VLMは視覚情報も理解できる点が特徴で、「言葉」と「見えているもの」を組み合わせて推論するAIとして活用が進んでいます。
こうした特徴を活かして、VLMは視覚と言語の両方を必要とするタスクに幅広く対応します。代表的なものは以下の通りです。
- 画像のキャプション生成・映像の要約 — 画像や映像の内容を簡潔なテキストで表現します。
- VQA（Visual Question Answering） — 画像に写っているものに関する質問に、テキストで回答します。
- OCR（Optical Character Recognition） — 画像内の文字を認識し、テキストへ変換します。帳票や手書き文書の構造化にも使われます。
- GUI操作・画面理解 — スクリーンショットから画面上の要素を認識し、次に取るべき操作を判断します。近年のモデルが強化している領域です。
- 空間認識・グラウンディング — 「どこに何があるか」を座標として出力します。ロボティクスや自動運転の判断に接続されます。
用途が広がるにつれて、モデルに求められる能力も「画像を説明できること」から「画像をもとに正しく判断できること」へ移っています。次章で扱う評価基準は、この判断の正しさをどう測るかという話です。
2. VLMの評価は知覚・知識・推論の3観点で行う
VLMは多くのタスクに対応できるとはいえ、常に正確な出力を返すとは限りません。画像内の文字を読み間違えたり、状況を誤解して誤った判断をしたりすることがあります。そのため「どのような場面でどの程度正確に動作するのか」を定量的に評価することが重要です。
評価は、MMMUなどのベンチマークが採用している**知覚（Perception）・知識（Knowledge）・推論（Reasoning）**の3観点で整理できます。それぞれ何を測る観点なのか、どのような評価用データセットが公開されているのかを見ていきます。
①知覚（Perception）
知覚は、画像や映像の要素（物体、色、数、空間的関係など）をどれだけ正確に認識できるかを評価する観点です。画像を提示したうえで、例えば次のような質問に適切に答えられるかで測ります。
| 質問 | 正解例 |
|---|---|
| 信号柱は何本写っていますか？ | 2本です |
| このバスは何色ですか？ | 黄色です |
主に知覚の評価を目的として、以下のデータセットが公開されています。
- OCRBench — 印刷された文字や手書き文字の認識精度を評価します。
- COCO Caption — 画像の内容を反映した簡潔なキャプションを生成する能力を評価します。
②知識（Knowledge）
知識は、画像に写っている人や物に関する背景知識を持っているかを評価する観点です。画像を正しく「見えている」だけでは答えられない質問が対象になります。
| 質問 | 正解例 |
|---|---|
| この畑では何が栽培されていますか？ | 稲です |
| この赤い車のメーカーはどこですか？ | 日産です |
主に知識の評価を目的として、以下のデータセットが公開されています。
③推論（Reasoning）
推論は、画像内の要素や背景知識をもとに、論理的に結論を導き出す能力を評価する観点です。「写っているもの」から「そうなっている理由」や「次に起きること」を導けるかを問います。
| 質問 | 正解例 |
|---|---|
| なぜここにコンクリートブロックが置かれているのですか？ | シートが風で飛ばされないようにするためです |
| 前方の銀色の車は次にどちらへ進みますか？ | 左折します |
主に推論の評価を目的として、以下のデータセットが公開されています。
- PCA-Bench — 自動運転、家庭用ロボット、オープンワールドゲームの画像について、次に取るべき行動を推論できるかを評価します。
- MathVista — グラフや図表を含む数学的な推論能力を評価します。
3観点を総合的に評価するデータセット
観点ごとに特化したものだけでなく、知覚・知識・推論を横断して評価できるデータセットも公開されています。
- MMMU — 工学・医学・芸術・社会など幅広い分野の大学レベルの問題を集めたデータセットです。解答には画像の認識能力、各分野の専門知識、推論能力のすべてが必要になります。
- SEED-Bench — 文字認識（知覚）、科学知識（知識）、視覚推論（推論）など多数のタスクを通じて、3観点をバランスよく評価します。
実行したいタスクに近いデータセットのベンチマーク結果を確認すれば、候補となるモデルはある程度絞り込めます。ただし、ベンチマークのスコアだけで運用に載せられるモデルが決まるわけではありません。次章以降で、実務上の制約を見ていきます。
3. 運用方式はコストとセキュリティで決まる
VLMでタスクを処理するには、自分でデプロイしたモデルを利用する方法と、第三者が提供するAPIを利用する方法の2つがあります。どちらを選ぶかは、タスクの要件と利用可能なリソースによって判断します。
①自分でデプロイしたモデルを利用する場合
オープンウェイトのモデルを自社環境へデプロイする方法です。データが外部へ送信されないため、機密情報を扱うタスクに適しています。2026年時点では、Apache-2.0で商用利用可能なQwen3-VLが2B〜235Bの幅広いサイズで公開されているほか、Ovis2.5（2B/9B）やInternVL3.5など、エッジからサーバーまで選択肢が揃っています。
ただし、以下の制約を考慮する必要があります。
- モデルサイズの制限 — デプロイ先のマシンで動作するモデルを選ぶ必要があります。エッジデバイスでは数B程度、メモリ16GB前後のコンシューマー向けGPUでは量子化済みで十数B程度が目安です。実際に動作するかは各モデルの公式ドキュメントで確認してください。
- GPUアーキテクチャによる制限 — 利用できる高速化技術がGPU世代に依存します。計算を高速化するFlashAttentionは、バージョン2系がAmpere（RTX 3000シリーズ）以降、より新しい3系・4系はHopperやBlackwellといったデータセンター向けGPUを前提としています。手元のGPUで使える手法が変わるため、性能見積もりの前に確認が必要です。
- 運用の担い手 — モデルの更新、推論サーバーの維持、精度劣化の監視は自社の負担になります。世代交代が速い領域なので、載せ替えを前提とした構成にしておくと安全です。
②第三者が提供するモデルを利用する場合
AnthropicのClaude（Opus 5 / Sonnet 5）、OpenAIのGPT-5系、GoogleのGemini 3系といった商用APIを利用する方法です。最先端の超大規模モデルをインフラ管理なしで使えるため、精度を重視するタスクに適しています。ただし以下の点に注意が必要です。
- データの取り扱い — データは外部へ送信されます。サービスごとに入力データが学習に利用されるかどうか、学習利用をオフに設定できるかどうかを事前に確認してください。医療情報や個人情報を含む画像を扱う場合は、契約条件の確認が先です。
- コストの見積もり — 従量課金であるうえ、画像は高解像度で入力するほどトークン消費が増えます。高解像度対応が進んだ結果、1枚あたりのトークン数が従来世代より数倍になるケースもあります。少量のデータで実測してから本番規模を見積もってください。バッチ処理やプロンプトキャッシュで単価を下げられる場合もあるため、要件に問題がなければ検討する価値があります。
- モデルの更新 — 提供側の都合でモデルが更新・提供終了されます。出力が変わる前提で、評価用データセットを手元に持ち、更新のたびに回帰確認できる状態にしておくことが重要です。
4. モデル選定で確認する4つの条件
ベンチマークと運用方式が決まっても、実タスクに載せる前に確認すべき条件があります。
①タスクに必要な推論速度
リアルタイム処理が求められるタスクでは、推論速度が制約になります。VLMは一般に処理が重いため、VLM以外の特定タスクに特化した軽量モデルを併用する設計も有効です。例えば「まず軽量な物体検出モデルで対象を絞り、判断が必要な場面だけVLMへ渡す」といった構成にすると、速度とコストの両方を抑えられます。
②学習データの内容
モデルの性能は、学習に使われたデータに大きく依存します。タスクに必要な要素が含まれたデータで学習されているかが重要です。
例えば、欧米の文化に偏ったデータで学習されたモデルに日本固有の事物について質問すると、正確な回答が得られない場合があります。日本語の標識、帳票の様式、商習慣といった対象を扱うなら、日本語・日本文化のデータをどれだけ含んでいるかは確認すべき項目です。
③入力する画像の処理方法
多くのモデルには入力画像の解像度に上限があり、超える場合は縮小されます。縮小によって細部の特徴が失われ、正確な回答が難しくなることがあります。
近年は、解像度に応じて画像のトークン数を増減させる方式が広く採用され、高解像度画像の細部を捉えられるモデルが増えました。Qwen3-VLやOvis2.5はネイティブ解像度での視覚認識に対応しており、商用APIでもClaudeが長辺2576ピクセルまでの高解像度入力をサポートしています。細かい文字や傷を判定するタスクでは、解像度の扱いを基準にモデルを選ぶと結果が変わります。
④モデルごとの特徴
ベンチマーク上で同程度の性能に見えるモデルでも、構造や学習データの違いから、知覚・知識・推論の得手不得手にモデル固有の傾向が現れます。少量のデータで特徴を検証したうえで、タスクに合ったモデルを選ぶことが重要です。次章で、実際に検証した例を紹介します。
5. 自動運転VQA150問でモデルごとの特徴を検証した
弊社では、自動運転を題材としたVQAを作成し、複数のモデルで出力の傾向を比較しました。以下は2025年3月時点で実施した検証の結果です。モデルの世代は入れ替わっていますが、「ベンチマークが近くてもモデルごとに判断のクセが出る」という結論は現在も変わりません。
検証の条件
| 項目 | 内容 |
|---|---|
| 画像データ | VehicleOrientationDataset |
| 設問数 | 知覚・知識・推論の各観点50問、計150問 |
| 出題形式 | 多肢選択（正解の選択肢が1つ以上）＋選択理由の記述 |
| 比較したモデル（クローズド） | Claude 3.7 Sonnet（推論能力が高いとされるモデルとして選定） |
| 比較したモデル（オープンウェイト） | Ovis2 8B・16B、Qwen2.5-VL-7B（当時パラメータ数20B未満で高性能、かつ商用利用可能で動作確認できたもの） |
Ovis2とQwen2.5-VLはどちらもQwen2.5をLLM部分に用いていますが、視覚エンコーダ（ViT）や学習データが異なります。構造が近いモデル同士でも差が出るかを見る狙いがありました。
観点ごとの正解率
3観点それぞれについて、タスク別の正解率を比較しました。
知覚では、信号の色と天候はどのモデルもほぼ正解します。一方で「現在の車線」や「特定の車両の方向」は0.3〜0.4しか取れておらず、色や天候のような大域的な特徴と、位置関係を伴う判断とで難易度が大きく違うことが分かります。
知識では「現在地」が0.8〜1.0と高い一方、道路標識と路面標示の読み取りは0.3以下に沈みました。日本の標識・標示の意味を問う設問で、学習データに含まれる知識の偏りが出やすい部分です。
推論では「渋滞しているか」「減速しなければならないか」は各モデル0.8前後で並びますが、「ある方向に進むとどの都市に着くか」だけはClaude 3.7 Sonnetが0.7、他モデルは0.1〜0.3と差が開きました。次項で詳しく見ます。
標識の読み取りには位置関係の理解が必要だった
差が最も大きかったのが、この設問です。
青い案内標識には上向き矢印を挟んで複数の地名が並んでおり、正解するには「矢印の真上にある地名だけを結びつける」という位置関係の理解が必要です。この画像では直進が示すのは上段の「大島」「新大橋」で、下段の「銀座」「晴海」は別方向を指します。
正解率が低かったモデルでは、矢印と地名の対応付けがうまくいかず、周囲の地名までまとめて関連づけてしまう誤りが見られました。単なる文字認識（知覚）ではなく、レイアウトの空間的な解釈が要求される設問だったといえます。
「車は動いているもの」か「止まっているもの」かの前提が分かれた
「道路に障害物があれば種類を答える」という設問では、モデルごとに前提の置き方が分かれました。
この画像には路上駐車している車両が障害物として存在します。これと、障害物のない画像を比較したところ、次のような差が出ました。
| モデル | 判断 |
|---|---|
| Claude 3.7 Sonnet | どちらの画像も車両は走行中と判断し、障害物なしと回答 |
| Ovis2 / Qwen2.5-VL-7B | どちらの画像も車両は駐車中と判断し、通行を妨げる障害物と回答 |
Claude 3.7 Sonnetは「車両は動いているもの」、Ovis2とQwen2.5-VL-7Bは「車両は静止しているもの」として捉えやすい傾向がありました。Ovis2とQwen2.5-VLは映像入力に対応しているため、静止画として与えると停止しているものと解釈しやすくなっている可能性も考えられます。
目立つ情報に引きずられるかどうかで結論が変わった
青信号でありながら前方車両がブレーキランプを点灯させている、渋滞中の場面を用意しました。
「自車は進んでよいか」と問いかけた結果は以下の通りです。
| モデル | 回答 | 着目した情報 |
|---|---|---|
| Claude 3.7 Sonnet | 進んでよい | 信号が青である点 |
| Qwen2.5-VL-7B | 進んでよい | 信号が青である点 |
| Ovis2 16B | 進んではいけない | 信号に加え、前方車両のブレーキランプ |
| Ovis2 8B | 進んではいけない | 信号のみに言及（判断根拠は不十分） |
Ovis2 16Bだけが複数の要素を突き合わせて判断していました。ただし、Ovis2は前述の通り車両を静止物として捉える傾向があるため、この場面ではその偏りがたまたま正しい結論につながった可能性も否定できません。8Bモデルが根拠を示せないまま正解している点も、能力的な限界を示しています。
検証から言えること
ベンチマークのスコアが近いモデルでも、知覚・知識・推論の各観点で判断のクセが異なります。そしてそのクセは、正解率だけを見ていても分かりません。
前項の「前進して良いか」がまさにその例です。グラフ上ではどのモデルも0.5〜0.6でほぼ横並びに見えますが、出力の理由まで開くと、信号だけを見ているモデルとブレーキランプまで見ているモデルに分かれていました。逆に、根拠を示せないまま結論だけ当てているケースもあります。正解率が同じでも、実運用で信頼できるかは別問題です。
自社タスクに合うモデルを選ぶには、実データに近い少量の評価セットを作り、正解率と回答理由の両方を確認する工程が必要です。この評価セットの設計と正解データの作成そのものが、アノテーションの実務にあたります。ネクストリーマーのアノテーションサービスについてはこちらをご覧ください。
6. VLMに関するよくある質問
VLMとLLMの違いは何ですか？
LLMはテキストのみを入力として扱うのに対し、VLMは画像とテキストの両方を入力として受け取り、統合的に処理します。近年の商用モデルの多くはVLMとしての機能を備えているため、実務上は「テキスト専用か、画像も扱えるか」という機能差として理解して問題ありません。
ベンチマークの上位モデルを選べば失敗しませんか？
ベンチマークは候補を絞る目的では有効ですが、それだけでは不十分です。ベンチマークの設問構成と自社タスクの検索意図がずれていれば、スコアの高さは実タスクの精度を保証しません。本記事の§5で示した通り、スコアが近いモデルでも判断のクセは異なります。少量でも自社データで検証する工程を挟んでください。
VLMを使えばアノテーションは不要になりますか？
不要にはなりません。VLMは「ラベルの候補を出す」工程を省力化できますが、クラス設計、境界の判断基準の策定、出力が正しいかの検証は人手に残ります。むしろVLMを評価するためには、正解データ（教師データ）を人手で用意する必要があります。VLMの活用が進むほど、評価用データの品質が成果を左右します。
オープンウェイトのモデルは商用利用できますか？
ライセンス次第です。Qwen3-VLやOvisはApache-2.0で公開されていますが、モデルによってはライセンスが異なったり、追加条件が付いたりします。検証で使える範囲と製品に載せられる範囲は別なので、設計の初期段階で各モデルのライセンス条項を確認してください。
7. まとめ｜評価3観点と運用制約の両輪で絞り込む
この記事では、画像とテキストを同時に処理できるVLMについて、評価基準とモデル選定のポイントを解説しました。
モデルを選ぶ際は、まずタスクに必要な要素を知覚・知識・推論の3観点で整理すると、候補を絞り込みやすくなります。そのうえで、実行環境、推論速度、学習データの内容、入力画像の解像度といった運用上の制約を突き合わせます。この2つを両輪で見ないと、「ベンチマークは高いのに自社タスクでは使えない」という結果になりがちです。
そして最後に必要なのが、自社データを使った実測です。正解率だけでなく回答理由まで確認することで、モデルごとの判断のクセが見えてきます。その判断材料となる評価用データを設計・作成する工程は、AI開発の精度を決める土台になります。
