課題
化学実験の様子を映像から理解できるVLM（視覚言語モデル）があれば、実験の記録や手順の確認に役立ちます。そのためには、映像に登場する実験機材を正しく見分け、名前とひも付けた学習データが必要でした。
ところが実験機材には、見た目がよく似ていても名称や用途が異なるものが数多くあります。化学の専門知識がなければ、どの機材なのかを正しく判断できません。
支援内容
Nextremerは、専門知識のある外部アドバイザーと連携し、機材の知識を整理するところから始めました。
- 映像に登場する実験機材を洗い出し、アドバイザーとともに名称と使用用途を整理
- 似た機材を見分けるためのポイントをまとめ、作業者向けの資料に反映
- 化学実験中の映像に登場する機材にアノテーションを実施
- 判断に迷う機材はアドバイザーに確認し、基準を随時更新
成果
実験機材を名称・用途とひも付けた学習データを整備し、VLMの開発を支えました。専門家の知見を作業の基準に落とし込んだことで、専門性の高い領域でも信頼できるデータになっています。
