課題
音声生成AIの品質は、自動指標だけでは測り切れません。発音が正しくても、抑揚が不自然だったり、会話の流れにそぐわない話し方だったりすれば、利用者は違和感を覚えます。とくに複数回のやり取りが続く対話音声では、文脈に沿った話し方ができているかが重要になります。
顧客は、生成した複数の音声パターンを人の感覚で比較し、どれがより良いかを判断する評価データを必要としていました。主観が入りやすい作業のため、評価者によって判断が割れないようにすることが課題でした。
支援内容
Nextremerは、対話型（マルチターン）音声の品質評価を担当しました。AIが生成した複数の音声パターンを聴き比べ、指標ごとに比較・採点しています。
- 全体的な好み、指示への追従度など、顧客が定めた複数の指標で評価
- 対話の文脈を踏まえ、前後のやり取りとの整合性も確認
- 評価が割れやすいケースを共有し、評価者間で判断の物差しを揃える
成果
複数の指標で丁寧に採点した人手評価データを提供し、音声生成モデルの品質改善に活用されています。
評価者間の判断を揃える運用を確立したことで、主観が入りやすい評価でも一貫性のあるデータを継続して届けられる体制になりました。
