課題
新しいアイデアを考える場面で、人はどうしても過去の経験や常識に引っ張られます。お客様は、言語モデルに文章を生成させることで、人では思いつきにくい発想を引き出せないかと考えていました。
ただ、既存の言語モデルは「もっともらしい」文章を出すのは得意でも、意外性のある内容を出すのは苦手です。しかも、文章が自然かどうか、意外性があるかどうかは数値で自動判定しにくく、人が読んで判断するしかありません。
支援内容
Nextremerは、人による評価とモデルの学習を組み合わせて、文章生成モデルの開発を支援しました。
- AIが生成した文章を、人の感覚に照らして「自然な文章か」「意外性があるか」の観点で評価
- 評価の高いデータを選び出し、既存の言語モデルをファインチューニング
- 生成・評価・学習のサイクルを繰り返し、アイデア出しに使えるかを検証
評価者によって判断がぶれないよう、観点ごとの判断基準をすり合わせてから評価を進めています。
成果
人の評価を取り込みながらモデルを改善する学習サイクルを確立し、意外性のあるアイデア出しに言語モデルを活用できる可能性を確認しました。
「自然さ」と「意外性」という相反しがちな性質を、人の評価を介してバランスさせる進め方は、生成AIの品質改善全般に応用できるものです。
