手動でアノテーションを行う上で求められるスキルとは？

AI開発においてネックとなりやすいのがアノテーション作業です。AI開発のためには大量の教師データが必要であり、その大量の教師データを生成するアノテーション作業には人手と時間が必要となります。
AI開発において負荷が大きいアノテーション作業を自動化するために、様々な研究開発が進められています。一方で、現時点では特定領域を対象とした研究が多いというのが現状であり、汎用的にアノテーション作業を自動化するまでには至っていない状況にあります。

ですから、アノテーション品質を高めるためには、アノテーターのスキルという観点も重要です。品質の高いアノテーション作業を行うためには、どうしても人間の力が必要といえます。
この記事では、アノテーション作業を行う上で求められるスキルについて解説します。

なお、手動アノテーションの必要性に関する詳細については以下の記事で解説しておりますので、よろしければ併せてご参照ください。

1. 手動アノテーションに必要となるスキルとは

アノテーション作業を行う上では基本的には人手が必要です。このような状況においては、アノテーション作業を行うアノテーターが、いかに高いスキルを持っているかが重要となります。アノテーションの品質はアノテーターのスキルによるともいえるでしょう。それでは、人間が手作業でアノテーションを行うためには、具体的にどのようなスキルが必要とされるのでしょうか。以下では、具体的に手動でアノテーション作業を進める上で、必要なスキルについて解説します。

①実施内容に応じた知識

まず紹介するのは、実施内容に応じた知識という観点です。アノテーション作業においては、対象物にそれぞれラベルを付けることとなりますので、対象に対する知識がなければ、適切な判断は難しいといえます。

たとえば、工場設備の腐食検知を行うAIを開発するケースにおいては、配管設備などの画像に対して「腐食しているかどうか」を判断し、ラベルを付けていきます。当然、作業にあたっては判定ルールや作業マニュアルを用意し、どのようなケースであれば腐食が進んでいるかを判断できるようにフォローはするものの、やはり実際に工場勤務経験があるアノテーターの方が、より正確に判断することができるでしょう。工場設備に関する知識があれば、品質だけではなく作業速度も高まりやすいといえます。

また、英文に対して固有名詞を抽出するようなアノテーション作業であれば、当然ながら英語のスキルが必要となります。英文が読めなければ、そもそもアノテーション作業を行うことは難しいでしょう。

このように、特に専門的な分野のデータセットに対するアノテーション作業においては、その分野に関する一定の知識が必要となります。

②適切なアノテーションルール設計

大量のデータに対してタグ付けを行わなければならないアノテーションにおいては、複数のアノテーターが作業を実施するのが一般的です。この時、高いスキルがあるアノテーターを集めることも重要ですが、一定の品質を担保するためにアノテーション作業に関するルールを整備することも同じく重要です。これにより、アノテーターが判断に困る場面を減らし、精度の高いアノテーション作業を実施することができます。

一方で、どのようなアノテーションルールを整備すればよいかについては、知識と経験が必要です。アノテーション作業に精通した管理者が、明確かつ分かりやすいルール定義を行う必要があります。

アノテーション作業の進め方は、画像・音声・テキストなどの対象データによっても異なりますし、画像データに対して物体検出を行うのか領域分析を行うのかなどによっても異なります。様々なアノテーション作業の経験がある管理者がチームにいるかも手動アノテーションを進める上では重要なポイントとなるでしょう。

③不明点をなくすコミュニケーション

アノテーション作業を実施する上では、必ず判断に困る場面が出てきます。上述した腐食検知の例であれば、ある配管設備画像に対して腐食が進行していると判断するか、それともまだ問題ないと判断するか、微妙な判断が必要になることがあります。

このような時に、アノテーターが何となく作業を行ってしまうと、どうしても品質は安定しません。不明点を抱えたままアノテーターが作業を進めないように、適切にコミュニケーションを行うことも重要なスキルです。
不明点の内容は様々であり、単純にアノテーターが判断に困っている場合もあれば、そもそものAI開発の目的に合わせた対応が必要になることもあります。

たとえば、自動運転システムの開発に向けて標識の識別のために画像データにアノテーションを行っているケースを想定します。この時、アノテーションの作業要件に含まれていなかった種類の標識があったとします。この場合、その標識の取り扱いを決めるためには開発者やそのAIシステムのビジネスオーナーなどに確認が必要になることもあります。そのうえで、対象とする標識を新たに要件として取り込むのか、もしくは例外として除外するのかなどの判断を頂き、この結果に基づいて新たにアノテーションルールを整備の上、作業を実施しなければなりません。

このように、適切なコミュニケーションを行うことで、アノテーション品質はもちろん、AIの品質向上にもつながっていきます。

2. アノテーションに必要なスキルは人間独自のもの

アノテーションに必要となるスキルは、機械で代替できない人間が独自に備えているものが多いといえます。アノテーションの自動化に向けた研究開発が進んでいる一方で、品質の高いアノテーション作業を行い、精度の高いAIを開発するためにはどうしても人間の力が必要です。

米テスラ社においては、AI開発において1000名のアノテーターでチームを構成したという事例(※)もあります。先進的な企業においてアノテーターが重要視されていることがわかる事例といえるでしょう。

AI開発という技術的に高度な取り組みにおいても、スキルを持った人間がコツコツと作業を進めることが必要です。大量に作業を行わなければならないアノテーションについては、委託先に作業を依頼することも多いと思われますが、その際はどのようなスキルを持ったメンバーで作業を実施するかという観点についても注目してみてはいかがでしょうか。

※ Tech Crunch「Top four highlights of Elon Musk’s Tesla AI Day」

3. まとめ

この記事では、アノテーション作業を実施する上で求められるスキルについて紹介しました。AI開発の取り組みにおいて、品質の高い教師データを用意することは、AIの品質に直結します。スキルを持ったアノテーターにより、高い品質の教師データを作成することは、AI開発プロジェクトの成否にも関わる重要なポイントとなるでしょう。