GPT-4はラベリングのタスクにおいて人間のエリート並の力を発揮し2万時間と6000万円以上を節約してくれる

専門家とクラウドワーカーによって行われたラベリング作業と、GPT-4を用いたラベリング作業を比較したところ、GPT-4の作業内容はクラウドワーカーの平均的な作業内容よりも専門家の作業内容に近いものだったことがわかりました。GPT-4に任せることで節約可能な時間は2万時間、節約可能なコストは50万ドル(約6620万円)に上ります。しかし、この事実はクラウドワーキングの先行きが厳しいことも示唆しています。

[2304.03279] Do the Rewards Justify the Means? Measuring Trade-Offs Between Rewards and Ethical Behavior in the MACHIAVELLI Benchmark
https://doi.org/10.48550/arXiv.2304.03279

GPT-4 Outperforms Elite Crowdworkers, Saving Researchers $500,000 and 20,000 hours - Artisana
https://www.artisana.ai/articles/gpt-4-outperforms-elite-crowdworkers-saving-researchers-usd500-000-and-20

「57万2322件のテキストシナリオに注釈を付ける」という課題を達成するにあたり、世界一のラベリングプラットフォーム・Surge AIでトップクラスの作業者を雇った場合、1時間25ドル(約3300ドル)がかかります。2万時間作業をしてもらうとなると、コストは50万ドル。これはかなり大きな投資となります。

研究者は課題を達成できる費用対効果の高い方法を求めて、カスタムプロンプト使用のGPT-4でラベリングを自動化する能力をテスト。3人の専門家と3人のクラウドワーカーが作成した2000件のラベリングデータと、GPT-4によるラベリングの内容を比較しました。

すると、GPT-4によるラベリングは、クラウドワーカーの行った平均的なラベリングより、専門家によるラベリングと強い相関性を示したとのこと。前述の課題を達成するにあたってGPT-4の助けを借りた場合、費用は5000ドル(約66万円)未満に抑えることができ、時間も大幅に節約することが可能になります。

この事実はクラウドワーキングの先行きがあまり明るくないことを感じさせるものですが、クラウドワーカーの権利を守るNPO・TurkopticonのKrystall Kuaffman氏は、それでも人間の目利きを信じていて、「ライティングとは判断することであって、ただ文章を生成することではありません。現在も、そして当分先も、仕事の判断のために作業者(Turker)のような人々が必要とされるでしょう。今はまだ、人間の作業者よりもGPTの能力に自信を持つには未解決の問題が多すぎます」と語っています。