「AIに頼るとスキルが向上しない」という言説の実態をAnthropicが調査

生成AIは人間が深く考えずとも正しく見える答えを出してくれるため、人間の考える力が養われないのではないかと言われることがあります。AIの「Claude」を開発するAnthropicの研究で、AIと人間のスキルの関連が調査されました。

How AI assistance impacts the formation of coding skills \ Anthropic
https://www.anthropic.com/research/AI-assistance-coding-skills

先行研究では、AIの支援を受けた人間は仕事への熱意が低下し、仕事に費やす労力が減ることが示唆されているそうです。Anthropicは、人間が自らの認知的不可を軽減しようとする試みが仕事にどのようなデメリットを与えるのかを調べるため、スキルの習得速度およびスキルの理解度がAIの有無で変化するのかを実験しました。

Anthropicは、1年以上・週1回以上Pythonを使用している経験を有し、AIコーディング支援ツールに多少なりとも精通している一方で、Pythonライブラリ「Trio」は習得していないという初級ソフトウェア開発者を52人集めました。

調査は3つのパートに分けられました。最初はTrioを習得するウォームアップ、次にTrioを使って2つの異なる機能をコーディングするメインタスク、そして理解度を図るクイズです。参加者にはタスク終了後にクイズを行うことが伝えられていました。参加者は2つのグループに分けられ、片方はメインタスク時のみAIの使用が許可され、もう片方は実験全体にわたってAIの使用を禁止されました。

この実験において、AIを使用したグループは平均で約2分早くメインタスクを完了しましたが、この差は統計的に有意ではありませんでした。クイズの成績には有意差が認められ、AI非使用グループの平均点が67％だったのに対し、AI使用グループは50％でした。両グループ間の得点差が最も大きかったのはデバッグ問題であり、コードの誤りを認識し失敗原因を理解する能力に著しく差が付いてしまう可能性が示唆されました。

ただし、AI使用グループの中にはAIを使いつつも高い得点を獲得した人もいました。こうした人々はコード生成後に理解を深めるためにAIへ質問していて、自身の理解度を上げようと試みていたそうです。一方で最初から最後までAIに丸投げしたり、最初に1～2回質問した後は全てAIに任せていた人々の得点は低く、こうした人だけに絞ると平均点は40％程度しかなかったそうです。

Anthropicは「職場、特にソフトウェア開発においてAIを積極的に導入することにはトレードオフが伴うことを示唆しています。重要なのは、AIを使用することが必ずしも低いスコアを出すことを意味しない点で、効率性を追求しながらAIとどう関わるかが私たちの学習量に影響を与えるのだと考えます。時間的制約、あるいは組織的圧力の下では、習熟度の低い開発者はスキル習得やデバッグ能力を犠牲にしてでもタスクを可能な限り迅速に完了させるためにAIに依存する可能性があります。管理者はAIツールの大規模導入を意図的に設計し、エンジニアが業務を通じて学び続けられるシステムや設計選択を検討すべきです」と述べました。