GitHub Copilotでコードの品質は改善されるのか？

ソフトウェア開発プラットフォームのGitHubで2021年に導入された「GitHub Copilot」は、書きかけのコードを自動補完してくれる機能で、過去の調べではコーディングが最大で55％高速化されたことが示されています。では、コードの品質そのものはどうなのか、ちゃんといいコードになっているのか、GitHub公式ブログが調査結果を報告しています。

Does GitHub Copilot improve code quality? Here’s what the data says - The GitHub Blog
https://github.blog/news-insights/research/does-github-copilot-improve-code-quality-heres-what-the-data-says/

「GitHub Copilot」は、ソースコード補完機能として2021年に発表され、2022年からすべてのユーザーが利用可能になりました。

ソースコードの「続き」を自動で補完する「GitHub Copilot」がすべてのユーザーに利用可能へ - GIGAZINE

早期から使用していたユーザーを対象として行われた2022年の調査によると、88％のユーザーが「生産性が上がった」と回答。JavaScriptに精通した開発者をGitHub Copilotを使う組と使わない組に分けて、HTTPサーバー構築を行ってもらったところ、GitHub Copilotを使用した開発者は平均作業時間が1時間11分だったのに対し、使わなかった開発者の作業時間は2時間41分で、タスク速度が55％高速化したことも示されました。

Research: quantifying GitHub Copilot’s impact on developer productivity and happiness - The GitHub Blog
https://github.blog/news-insights/research/research-quantifying-github-copilots-impact-on-developer-productivity-and-happiness/

今回の調査は、キャリアが5年以上の開発者202名を対象として、WebサーバーのAPIエンドポイントを作成するタスクを行うもので、半数はGitHub Copilotを使用、半数は使用しませんでした。

書かれたコードを検証したところ、GitHub Copilotを使用した開発者のコードは、10あるユニットテストにすべて合格する割合が56％高かったとのこと。以下のグラフは、上がCopilot使用、下が不使用。そのうち、紫部分がテストに合格しなかったもの、緑部分が全テストに合格したものの割合を示しています。

また、コードに含まれるエラーの数も、GitHub Copilot使用時が4.63だったのに対して、不使用時は5.35でした。エラーなしのコード行数は、GitHub Copilot使用時が18.2行、不使用時が16.0行でした。

さらに、調査に参加した開発者のうちユニットテストに全合格したコードを書いた開発者10人により、誰がどのコードを書いたかわからない状態でのコードレビューも行われました。すると、評価項目の「読みやすさ」で3.62％、「信頼できる」で2.94％、「維持可能」で2.47％、「簡潔」で4.16％、GitHub Copilot使用のコードの方が高く評価されました。

これらの結果から、GitHubは「GitHub Copilotは更新筆コードの生成に役立つ」と結論づけています。高品質なコードになった要因としては、GitHut Copilot使用組のほうがコミット数とコード行は大幅に多かったのに、平均コミットサイズはわずかに少なかったことから、「機能するコードを書くために費やす時間が少なくて済んだことで、コード全体の品質を上げることに時間を使うことができた」と推測されています。このことは先行研究での「GitHub Copilotを使用することで、自信を持って仕事ができる」という回答が多かったという結果と一致するとGitHubは述べています。