こんにちは！半田貞治郎です。
GitHub Copilotの導入により、ソフトウェア開発者の生産性が26.08%向上したことが、マイクロソフト、アクセンチュア、匿名の大手電機メーカーで実施された大規模な無作為化比較実験で明らかになった[1]。この調査は、プリンストン大学、MIT、マイクロソフト、ペンシルベニア大学ウォートン校の研究者らによって行われ、合計4867人の開発者を対象としている[1]。
GitHub Copilotは、GitHubとOpenAIが共同開発したAIベースのコーディングアシスタントで、インテリジェントなコード補完機能を提供する[1]。大量のコードデータを学習した高度な機械学習技術と自然言語処理を組み合わせており、様々なプログラミング言語やフレームワークに対応している[1]。
実験結果によると、Copilotを使用した開発者の週あたりのタスク完了数が26.08%増加し、コード更新回数が13.55%、コンパイル回数が38.38%増加した[1]。特に注目すべきは、経験年数や職位による効果の違いだ。在職期間が短い開発者や若手の職位にある開発者ほど、Copilotの採用率が高く、生産性の向上も顕著だった[1]。
しかし、この調査にはいくつかの課題も存在する。開発者間での生産性の大きなばらつきや、実験期間中のCopilot採用率の変動が、結果の統計的な信頼性に影響を与えている可能性がある[1]。また、生成AIのコーディングスキルが急速に高まったのが2024年以降であることを考慮すると、生産性改善の度合いが実際より低く算出されている可能性もある[1]。
最新のLLMモデルと比較すると、実験で使用されたGPT-4-0613モデルのパフォーマンスは大きく劣る[1]。例えば、LiveBenchのコーディングスコアでは、GPT-4-0613が37.31なのに対し、Claude3.5 Sonnetは60.85と約2倍のスコアを持つ[1]。LiveCodeBenchでも、コーディングタスクを一回目試行で成功した割合は、GPT-4-0613が32.5％なのに対し、OpenAIの最新モデルo1-miniは67.2％と2倍以上の差がある[1]。
これらの結果は、AIツールが開発者の生産性向上に大きく寄与する可能性を示唆している。特に、経験の浅い開発者や若手の職位にある開発者がAIツールから大きな恩恵を受けられることは、人材育成や組織のスキルギャップ解消の観点から重要な発見だと言える[1]。今後、さらに進化したAIモデルを用いた新たな調査結果が待たれるところだ[1]。
Citations:
[1] https://zenn.dev/devneko/articles/d29b3c8166f8c7
[2] https://findy-tools.io/products/github-copilot/28
[3] https://lab-brains.as-1.co.jp/enjoy-learn/2023/07/50829/
[4] https://news.yahoo.co.jp/articles/0bc035b84e548b9ddd21efe299fafe11a67024d3
[5] https://techblog.zozo.com/entry/introducing_github_copilot
[6] https://telework-followup.metro.tokyo.lg.jp/topics/521/
[7] https://github.blog/jp/2023-07-05-the-economic-impact-of-the-ai-powered-developer-lifecycle-and-lessons-from-github-copilot/
[8] https://tech-blog.rakus.co.jp/entry/20231226/GithubCopilot
[9] https://tech.findy.co.jp/entry/2024/09/20/090000
