注意 見出しへのリンク

これは、NotebookLMを使っていろんな論文を読んでみる試みの1つのため、不正確な部分があるかもしれません。 正確性を求める方は、元論文を参照ください。

元論文 見出しへのリンク

Who is using AI to code? Global diffusion and impact of generative AI https://www.science.org/doi/10.1126/science.adz9311

リサーチクエスチョン・研究手法 見出しへのリンク

生成AIを使ってコードを書く人は各国どの程度いるのか？ それは実際の生産性にどの程度影響を与えているのか？ ジュニアエンジニアとシニアエンジニアで生産性の影響はあるのか？あるならどの程度か？

この論文は上記のような様々な問いに対して、これまでのような研究室の中だけではなく、実際のGitHubリポジトリの2019年から2024年末までのコードを分析して答えを与えるものだ。 GitHubを分析するために、GraphCodeBertというAIを用いた分類器を作成してAIか人のコードかを自動で判定している。このツールを用いることで高精度で判定できることが示されている(ROC AUC 0.96)。

結果 見出しへのリンク

  • 生成AIによるコード生成は平均すると個人レベルの生産性を引き上げている（3.6%のコミット量増加）。だが、マクロレベル、社会レベルのGDPや雇用統計などの指標には現れていない（Productivity Paradox）。
  • 2024年末では、米国のPythonコードの約30%はAIが書いている。Copilot Technical Preview、ChattGPT、GPT-4のリリース時に急速にAIコード生成の割合が増加している。
  • 世界的には、AI生成率は米国がリーダーだが、フランス・ドイツがその次に、インドがその次で猛追している。中国・ロシアは比較的低調にみえるが、中国にはGitHubの代わりにGitteeが用いられており、その他の要因としてアクセス制限などが考えられる。
  • 生成AIによるコード生成には性別差は認められなかった。年齢差は認められ、GitHubの経験年数が浅いもの（若手と考えられる）ほどAI生成率は高くなった。
  • だが、生成AIはシニア（ベテラン）の生産性しか向上させていない。ジュニア層の生産性には影響していない。平均して3.6%だが、シニアでは6.2%、ジュニアでは有意差なしとなった。この結果はITエンジニアの習熟度によって格差を拡大する可能性がある。
  • シニアは検証・修正能力、探索能力が高く、デバッグに時間を浪費しない傾向があること、新しいライブラリの導入による生産性向上の効果も高かった。シニアは定型作業の代行ではなく能力の拡張として位置づけていると考えられる。

感想 見出しへのリンク

社会レベルでは、格差の拡大をもたらす結果になりそうというのが厳しい。 個人レベルの生産性と、組織レベルの生産性、社会レベルの生産性が相互に異なる結果をもたらすのは不思議はないと思うのでパラドックスと呼ばれるのはあまり理解できない。

また、この結果は、コーディング能力を身に着けることは、AI生成の力によって加速度的に生産性を向上させることができるということでもある。AI自体を学ぶよりも、個別のスキルを磨き、AIを使ってエンパワーしてもらうのが理想的だと思う。 コーディングのみならず、たとえば経理なども簿記の基本的なところがわかっていない状態ではAIを使ってもチンプンカンプンだし、統計の世界でも同じだ。 そしてすべての仕事はAIに丸投げして完結するというものでもない。人間の意思決定が必要になるし、AIを使う人が基礎的な知識を得ていない場合はAIをうまく用いることはできない。

AIが95%をやってくれても、残りの5%は専門家の領域になるだろう。AIに95%を任せることも、ほとんどの人は一部の領域以外は難しいだろう。