2023年06月08日 12時24分ソフトウェア

Googleの対話型AI「Bard」がバックグラウンドでコードを実行できるようにする「暗黙的なコード実行」を導入、文字列の操作や論理・推論を含む複雑なタスクに対する回答精度が向上

Googleが2023年2月に発表し、同年3月に一般公開を開始した対話型AIが「Bard」です。GoogleがこのBardにバックグラウンドでコードを実行し、数学的なタスクやコーディングの質問、文字列操作に関するプロンプトに対して正確に応答できる「implicit code execution(暗黙的なコード実行)」と呼ばれる手法を導入したと、現地時間2023年6月7日に発表しました。

Bard updates: More accurate responses, export to Google Sheets
https://blog.google/technology/ai/bard-improved-reasoning-google-sheets-export/

「暗黙的なコード実行」と呼ばれる新たな手法は、Bardが計算が必要なプロンプトを検出し、バックグラウンドでコードを実行することに役立ちます。「暗黙的なコード実行」によって「15683615の素因数は何ですか」「貯蓄の成長率を計算して」「『Lollipop』という単語を逆さまにして」といったこれまで回答が困難だった要求に対し、正確な応答ができるようになったとのこと。

「『Lollipop』という単語を逆さまにして」という質問をBardに提示した例が以下。Bardに対して「reverse the word "Lollipop" for me」と入力します。

すると、Bardは「The reversed word of "Lollipop" is "popilloL". (Lollipopの逆はpopilloLです)」と回答。

さらにこの回答を得るまでに使用したコードをPython形式で提示しています。

Googleによると、一般的な大規模言語モデルは予測エンジンのような構造をしており、ユーザーからの指示を受けると、次に来るであろう単語を予測して応答を生成するとのこと。そのため、大規模言語モデルは文章の生成といった創造的なタスクの実行は非常に優れていますが、推論や数学の分野には疎かったとされています。

そこで、GoogleはBardに自動的にコードを生成、実行させることで推論や数学の能力を高める「暗黙的なコード実行」を導入しました。Googleはこのアプローチについて、「心理学者のダニエル・カーネマンの著書『Thinking, Fast and Slow』に代表される『人間の知能における二項対立』から着想を得ました」と語っています。

Googleによると、人間は素早く直感的で、単純な思考である「システム1」の思考と、ゆっくりじっくりと、努力を重ねていく「システム2」の思考の両方を使っているとのこと。システム1の思考は、ジャズミュージシャンによるアドリブ演奏や、ブラインドタッチが代表例です。一方でシステム2の思考は、桁数が多い割り算や楽器の演奏方法を学ぶ際などに用いられています。

一般的な大規模言語モデルはこのシステム1だけを用いて、素早く文章を作成している一方、複雑な思考は排除しています。もしもシステム1だけを用いて複雑な数学の問題に解答しようとすると、複雑な計算ができず、最初に思いついた適当な数字を答えるだけにとどまるとされています。実際の数学的な計算を行う際には、システム2の考え方で問題を解く必要があり、定型的で、柔軟性や創造性に欠けますが、正しい手順を踏むことで、適切な解答を生み出すことが可能です。

GoogleはBardに「暗黙的なコード実行」を実装することで、システム1の機能とシステム2の機能の両方を持ち合わせた対話型AIにBardを進化させたというわけです。「暗黙的なコード実行」では、論理的なコードを作成することで回答が可能になるようなプロンプトを特定しコードを作成。そのコードをバックグラウンドで実行し、その結果を用いて正確な回答を生成することが可能です。

Googleは「『暗黙的なコード実行』の導入によって、Googleのデータセット内にある、計算が必要な単語や数学的な問題に対するBardの回答の精度が従来から約30％向上しています」と報告しています。また、「暗黙的なコード実行」の導入によってBardは、一般的な大規模言語モデルを搭載した、ChatGPTやBingのAIチャットなどの他の対話型AIの性能を大きく上回ることに成功したと語っています。

一方でGoogleは「暗黙的なコード実行」は発展段階にあり、Bardがユーザーからの質問に適切に回答するためのコードを生成しなかったり、生成したコードが間違っていたり、コードを生成するもそれを回答に使用しなかったりする場合もあると語っています。しかしGoogleは「コードの生成によって構造化された論理的な応答ができるようになったことは、Bardをより便利なAIにするための重要な一歩です」と述べています。