Googleが大規模言語モデル「PaLM 2」を発表、すでに25のGoogleサービスに導入済み

Googleが大規模言語モデル(LLM)「PaLM」の次世代バージョンとなる「PaLM 2」を発表しました。PaLM 2はすでにGoogleのさまざまなサービスに導入されており、チャットAIのBardでもPaLM 2がすでに利用されているとのことです。

Google Japan Blog: Bard が日本語に対応
https://japan.googleblog.com/2023/05/bard.html

Google AI PaLM 2 – Google AI
https://ai.google/discover/palm2

Google AI: What to know about the PaLM 2 large language model
https://blog.google/technology/ai/google-palm-2-ai-large-language-model/

PaLM API  |  Generative AI for Developers
https://developers.generativeai.google/products/palm

MakerSuite  |  PaLM API  |  Generative AI for Developers
https://developers.generativeai.google/products/makersuite

Google announces PaLM 2 AI language model, already powering 25 Google services - The Verge
https://www.theverge.com/2023/5/10/23718046/google-ai-palm-2-language-model-bard-io

Google launches PaLM 2, its next-gen large language model | TechCrunch
https://techcrunch.com/2023/05/10/google-launches-palm-2-its-next-gen-large-language-model/

「Google I/O 2023」の中で、GoogleがPaLM 2を発表しました。これはOpenAIのGPT-4などの競合となるLLMです。

PaLM 2は推論・多言語翻訳・コーディングを含むさまざまなタスクにおいて優れたパフォーマンスを発揮可能。

・推論
PaLM 2は複雑なタスクをより単純なサブタスクに分解することができ、PaLMなどの以前の LLMよりも人間の言語のニュアンスを理解するのに優れています。例えば、文字通りの意味ではなく、曖昧で比喩的な意味を理解する必要があるなぞなぞやイディオムの理解に優れているとのこと。

・多言語翻訳
PaLM 2は並列多言語テキストと、PaLMよりもはるかに大規模なさまざまな言語のコーパスで事前トレーニングされています。これにより、PaLM 2は多言語タスクに優れており、Googleのシニアリサーチディレクターであるスラブ・ペトロフ氏は、「PaLMと比べて大幅に改善されている」と説明しています。具体的には、PaLM 2はさまざまな言語の慣用句を理解可能で、ドイツ語固有のフレーズなども直訳だけでなく正しく理解することができます。

・コーディング
PaLM 2は大量のウェブページ、ソースコード、その他のデータセットで事前トレーニングされているため、PythonやJavaScriptなどの一般的なプログラミング言語に優れているだけでなく、Prolog、Fortran、Verilogなどの言語での特殊なコーディングにも対応しています。

そんなPaLM 2はGoogle検索を含む25種類のGoogleサービスにすでに導入されています。

PaLM 2の機能を説明する研究論文の中で、GoogleのエンジニアはPaLM 2の言語熟練度について「その言語を教えるのに十分」とアピールしています。その理由はPaLM 2のトレーニングに英語以外のテキストが多く含まれているためです。

PaLMには健康データでトレーニングされたバージョンの「Med-PaLM 2」があり、これはアメリカの医師免許試験で出題される質問と同等レベルの質問にも回答可能とのこと。他にも、サイバーセキュリティ関連のデータでトレーニングされた「Sec-PaLM 2」があり、これは潜在的な悪意のあるスクリプトの動作を説明したり、コード内の脅威を検出したりすることに役立つ模様。

これらのモデルはどちらもGoogle Cloud経由で利用可能となります。

PaLM 2が導入されているサービスのひとつがチャットAIのBardです。Bardの場合、PaLM 2の導入によりコーディング機能の向上や、言語サポートの強化などが実現しています。また、BardはPaLM 2の導入により20以上のプログラミング言語に対応。

さらに、Bardの出力およびユーザー側のプロンプトの両方で、テキストだけでなく画像にも対応するようになります。

この他、Bardがアップグレードされたことで出力内容をGmailやGoogleドキュメントにインポートすることが可能に。

さらに、Bardでは間もなく拡張機能がリリースされる予定で、Google以外のサービスを利用することが可能に。例えばAdobeのジェネレーティブAIであるFireflyとの統合がすでに発表されており、Bard経由でFireflyを利用可能となります。

なお、Bardは180を超える国と地域で利用可能となり、間もなく日本語と韓国語を含む40言語に対応します。

他にも、GoogleドキュメントやGoogleスライド、GoogleスプレッドシートなどのGoogle Workspaceアプリの機能強化にもPaLM 2が利用されています。

GmailではAIを用いた返信機能「Help me write」が導入されます。これは簡単に説明するとGmail上でチャットAIとコミュニケーションを取りながらメールで使う文言をAIに作成してもらうことが可能になるという機能です。

例えばGoogleドキュメントに追加されるAI機能は以下の通り。

GoogleスプレッドシートならAIに表の作成を任せてしまうことも可能。

GoogleスライドではAIにプレゼンテーション資料のブラッシュアップを任せたり、作成したスライドをベースに話者用の台本を作成させたりすることも可能です。

Google検索では「3歳以下の子どもと犬を飼ってるんだけど、A町とB町のどっちが住みやすい？」といった質問形式の検索ワードにも柔軟に対応することが可能になります。従来の検索結果の上にAIによる出力が表示されるような形で、出力を無視することも、AIと対話を続けることも可能。

開発に膨大な時間とリソースを必要とする他のLLM同様に、PaLM 2は単一の製品というよりも製品ファミリ―のようなものになっており、さまざまなバージョンが消費者の設定および企業側の設定により展開されることとなります。具体的にはGecko、Otter、Bison、Unicornという4つの異なるサイズのバージョンが展開される予定で、企業顧客向けに特定のタスクを実行できるようにドメイン固有のデータに基づき微調整されることも計画されています。

PaLM 2の中で最も軽量な「Gecko」は、スマートフォンなどの端末上でオフラインでも動作可能なくらいにサイズが小さくなっており、それでいて1秒あたり20トークン(約16～17ワード相当)を処理することが可能。GoogleはGeckoのテストにどのようなハードウェアを使用したか明らかにしておらず、「最新のスマートフォンで」とだけ説明しています。