大規模言語モデル「Phind」がコーディングにおいてGPT-4を上回る

生成AIを用いた開発者向けの検索エンジン「Phind」が、コーディング能力でOpenAIのGPT-4を上回ったことが明らかになりました。

Phind - AI Search Engine and Pair Programmer
https://www.phind.com/blog/phind-model-beats-gpt4-fast

PhindはもともとHello Cognition(beta.sayhello.so)として知られていた開発者向けの検索エンジンで、2023年3月頃にPhindと名前を変え再スタートしています。記事作成時点のPhindのモデルは第7世代で、これはMetaがリリースした大規模言語モデル「Code Llama」を基に独自にファインチューニングしたモデル「Phind-CodeLlama-34B」を使用して構築しているとのこと。

Phindは公式サイトから無料かつアカウント登録なしで利用できます。リンクにアクセスすると文字入力欄が現れるので、入力して検索。

結果が日本語で表示されます。ChatGPTとは違い、結果出力の参考となったウェブサイトがソースとして表示されるのが特徴。

「カレーの作り方を教えてください」など、コーディングに無関係な質問でも答えてくれます。

Phindの運営元によると、第7世代Phindモデルは大規模言語モデルの評価指標「HumanEval」でGPT-4を上回り、オープンソースのコーディングモデルとしては総合的に最も優れているという評価を得られたとのこと。

PhindはNVIDIAのTensorRT-LLMライブラリを使用することで、シングルストリームで1秒あたり100トークンを処理可能で、GPT-4の5倍もの高速化を達成しているとのこと。さらに、Phindは最大1万6000トークンまでの入力に対応しているそうです。

PhindのDiscordコミュニティでは、有料のGPT-4にアクセスできるユーザーでさえ、Phindを選択することが多いとのこと。運営元は「Phindモデルにはまだ荒削りな部分があり、常に改善を続けていくつもりです」と述べました。