iPhoneでも動作する日本語AIモデル「TinySwallow-1.5B」を日本に拠点を置くSakana AIがリリース、大規模言語モデルから知識蒸留して小規模かつ高性能なAIモデルを実現

日本に拠点を置くAI企業の「Sakana AI」が小規模日本語言語モデル「TinySwallow-1.5B」を2025年1月30日(木)に発表しました。TinySwallow-1.5Bは小規模かつ高性能なAIモデルを実現する知識蒸留手法「Temporally Adaptive Interpolated Distillation(TAID)」を用いて開発されており、iPhone 14でのローカル実行も可能です。

新手法「TAID」を用いた小規模日本語言語モデル「TinySwallow-1.5B」の公開
https://sakana.ai/taid-jp/

TinySwallow-1.5Bはパラメーター数320億の大規模言語モデルから知識蒸留することで開発されたパラメーター数15億の小規模言語モデルです。知識蒸留には新たに開発されたTAIDと呼ばれる手法を用いており、日本語性能を評価するベンチマークテストでは同規模の言語モデルの中で最高性能を記録しています。

TinySwallow-1.5BはPCやスマートフォンでサクサク動作するほど軽量とのこと。実際にSakana AIはiPhone 14でTinySwallow-1.5Bが動作する様子を公開しています。

Sakana AIの小規模日本語言語モデル「TinySwallow-1.5B」がiPhone 14でローカル動作する様子 - YouTube

Sakana AIはTinySwallow-1.5BをPCにダウンロードして実行できるウェブアプリ「TinySwallow-1.5B Chat」も公開しています。

TinySwallow-1.5B Chat
https://pub.sakana.ai/tinyswallow/

実際にTinySwallow-1.5B ChatをノートPCで実行した結果が以下。「マグロの刺身以外の食べ方を教えて」という質問に対して「寿司」「照り焼き」「揚げ物」などを提案してくれました。

一方で、「サバサバのたたき」や「ネコリの切り落とし」といった実在しなさそうな料理名も出力されました。

TinySwallow-1.5Bのモデルデータは以下のリンク先で公開されています。

TinySwallow - a SakanaAI Collection
https://huggingface.co/collections/SakanaAI/tinyswallow-676cf5e57fff9075b5ddb7ec

また、TinySwallow-1.5BをiPhoneで動作させる手順は以下のリンク先で確認できます。

TinySwallowをiPhoneで使う · SakanaAI/TinySwallow-ChatUI · GitHub
https://github.com/SakanaAI/TinySwallow-ChatUI/blob/main/docs/iphone.md

なおTinySwallow-1.5Bの開発に使われた蒸留手法のTAIDは、「生徒モデルの学習進度に合わせて、教師モデルを段階的に変える」というアプローチを採用しているとのこと。Sakana AIは今後も多様なモデルや環境下でのTAIDの検証を進める予定としています。