nanochatの日本語版フォーク「nanochat-jp」、トークナイザ学習・事前学習・SFT・RL・評価・推論を単一リポジトリで完結させ、SentencePiece Unigram トークナイザ・日本語コーパスと日本語 SFT/RL データ・日本語ベンチマーク（CORE / ChatCORE）・HuggingFace形式への変換器あり

日本語を扱うAIモデルを一から開発する際には学習用の文章を集めるだけでなく、文章を細かく分割するトークナイザの作成や追加学習・性能の評価などの工程が必要です。こうした作業を個別に組み合わせる手間を減らし、日本語の学習データや評価用のプログラムをまとめて利用できるようにしたのが「nanochat」の日本語版フォーク「nanochat-jp」です。

tohoku-nlp/nanochat-jp
https://github.com/tohoku-nlp/nanochat-jp

◆nanochatとは
2025年10月にAI研究者のAndrej Karpathy氏が公開した「nanochat」は、AIモデルの事前学習から会話能力の追加学習、推論までを単一のコードベースにまとめたプロジェクトでnanochat-jpはこのnanochatをベースに日本語向けの学習・評価環境を整備したものです。

たった1万5000円＆4時間でChatGPTのような対話可能AIをゼロから構築できるオープンソースプラットフォーム「nanochat」が登場 - GIGAZINE
https://gigazine.net/news/20251014-nanochat/

◆nanochat-jpの特徴
nanochat-jpでは元のnanochatから主に以下の機能が追加・変更されています。
・日本語の文章を処理する「SentencePiece Unigram」トークナイザ
・日本語の事前学習用コーパス
・日本語の教師ありファインチューニング（SFT）用データ
・日本語の強化学習（RL）用データ
・日本語能力を測定するCORE・ChatCOREベンチマーク
・Hugging Face Transformers形式への変換ツール

◆日本語向けの学習データ
nanochat-jpではAIモデルに日本語を学習させるための文章データをHugging Faceで公開しており、事前学習用の日本語コーパスに加え、質問と回答の例を使って会話能力を習得させるSFTデータや、回答を改善するためのRLデータも用意されています。

◆AIモデルの学習と評価の仕組み
モデルの学習は付属の「speedrun.sh」から実行でき、トークナイザの学習と評価・事前学習・SFT・学習レポート生成の順番で処理が進みます。強化学習も用意されていますが、標準スクリプトでは任意の工程として扱われています。また事前学習モデルの評価には「base_eval.sh」、会話モデルの評価には「chat_eval.sh」を利用します。

◆日本語能力の評価結果
開発元が日本語能力を測定したベンチマーク結果では、標準設定で学習したモデルは「Qwen3.5-0.8B」と同程度の日本語性能を示したとしており、nanochat-jp-v4はv3と比較して5指標中4指標でスコアが向上しています。日本語の生成能力を測るYOMI-Genでは41.4から52.3へ改善し、YOMI-GenとPFGenではQwen3.5-2Bを上回る結果となりました。なお比較対象のQwen3.5系列はthinkingを無効にした条件で評価されています。

◆学習済みモデルと周辺ツール
開発元は学習済みの「nanochat-jp-v4」や「nanochat-jp-v3」のチェックポイントに加え、Hugging Face Transformers形式に変換したSFTモデルも公開しています。

また、学習済みモデルを推論サーバーで利用するための「nanochat-jp-vllm-plugin」も用意されています。

◆まとめ
nanochat-jpは日本語に特化した小規模AIモデルを開発するための学習データと評価環境をまとめたプロジェクトです。標準の学習には高性能なGPU環境が必要ですが、学習済みモデルやトークナイザも公開されており、日本語AIの仕組みを研究したり、独自モデルの性能を検証したりするために利用できます。