レビュー

録音の文字起こし・リアルタイム文字起こし・テキストの音声読み上げができる「speech.cpp」はGPU不要でCPUだけで動作可能


日本語特化型の音声認識AI「Haas-ja-v1.0」や音声合成AI「Irodori-TTS」などを1つの実行環境にまとめた無料のオープンソースツールが「speech.cpp」です。GPUが不要でブラウザから文字起こしや音声読み上げが可能とのことなので実際に使ってみました。

nyosegawa/speech.cpp: Speech synthesis, speech recognition and voice activity detection for voice conversation, in C++ on ggml
https://github.com/nyosegawa/speech.cpp

◆speech.cppの導入
speech.cppはWindows・macOS・Linuxに対応しており、今回はWindows 11を搭載したPCにPowerShellから以下のコマンドを実行してインストールします。

irm https://raw.githubusercontent.com/nyosegawa/speech.cpp/main/install.ps1 | iex


インストールが完了したらPowerShellを起動し直し、以下のコマンドを実行してCPUだけで動作するように指定した状態でWebインターフェースを起動します。

speech serve --open --device cpu --host localhost


ブラウザで「http://localhost:8080/」が開き、上部に音声合成の「Speak」・音声ファイルからの文字起こしの「Transcribe」・リアルタイム文字起こしの「Live」という3つのタブが表示されます。


◆テキストから日本語の音声を生成
まずはテキストから音声を生成するため「Speak」タブにあるモデル選択ボタンをクリック。


利用できる音声合成AIモデルの一覧が表示されるので、今回は日本語を含む10言語に対応した音声合成モデル「Qwen3-TTS 0.6B」の「Fetch and use」をクリックしてダウンロードします。


モデルの読み込みが完了したら「Text」に文章を入力し「Voice」で日本語の話者「ono_anna」を選択して「Speak」をクリックすると、音声が生成され再生やWAV形式でのダウンロードが可能です。


◆音声ファイルから文字起こし
speech.cppでは生成した音声をそのまま文字起こしすることもできるので、音声波形の下にある「Transcribe this」をクリックしてみました。


「Transcribe」タブに切り替わり、先ほど生成した音声が文字起こしの対象として設定されます。「Choose a model」をクリック。


音声認識には日本語特化型音声認識モデル「Haas-ja-v1.0」の「Fetch and use」をクリックしてモデルをダウンロード。


モデルの読み込みが完了したら「Transcribe」をクリックすると文字起こしされた文章が表示され、処理にかかった時間も確認できます。「speech.cpp」の部分は誤認識されていましたが、それ以外の日本語はおおむね正しく文字起こしできています。


音声ファイルをドラッグ&ドロップして文字起こしできるほか「Record」をクリックしてその場で録音した音声を文字起こしすることも可能です。


録音した音声を文字起こしした結果、録音した内容が正しく読み取られていました。


◆マイクからリアルタイムで文字起こし
録音の完了を待たずリアルタイムに文字起こしするには「Live」タブを開き、日本語対応の音声認識モデル「ReazonSpeech v2」を「Fetch and use」をクリックしダウンロード。


人間が話している区間を検出するモデルを選択するため「Find speech with」の選択欄をクリック。


「Silero VAD」の「Fetch and use」をクリックしダウンロード。


「Start」をクリックしてマイクに向かって話すと発話中の文章が灰色で表示され、話し終えると文字起こしの結果が確定します。「肌寒く。じます。」となっている箇所は「肌寒く」と「感じます」の間を少し空けて話したため文の区切りとして処理されていました。


◆自分の声で好きな文章を読み上げる音声クローン
音声合成モデルを日本語特化型の「Irodori-TTS」に切り替えると、録音された音声から声の特徴を抽出して別の文章を読み上げる「音声クローン」も利用できます。

「Speak」タブでモデル選択ボタンをクリックし「irodori-tts-mf」の「fetch and use」をクリックしてダウンロードします。


「Make a voice from a recording」を開き「Record」をクリックして自分の声を録音し「Name of the voice」に任意の名前を入力して「Add the voice」をクリック。


「Text」に録音時とは異なる文章を入力して、登録した声を「Voice」で選択し「Speak」をクリックすると…


自分の声の特徴を再現した音声を生成できます。


◆speech.cppで利用できるAIモデル
speech.cppでは用途や対応言語に応じて複数のAIモデルを切り替えることができ、記事作成時点の対応モデルは以下の通り。

・音声合成
Qwen3-TTS:日本語を含む10言語に対応。
Irodori-TTS:日本語特化型で音声クローンに対応。
Drama 3:83言語に対応し最大16人の声で会話を生成可能。

・音声認識
Qwen3-ASR:30言語に対応。
ReazonSpeech v2:日本語の長時間音声に対応。
Parakeet JA:日本語の高速文字起こしに対応。
Parakeet v3:ヨーロッパの25言語に対応。
Haas-ja-v1.0:日本語特化型でカスタム語彙の指定にも対応。
Nemotron 3.5 Transcribe:40言語に対応し最大1時間の音声を処理可能。

・その他の音声処理
Silero VAD:発話区間の検出。
Nemotron 3 Diarization:最大8人の話者分離。
RE-USE:ノイズや残響の除去。
RE-USE Laughter:笑い声を残したノイズ除去。

◆GPU不要で動作する仕組み
speech.cppはAIモデルの演算処理を行うためのライブラリ「ggml」を採用しており、WindowsやLinuxではVulkan、Apple Silicon搭載MacではMetalを利用したGPU処理に対応するほかCPUだけでも動作します。なお、Windows向けの公式配布版ではCPUで処理する場合もVulkanローダーが必要です。

音声認識や音声合成をローカルで実行できるようになれば、取材音声や社内会議の記録を外部サービスに送信せずに処理したり、大量の文書を追加のAPI料金なしで音声化したりといった活用が可能です。

・関連記事
日本語特化で高速かつ高精度な文字起こしAI「Haas-ja-v1.0」が登場、オープンモデルの中で最高性能を記録 - GIGAZINE

無料で完全にWindowsでローカル動作できるElevenLabs代替ツール「VoiceStudio」、音声クローン・音声デザイン・動画吹き替え・音声入力・文字起こし・オーディオブック作成を多言語で可能 - GIGAZINE

無料で600以上の言語をサポートする最先端の大規模多言語ゼロショットテキスト音声合成TTSモデル「OmniVoice」 - GIGAZINE

声を指定して好きなセリフを喋らせられるローカルAI「Irodori-TTS」のV3が出たので使ってみた、音声の長さを指定可能で絵文字感情制御も簡単に - GIGAZINE

好きな声で好きなセリフを喋らせられるローカルAI「Irodori-TTS」の使い方、日本語特化でローカル動作するので無制限に生成し放題 - GIGAZINE

無料でローカル音声文字入力・リアルタイム文字起こし・音声ファイルからの文字起こしをAIモデルで可能にする「Whispering」 - GIGAZINE

in ソフトウェア,   レビュー, Posted by darkhorse_logmk

You can read the machine translated English article 'speech.cpp,' which can transcribe recor….