無料・インストール不要で日本語を含む13言語のリアルタイム文字起こしがブラウザからできる「Voxtral Mini 4B Realtime WebGPU」、WebGPUを駆使して完全ローカル動作可能

会議や取材で録音した音声を文字に起こす際には、録音ファイルをアップロードしたり専用の文字起こしソフトを使ったりする方法がありますが、ブラウザだけでリアルタイムに行える無料のツールが「Voxtral Mini 4B Realtime WebGPU」です。日本語を含む13言語に対応し、WebGPUによって音声認識AIを完全ローカルで実行できるとのことなので実際に使ってみました。

Voxtral Mini 4B Realtime WebGPU - a Hugging Face Space by mistralai
https://huggingface.co/spaces/mistralai/Voxtral-Mini-4B-Realtime-WebGPU

◆Voxtral Mini 4B Realtime WebGPUを使ってみた
・AIモデルの読み込み
Hugging Faceで公開されている「Voxtral Mini 4B Realtime WebGPU」のページを開き「START TRANSCRIPTION」をクリック。

すると約2.8GBのAIモデルのダウンロードが始まり、読み込み状況が「Loading Model」と進捗バーで表示されます。次回以降キャッシュが残っている場合は保存済みのモデルデータが利用できます。

読み込みが完了するとマイクのアイコンと「Start transcription」が表示され、音声入力を開始できる状態になります。

・日本語のリアルタイム文字起こし
中央のマイクボタンをクリック。

ブラウザからマイクの使用許可を求められた場合は「サイトへのアクセス時は許可」もしくは「今回のみ許可」を選択。

録音を開始すると画面右上の表示が「LIVE TRANSCRIPTION」に切り替わり、音声を待ち受ける状態では「Listening for speech...」と表示されます。

日本語で短い文章を読み上げると画面の「Transcript」欄に認識された言葉がほぼリアルタイムに追加される仕組みで、文章を話しながら結果を確認できます。

次に長めの文章を読み上げてみると、一部文字化けが発生したものの、文章の区切りや固有名詞なども正確に変換されているのが確認できました。

画面下部の「Stop」をクリックすると音声の取得が終了し、文字起こし結果が画面に残ります。

「Reset」をクリックすると結果が消去され、再び音声を入力できる状態に戻ります。

・日本語を含む13言語に対応
このモデルは日本語・英語・中国語・韓国語・フランス語・ドイツ語・スペイン語・イタリア語・ポルトガル語・オランダ語・ロシア語・アラビア語・ヒンディー語の13言語に対応しています。

画面には言語選択のメニューが用意されておらず、音声から言語が自動判別されて文字起こしが行われる仕様です。

音声から文字への変換を目的としたアプリで、翻訳や話者ごとの発言者識別・音声ファイルのアップロードといった機能は搭載されていません。

◆WebGPUで完全ローカルの文字起こしを実現
AIモデルはHugging Faceの「Transformers.js」からONNX形式のモデルとして読み込まれ、WebGPU経由でPCのGPUを使って処理されます。

◆動作環境と注意点
「Voxtral Mini 4B Realtime WebGPU」を利用するにはWebGPUに加えて16ビット浮動小数点計算を扱う「shader-f16」に対応したブラウザとGPUが必要です。GPUメモリが足りない場合は処理が途中で停止することもあり、実際に4GBの専用VRAMを備えたPCでエラーが発生したとの報告があります。

タスクマネージャーでGPU VRAM 8GBの使用メモリを確認したところ「Voxtral Mini 4B Realtime WebGPU」の利用前は2.0GBだった使用量が5.9GBになっていました。

◆ソースコードからの起動方法
アプリのソースコードはHugging Faceで公開されており、WindowsでもGitとNode.jsを用意すればローカルでWebアプリを起動できます。PowerShellで次のコマンドを実行。

git clone https://huggingface.co/spaces/mistralai/Voxtral-Mini-4B-Realtime-WebGPU
cd Voxtral-Mini-4B-Realtime-WebGPU
npm install
npm run dev

サーバーが起動するのでブラウザで「http://localhost:5173/」にアクセスすると、公式ページと同様にモデルをブラウザへ読み込んで利用できます。