無料で完全にWindowsでローカル動作できるElevenLabs代替ツール「VoiceStudio」、音声クローン・音声デザイン・動画吹き替え・音声入力・文字起こし・オーディオブック作成を多言語で可能

短い録音から人物の声を再現する音声クローン・文章による新しい声の設計・動画の多言語吹き替え・音声の文字起こし・長文を読み上げるオーディオブック制作などAIによる音声処理にはさまざまな機能があります。こうした機能を1つのアプリから利用でき、音声モデルの切り替えやAIエージェントとの連携にも対応するほか、Windows上で音声生成をローカル実行できる無料のオープンソースElevenLabs代替ツールが「VoiceStudio」です。

Free Open-Source AI Voice Cloning & Dubbing | VoiceStudio
https://voicestudio.sh/

debpalash/VoiceStudio: VoiceStudio is the open-source, fully-local ElevenLabs alternative — voice cloning, voice design, video dubbing, dictation, transcription & audiobook creation in 646 languages.
https://github.com/debpalash/VoiceStudio

VoiceStudioは「無料で600以上の言語をサポートする最先端の大規模多言語ゼロショットテキスト音声合成TTSモデル『OmniVoice』」を標準の音声生成エンジンとして採用したアプリケーションです。OmniVoiceの音声クローンや音声デザインといった機能に加え、動画の吹き替え・文字起こし・音声入力・オーディオブック制作などにも対応し、複数のAIモデルをまとめて管理できるようになっています。

◆VoiceStudioでできること
VoiceStudioをインストール後、起動するとホーム画面が表示されます。

・録音した声を再現する「音声クローン」
サイドメニューの「クローン」をクリックし「記録」ボタンをクリックして数秒から十数秒ほどの音声を登録すると、声の特徴を参照するための素材として利用できます。

録音した素材を選択し読み上げさせたい文章を入力して「音声を合成する」を実行すると、指定した文章を参考音声に似た声で読み上げた音声が生成され、「再生」アイコンをクリックすると音声が再生されます。

・文章から新しい声を作る「音声デザイン」
サイドメニューから「デザイン」をクリックし「声を言葉で説明」欄に文章で声の特徴を指定して「音声を合成する」をクリックすると架空の音声が生成されます。

なお、標準のOmniVoiceでは性別・年齢・高さなど指定できる特徴が決まっており、利用するAIエンジンによって音声デザインの自由度が変わります。

・動画の音声を外国語に変換する「動画吹き替え」
「ダビング」では動画に含まれる会話を自動で文字起こしし、別の言語に翻訳して合成音声で吹き替える「動画吹き替え」にも対応しています。複数の人物が登場する動画では話者ごとに音声を識別し、それぞれの声を再現した吹き替え音声を生成することも可能です。さらに元のBGMや効果音を残したまま吹き替え音声を追加でき、完成した動画はMP4形式で書き出せます。

・録音の「文字起こし」とマイクによる「音声入力」
録音ファイルを読み込ませたり、直接マイク入力で話した音声を文章へ変換でき、音声認識モデルを追加すれば日本語の録音にも対応します。

・長い文章を音声にする「オーディオブック」
「オーディオブック」では長い文章を章ごとに分けて読み上げ音声へ変換でき、複数の登場人物に異なる声を割り当てることも可能です。

・その他の機能
このほか音声と背景音の分離・話者の識別・複数ファイルの一括処理・AIモデルのダウンロード管理にも対応し、用途やPCの性能に合わせて処理方法を選択できます。さらにローカルAPIやAIエージェントから外部ツールを操作するための「MCP」に対応しており、音声生成を別のアプリや自動処理の一部として組み込めます。

UIは日本語に対応していますが、直訳だったり誤訳している箇所がありますが機能は正常に動作します。

◆VoiceStudioの導入方法
Windows版はGitHubのReleasesページからインストーラーを取得する方法のほか、PowerShellで公式のインストールスクリプトを実行して導入できます。今回はPowerShellで以下のインストールスクリプトを実行。

irm https://voicestudio.sh/install.ps1 | iex

インストールウィザードが起動するので「現在のユーザーのみにインストール」を選択して「次へ」をクリック。

「インストール先フォルダー」を選択して「インストール」をクリック。

「VoiceStudioを実行」をチェックして「完了」をクリック。

VoiceStudioが起動し初回セットアップ画面が表示されるので「言語」で日本語を選択して「ローカル実行環境をインストール」をクリック。

システムチェックがすべてOKであれば「大丈夫です 続けてください」をクリック。

モデルパックを選択する画面が表示されるので「バランス」を選択して「バランスパックをインストール」をクリック。

モデルパックのダウンロードが完了したら「大丈夫です 続けてください」をクリック。

プライバシー設定では透かしを有効化・履歴の保存数の設定などを行い「大丈夫です 続けてください」をクリック。

「スタジオに入る」ではそのまま「スタジオに入る」をクリック。

モデルによってはライセンスの同意が必要になります。それぞれのモデルのライセンスを確認しチェックしてから「2件のライセンスに同意」をクリック。

「ライセンスに同意しました」との画面に遷移するので「閉じる」をクリック。

VoiceStudioのデモプロジェクトが表示されれば導入完了です。

なお、アプリ本体の利用条件と音声AIモデルのライセンスは別々に定められているため、商用利用する際は選択したモデルと音声素材の使用条件も確認する必要があります。