マイクで録音するだけで誰でも「結月ゆかり」や「琴葉 茜・葵」の声になれるAI音声合成ソフト「Seiren Voice」を使ってみた

これまでに誰でも簡単に「結月ゆかり」の声になれる音声変換技術や音声合成ソフト「VOICEVOX」を開発してきたヒホ氏の所属するドワンゴの機械学習技術研究部門Dwango Media VillageがAI音声合成ソフト「Seiren Voice」を発表しました。Seiren Voiceではマイクで録音した音声を自動で文字起こしして、イントネーションを再現したまま結月ゆかりや琴葉 茜・葵のボイスに変換可能とのことなので、実際に無料体験版をインストールして使い方や変換精度を確かめてみました。

高品質な音声変換ソフトウェア | Seiren Voice
https://seiren-voice.dmv.nico/

・目次
◆1：Seiren Voice＆音声ライブラリのインストール手順
◆2：Seiren Voiceで音声を変換する手順
◆3：Seiren Voiceで編集部員の声を結月ゆかりにボイスに変換してみた
◆4：Seiren Voiceに琴葉 茜・葵の音声ライブラリを追加してみた
◆5：まとめ

◆1：Seiren Voice＆音声ライブラリのインストール手順
Seiren Voiceは基本となるソフトに「Seiren Voice 結月ゆかり」や「Seiren Voice 琴葉 茜・葵」などの音声ライブラリを追加することで録音した音声を目的の声に変換できます。「Seiren Voice 結月ゆかり」と「Seiren Voice 琴葉 茜・葵」には体験版が用意されているので、まずは「Seiren Voice 結月ゆかり」の体験版をインストールしてみます。

最初に、以下のリンクから「Seiren Voice 結月ゆかり」の公式ページにアクセスします。

結月ゆかり | Seiren Voice
https://seiren-voice.dmv.nico/product/yukari

次に、「体験版ダウンロード」をクリックします。

体験版はZIP形式で配布されているので「Explzh」などの解凍ソフトで解凍します。ZIPファイルの中にはSeiren Voiceのインストーラーと結月ゆかりの音声ライブラリが含まれているのでインストーラーをダブルクリックして起動します。

ライセンス契約書が表示されたら、よく読んで「同意する」をクリック。

次に、インストール先ユーザーの選択画面が表示されます。今回は「現在のユーザーにのみインストールする」を選択して「次へ」をクリックしました。

続いてインストール先フォルダの選択画面が表示されます。今回は何も変更せずに「インストール」をクリック。

数十秒待つと……

Seiren Voiceのインストールが完了するので「完了」をクリックしてインストーラーを閉じます。

インストーラーを閉じると自動的にSeiren Voiceが起動します。初回起動時には音声ライブラリのインストールを指示するダイアログが表示されるので「OK」をクリックします。

すると、設定画面が開くので「音声ライブラリをインストールする」をクリックします。

ファイル選択画面が表示されたら先ほど解凍したフォルダの中に含まれている音声ライブラリを選択します。

利用規約が表示されたらよく読んで「OK」をクリック。

すると、音声ライブラリのインストールが行われます。インストール完了通知が表示されたら「OK」をクリック。

設定画面に結月ゆかりが追加されていればインストールは成功。「閉じる」をクリックして設定画面を閉じます。

◆2：Seiren Voiceで音声を変換する手順
以下がSeiren Voiceの画面です。音声変換を行うには、まずオレンジ色のマイクボタンをクリックして、マイクに向かって音声を吹き込みます。

音声が自動的に文字起こしされるので、続けて青色の再生ボタンをクリックします。

すると、選択した音声ライブラリ(今回は結月ゆかり)の声へ変換されるので数秒待ちます。

変換が完了すると変換後の音声が再生されます。音声変換を続けたい場合は右下の青いボタンをクリックすればOK。

変換後の音声は画面上部の「すべて書き出し」をクリックすることで出力できます。

出力した音声はWAV形式で保存されます。また、文字起こしされたテキストファイルも同時に出力されます。

◆3：Seiren Voiceで編集部員の声を結月ゆかりにボイスに変換してみた
Seiren Voiceで編集部員2人の声を結月ゆかりの声に変換してみました。2人の声質は異なりますが、変換後の音声は双方とも結月ゆかりボイスになっています。なお、体験版では出力音声にウォーターマークが加わりますが、今回は特別にウォーターマークを解除してもらっています。

Seiren Voice」で編集部員2人の声を結月ゆかりの声に変換してみた - YouTube


また、Seiren Voiceでは録音した音声のイントネーションを再現した状態で音声を変換可能です。以下のムービーでは同じ文章を通常のイントネーション・疑問形風のイントネーション・強調するようなイントネーションで読み上げた際の変換結果を確認できます。

「Seiren Voice」ではイントネーションを保ったまま音声変換可能 - YouTube


さらに、Seiren Voiceには声の高さや抑揚を変化させる機能も搭載されています。

以下のムービーでは、高さや抑揚を変化させた際の同じ録音音声の変換結果を聴き比べられます。

「Seiren Voice」で声の高さや抑揚を変化させてみた - YouTube


◆4：Seiren Voiceに琴葉 茜・葵の音声ライブラリを追加してみた
Seiren Voiceでは音声ライブラリを追加することで変換後の声の種類を増やすことができます。今回は琴葉 茜・葵の音声ライブラリを追加してみます。

まずは以下のリンクをクリックして琴葉 茜・葵の音声ライブラリ配布ページにアクセスします。

琴葉 茜・葵 | Seiren Voice
https://seiren-voice.dmv.nico/product/kotonoha/

配布ページにアクセスしたら「体験版ダウンロード」をクリックします。

体験版はZIP形式で配布されているので、解凍して拡張子が「.srvl」の音声ライブラリをダブルクリックします。

利用規約をよく読んで「OK」をクリックすると……

自動的にSeiren Voiceの設定画面とインストール完了通知が表示されるので「OK」をクリック。これで音声ライブラリの追加は完了です。

音声ライブラリを切り替えるには、音声ライブラリの名称が記された部分をクリックして、目的の音声ライブラリを選択すればOK。

これで音声ライブラリの切り替えは完了。この状態で音声を変換すると、音声が琴葉 茜・葵ボイスに変換されます。

以下のムービーでは、編集部員の声を琴葉 茜・葵ボイスに変換した結果を確認できます。

「Seiren Voice」で編集部員の声を琴葉 茜・葵ボイスに変換してみた - YouTube


◆5：まとめ
実際にSeiren Voiceで音声を変換してみたところ、マイクで録音した音声が自動認識されるため、文字起こしの手間無く合成音声を作成可能でした。また、イントネーションを保持した状態で音声を変換できるため、驚きや疑問といった感情を表現したい場合でもパラメーターをいじる必要なくサクッと合成音声を作成できました。合成音声を用いた作品を制作する際は「大量の文字入力の後、延々とパラメーターをいじる」という作業が必要ですが、Seiren Voiceをつかえば非常に手軽に作品制作に取り組めそうです。

ただ、Seiren Voiceを動作させるには「Compute Capability 5以上のNVIDIA製GPU」が必須です。自分のPCがSeiren Voiceに対応しているか否か分からない場合は無料体験版を使って確認してみることを推奨します。

なお、ヒホ氏が公開した以下のムービーではSeiren Voiceの開発経緯が語られています。ムービーの中ではリアルタイム変換についての展望も語られています。

Seiren Voiceは基本となるソフトが無料配布されており、音声ライブラリは「結月ゆかり」「琴葉 茜・葵」共に税込1万9800円で販売されています。また、「紲星あかり」の音声ライブラリも発売が決定しています。商用ライセンスについては記事作成時点では販売ページが公開されておらず、問い合わせでの対応となっています。