Googleが音声生成AIの現状を解説、わずか1秒で40秒分の会話音声を生成できるも人間からは「不気味に聞こえる」と評価

そして2023年6月に登場したSoundStormにおいて、複数の話者が登場する自然な30秒間の会話を生成する能力が実証されました。2024年10月時点では、2分間の音声を生成することも可能とのこと。なお、2分間の音声を生成するのにかかる時間はTPU v5eチップで3秒未満となっており、実際に録音する場合に比べて40倍以上のスピードで音声を生成できます。

実際に生成された音声の例はこんな感じ。「ねえ、Google DeepMindの音声生成の成果について聞いた？」「いや、見逃していたよ」のような会話が生成されています。


複数の話者によるリアルな会話を生成する能力を向上させるため、モデルは数十万時間分の音声データで事前トレーニングを行った後、多数の声優による台本のない会話および「えー」「あー」などのフィラーが入った音声データで構成される小規模なデータセットでファインチューニングを行ったとのこと。こうして会話の中で話者を確実に切り替えたり、適切な間やトーンを備えた音声を出力したりすることが可能になりました。

なお、母語が日本語の編集部員としてはネイティブの会話と区別がつかないものの、英語ネイティブにとっては生成された会話に違和感を覚えるようで、「聞いていて非常にイライラする」「用意された台本を読んでいるように聞こえる」などの意見が散見されました。