脳波から「聞いていた音楽」を再構成することに成功、再構成した音楽を聴けるムービーもあり

カリフォルニア大学バークレー校の研究チームが脳波を分析して「聞いていた音楽」を再構成する技術を開発しました。開発された技術では音階の変化やフレーズの一部を判別可能なほど鮮明に音楽を再構成できます。

Music can be reconstructed from human auditory cortex activity using nonlinear decoding models | PLOS Biology
https://doi.org/10.1371/journal.pbio.3002176

Brain recordings capture musicality of speech — with help from Pink Floyd | Berkeley
https://news.berkeley.edu/2023/08/15/releases-20230811

研究チームはてんかんの治療のために脳手術を実施する際に、手術室でピンク・フロイドの楽曲「Another Brick in the Wall, Part 1」を再生し、患者の脳波を記録しました。

29人の患者の脳波を統合的に分析した結果、楽曲内の「All in all it was just a brick in the wall」というフレーズが聞き取れるほどの鮮明さで音楽を再構成することに成功しました。さらに、患者1人の脳波からも音階の変化がかろうじて判別できる音声を取り出すことに成功。以下のムービーを再生すると、実際に脳波から再構成した音楽を確認できます。

脳波を分析して「聞いていた音楽」を再構成 - YouTube

研究チームの一員であるロバート・ナイト氏は「(脳波から音楽を再構成する技術は)筋萎縮性側索硬化症(ALS)などの患者向けの脳インプラントに音楽性を加えます。脳で考えていることを言語で表すだけでなく、韻律や感情も表せるようになります」と述べています。

ただし、今回の研究で生み出された技術を用いるには、脳に外科的手術を施して電極を配置する必要があります。研究チームの一員であるルドヴィック・ベリエ氏によると、外科的手術を必要としない非侵襲的な方法では脳波を正確に読み取れないとのこと。ベリエ氏は「現時点では、非侵襲的な方法はまったく正確でありません。将来的に頭部の外側に電極を配置するだけで良好な品質の脳波検出が可能になることを願いましょう」と述べています。

なお、「脳の活動から音楽を再構成する」というアイデアにはGoogleと大阪大学の研究チームも取り組んでおり、2023年7月にはMRIで読み取った脳活動データから音楽を再構成するAI「Brain2Music」が発表されています。Brain2Musicによって再構成された音楽のデモは以下のリンク先で確認できます。

Brain2Music
https://google-research.github.io/seanet/brain2music/