頭の中にあるイメージを脳の活動データから機械学習を用いて画像化することに成功

頭にコードを挿して脳から記憶やイメージをデータとして出力するというシーンをSF小説や映画で見ることがありますが、fMRI(機能的核磁気共鳴)によって視覚化した人間の脳の活動を機械学習で分析することで、脳内にあるイメージを実際に視覚化できるかもしれないと、京都大学の研究者とATR(株式会社国際電気通信基礎技術研究所)の研究者によって提案されています。以下の論文の中では、実際に頭に思い浮かべたイメージを機械学習を用いて画像に出力することに成功したと報告されています。

Deep image reconstruction from human brain activity | bioRxiv
https://www.biorxiv.org/content/early/2017/12/30/240317

人間の視覚情報は、大脳後頭葉にある「視覚野」という部位で階層的に処理されるということが分かっています。そこで視覚野で神経活動が活発になっている部位をfMRIで測定し、得られた信号データをDNN(深層ニューラルネットワーク)へ翻訳して入力します。DNNは入力されたデータからおおまかなイメージを予想し、その予想したイメージをDGN(深層生成ネットワーク)で最適化して画像化したというのが今回の実験です。

まずは生き物や人工物が写っている写真を被験者に見せながら、脳の活動をリアルタイムで測定し、そこからイメージを再構築します。実際に見た画像(一番上の段)と、3人の被験者からそれぞれ出力されたイメージ(下3段)を並べたのが以下の画像。3人の被験者には大まかな違いがあるものの、同じ画像を見た場合におおむね同じようなイメージが出力できています。

またDGNで最適化したイメージ(with DGN)は、最適化しなかったイメージ(No DGN)と比べてかなりくっきりした描写になり、元の画像と出力したイメージの合致率も高かったとのこと。

以下のムービーでは、左に実際に見た写真が、右には被験者の脳内活動から出力されてイメージが最適化される様子が映し出されています。

Deep image reconstruction: Natural images - YouTube

色や構図だけではなく形を認識する場合も実験されています。以下のムービーがその結果で、左に表示されるのが実際に被験者が見た図形で、右に表示されるのが出力されて最適化されるイメージです。

Deep image reconstruction: Geometric shapes - YouTube

図形は少しぼやけているものの、元がどういった図形かははっきり分かります。特に以下の画像の下部に示されている通り、アルファベットは図形よりも全体的にはっきりとした形を見せていて、元画像とイメージの合致率も9割を超えています。

さらに主観的な内容を視覚的に再構築できないかということで、今までのデータを利用して、頭の中に思い浮かべたイメージを画像として再構築する実験も行われました。被験者にあらかじめ写真や図形を見せた後、何も見ずに頭の中で思い浮かべてもらいながら、脳の活動を測定します。以下のムービーでは左にはあらかじめ見せた画像が、右には思い出した時の脳内活動から出力されたイメージを最適化する様子が表示されます。

Deep image reconstruction: Visual imagery - YouTube

鳥や飛行機などの複雑な写真は、具体的なイメージを思い出すのが難しいからか、十分に最適化されたデータが得られなかったとのこと。単純な図形では、画像を見ながら測定した場合に比べるとかなりおぼろげになっていますが、ぼんやりと元の図形のイメージが表れています。

同時に研究チームは、元画像と生成したイメージとの合致率が、プログラムで判断するよりも人間の目で判断したほうが高いことに注目し、複数のDNNの階層を組み合わせることで、人間の主観的なイメージをより細かく再構成できるのではないかと期待しています。