脳のニューロン活動を測定することで「マウスがどのような映像を見たか」を再現することに成功

マウスが見ている映像を脳活動から再現する研究成果が発表され、過去のモデルを改善して再現度が約1.9倍に向上したことが報告されています。この研究は、脳が視覚情報をどのように処理しているのかを理解する手がかりになると期待されています。

Movie reconstruction from mouse visual cortex activity | eLife
https://elifesciences.org/articles/105081

Scientists 'Re-Watch' Videos Seen by Mice by Studying Their Brains : ScienceAlert
https://www.sciencealert.com/scientists-re-watch-videos-seen-by-mice-by-studying-their-brains

ユニバーシティ・カレッジ・ロンドン(UCL)のジョエル・バウアー氏らが率いる研究チームは、過去に別のチームが開発した「動的神経符号化モデル」の改善から着手しました。動的神経符号化モデルは、マウスが映像を見ている間の行動、走る速度や瞳孔の位置や大きさなども考慮して、特定の映像を見た際にどのニューロンが発火するかを予測するモデルです。

動的神経符号化モデルでは、約8000個のニューロンをリアルタイムで記録するために、細胞内のカルシウムイオンの濃度からニューロンの活動を測定する「2光子カルシウムイメージング法」を用いています。「映像を見たときにどのニューロンが活動しているか」を分析することで元の映像の全体的な表現を再現することができますが、過去の研究では、予測された神経活動と実際の神経活動との相関関係は「0.301」にとどまっていました。そこでUCLのチームは、再現精度を向上させるために予測されるニューロン活動と実際のニューロン活動との差を計算し、実際に観測された神経活動と一致するように動画の画素を少しずつ調整して最適化していくことで、「マウスが見た映像」を再構築するモデルを改良しました。

モデルをトレーニングした後、研究者らは5匹のマウスに対しモデルのトレーニングに含まれていないまったく新しい10秒間の映像を見せました。その後、ニューロンの活動データのみに基づいた10秒間の動画を作成しています。

以下は、それぞれ1行目がマウスに提示された映像、2行目が約8000個のV1(一次視覚野)ニューロンの活動から再構成された動画。再構成された動画と元の映像を比較した相関関係は最大「0.569」と、過去のモデルより大幅に精度が向上しました。

また以下は、画像の中で明暗や模様の細かさを表す「Spatial Frequency(空間周波数)」ごとに、1行目が元の映像、2行目がマウス1匹の予測ニューロン活動から再構成された映像。再構成された動画はマスクされており、コントラストや輝度のパターンが元の映像と高い一致率を示しています。

再構成された動画は低解像度ですが、物体の動きや大まかな形状は識別できるレベルで、マウスが見ていた映像の特徴を捉えていることが確認されています。

研究者によると、この手法は「脳が外界の情報をどのように処理するのか、そしてそれが実際に存在するものとどう違うのか」を理解するために役立つとのこと。論文の筆頭著者であるバウアー氏は「私たちの頭の中では、世界を完全に再現できるわけではありません。視覚処理のプロセスが私たちの表現をゆがめることで、情報に変化を与えるのです。現実と脳内の表象との間のこの差異は必ずしも誤りではなく、私たちの心が感覚情報をどのように解釈し、拡張するかを反映した特徴です。私たちは、これが脳内でどのように起こるのかを解明したいと考えています」と語りました。