私たちが見ている映像は「過去15秒間のダイジェスト」との研究結果、脳が膨大な視覚情報を効率的に処理できる理由が判明

過去の研究により、1秒間の人の脳の活動がスーパーコンピューター・京の40分に匹敵するなど、脳は非常に高度で複雑な情報処理を行っていることが明らかになっています。新たな研究により、脳に入ってくる情報の大半を占める視覚情報が効率的に処理されているのは、脳が「リアルタイムの視覚情報ではなく過去15秒間の映像の集約」を見ているからだということが確かめられました。

Illusion of visual stability through active perceptual serial dependence
https://www.science.org/doi/10.1126/sciadv.abk2480

Everything we see is a mash-up of the brain's last 15 seconds of visual information
https://theconversation.com/everything-we-see-is-a-mash-up-of-the-brains-last-15-seconds-of-visual-information-175577

Like our social media feeds, our brains take a little while to update: New study shows a 15-second lag in processing visual stimuli -- ScienceDaily
https://www.sciencedaily.com/releases/2022/01/220113194121.htm

人の目には絶えず色や形が変化する世界の映像が飛び込んできており、目や頭の微妙な動きやまばたきなどでも映像は大きく変化します。スコットランドにあるアバディーン大学の心理学者であるマウロ・ナッシ助教授とカリフォルニア大学バークレー校のデビッド・ホイットニー教授は、脳に入ってくる映像がどれほどせわしなく変化しているかの例として、以下のムービーを示しました。

Visual (In)stability - YouTube


この映像は、右側に人の目が見ている場所を白い丸で示し、左側にその部分の映像を表示したもの。再生してみると、眼球の細かい動きにより視覚情報が非常に大きく変化していることが分かります。しかも、右側の写真はあくまで静止画なので、人の脳が常に変化しつつある世界から受け取る情報はこの映像の比ではありません。

これほど膨大な映像情報を処理しているにもかかわらず、人の脳が見ている映像はなめらかで、処理落ちや映像飛びはありません。このように、脳が安定した映像を生み出しているのはなぜかを調べるべく、ナッシ氏らはインターネットを通じて募集した約100人の被験者を対象に、時間を追うごとに変化する映像を見せる実験を行いました。

実験に用いられた映像は、以下から見ることができます。

An Illusion of Stability - YouTube


映像が始まると、子ども顔が2つ表示されて「これは双子の顔で、年齢も同じです」と案内されます。髪型などが年齢の手がかりにならないように、映像には顔の中心部だけが使用されました。

次に、右側の顔を隠してから左の顔を見続けてもらいます。

そして、約30秒経過後に左の子どもの顔が何歳に見えるかを答えてもらいました。

実は、左の顔は30秒の間に少しずつ成長しており、最終的にはまったく別の顔になります。

この実験の結果、被験者が答えた顔の年齢は30秒が経過した時点の顔ではなく、10～15秒前の少し若い顔のものでした。これは、脳がリアルタイムに映像情報を処理しているのではなく、過去15秒間に見た映像を平均化したものを見ているということを意味しているとのこと。これまでの研究でも、脳が見ているものは過去15秒間の集大成だということが分かっていますが、今回の研究により「物理的に変化し続ける物体が過去の知覚に引きずられて、変化していないように見える」という新しい映像処理のメカニズムが判明しました。

この結果について、ナッシ氏らは「脳の更新時間は15秒なので、私たちは最新の映像を見ているのではなく以前の映像を見ていることになります。要するに、時間をかけて映像を平均化させることで、知覚を安定させているというわけです。これはちょうど、15秒ごとに映像を1つに統合して日常生活の風景を効率的に処理できるようにしてくれるアプリが脳にインストールされているようなものです。もし、私たちの脳が常にリアルタイムに情報を処理していたら、私たちの世界は光と影と動きが絶えず変化し続けるカオスな光景になってしまうでしょう」と述べました。

過去の映像を再利用しつつ効率的に視覚情報を処理する仕組みには、マイナス面もあります。映画のシーンごとに俳優とスタントマンが入れ替わっていても気づかない程度のデメリットなら問題ありませんが、放射線科医が何百枚ものレントゲン写真を次から次へと切り替えながら調べる時に、もし見ている写真と1つ前の写真が混じり合ってしまっているとすると、腫瘍などの異常の見落としにつながるおそれもあります。

こうした点からナッシ氏らは、「視覚システムのリフレッシュレートの遅さは、私たちの目を過去へと向けさせるため、変化に気がつかないこともあります。この仕組みは、世界を連続性のある安定したものとして認識するのに役立ちますが、同時に私たちが日々行っている判断は現在ではなく過去に見たものに強く依存しているという点を忘れるべきではないでしょう」と締めくくりました。