話の最中に行われる「手ぶり」は言葉の聞き取りや解釈に影響を与える

話をしているとき、身ぶり手ぶりを交える人がいますが、こうした動きは話を聞いている側に影響を与えることが研究により明らかになりました。

Beat gestures influence which speech sounds you hear | Proceedings of the Royal Society B: Biological Sciences
https://doi.org/10.1098/rspb.2020.2419

Using hand gestures while speaking found to influence how words are heard by others
https://phys.org/news/2021-01-gestures-words-heard.html

この研究は、マックス・プランク心理言語学研究所、ラドバウド大学、ティルブルフ大学の研究チームが行ったもの。

チームは、手ぶりの内容が異なるいろいろな映像を実験参加者に見てもらい、聞いた内容について質問を行いました。映像に登場する話者の中には、「object」という「ob」など、単語の一部分だけを強調する人や、チョップのような手ぶりをする人などが含まれます。

その結果、聞き手は手ぶりと組み合わせられた音節を重視して聞いていることがわかりました。事例のうち20％では、手ぶり部分の言葉を他の言葉よりよく聞き取って解釈していました。

一方で、話された単語と手ぶりとの間にミスマッチがあった場合、間違った音として聞いてしまう割合が40％も高くなったとのこと。「ガ」という口の形の映像に対して「バ」という音声を重ねると「ダ」と聞こえるというような、聴覚と視覚で矛盾した情報があると第3の音韻として知覚される現象を「マガーク効果」といいますが、これと同じことが手ぶりでも発生したものと考えられます。

なお、この研究はオランダ語話者で行われたものですが、他の言語でも同じような結果が得られる可能性が高いとのことです。