サイコロの出目を選ぶだけで「人間の行動の複雑さ」を測定することはできるのか？

「人間の行動の複雑さは25歳前後がピーク」という研究が果たして正しいのか否かを調査するべく、Svelteでコーディングを行っているという開発者のラッセル・ゴールデンバーグ氏が実験サイトを公開しています。

We think this cool study we found is flawed. Help us reproduce it.
https://pudding.cool/2022/04/random/

2017年にスウェーデンのカトリンスカ研究所の研究チームが発表した論文によると、人間の行動の複雑さは25歳でピークに達し、60代に入ると衰えていく一方であることが明らかになっています。

Human Behavioral Complexity Peaks at Age 25
https://www.inverse.com/article/30295-human-behavioral-complexity-fast-random-decision

You are at your random best around age 25 | The Straits Times
https://www.straitstimes.com/singapore/you-are-at-your-random-best-around-age-25

研究チームは9～91歳の被験者を集め、ランダムアイテム生成タスク(RIG)を実行するように依頼。RIGは「実際にコインを投げた際のようにコインの表裏をランダムに選ぶ」や「実際にサイコロを投げた際のように出目をランダムに選ぶ」といったタスクで、主に認知能力を評価するためなどに用いられます。このRIGの結果を、「人間の行動の複雑さを推定するアルゴリズム」で分析することで、「被験者がどれだけランダムにコインの表裏やサイコロの出目を選んだか」が評価されました。

この結果、被験者のランダム性(選択の複雑さ)は25歳前後でピークとなることが判明。その後、60代までは高い水準を保つものの、以降はテストのスコアが低下していくことが明らかになっています。つまり、人間の行動の複雑さは25歳前後がピークであり、60代に入ると低下していくと研究チームは指摘しているわけです。

この研究ではどのようなテストを行うことで被験者の行動の複雑さを測定したのかが明らかになっていたため、ゴールデンバーグ氏は「逆にユーザーが行ったテストから、年齢を推測することはできないか？」と考え、簡単なテストからユーザーの年齢を推測するサイトを作成し、公開しています。

We think this cool study we found is flawed. Help us reproduce it.

サイトの使い方は簡単で、上記ページにアクセスして「Let's do it」をクリック。

最初に挑戦するのはコインの表(Heads)裏(Tails)を12回選択するというテスト。実際にコインを投げた際と同じように、コインの表裏がランダムに並ぶよう選ぶ必要があります。

続いて、サイコロの出目をランダムに10回選ぶというテストを実施。

最後は9つの点をランダムに10回選択するというテスト。

3つのテストを実施すると、「テストの結果、あなたは60歳以下と推定されました」と表示されました。その後、ユーザー側はスライドバーを調整して自身が何歳であるかを示すことが可能。

ゴールデンバーグ氏はRIGの結果から年齢を推測するサイトを公開した理由について、「多くの心理学研究が再現不可能であるため、人間の行動の複雑さに関する研究も疑わしいと考えたため」と説明しています。多くの心理学研究が再現不可能になっている理由について、ゴールデンバーグ氏は「研究者が下した決定」や「参加者が指示を誤解したケース」あるいは「参加者が意図的に実験を失敗させようとしたケース」が研究結果をねじ曲げるフィルターとなった可能性を挙げています。例えばサイコロの出目に関するテストの場合、10回の出目選択ですべて同じ数字を入力するのは「参加者が意図的に実験を失敗させようとしたケース」に該当します。

ゴールデンバーグ氏のサイトでテストを実施したユーザーの、コインの表(H)裏(T)をランダムに選ぶテストの結果が以下の通り。グラフの縦軸が選択の複雑さ(ランダム性)を示しており、横軸が年齢を示しています。青色の線は年齢ごとの平均スコアを示しており、スコアのピーク、つまりは選択の複雑さが最も高いのは30歳前後となっています。

ただし、この中から研究結果をねじ曲げるフィルターとなる「参加者が意図的に実験を失敗させようとしたケース」を削除したところ、年齢ごとの平均スコアが低下することはなくなりました。

ゴールデンバーグ氏のサイト上で実施できる3つのテストすべてを分析した結果が以下のグラフ。年齢ごとの平均スコアが青線で示されており、元の論文であったような「人間の行動の複雑さは25歳でピークに達する」という結果は得られていません。なお、記事作成時点では2万9025人がテストに参加したと記されています。

ここからさらに「参加者が意図的に実験を失敗させようとしたケース」を除外した場合の平均スコアが以下の通り。

ゴールデンバーグ氏は「私の仮説は『参加者が意図的に実験を失敗させようとしたケース』を除外した場合、スコアは一定になるというものです。我々が正しければ年齢と選択のランダム性の間にある相関関係を裏付ける証拠はありません」と、元の研究の結論はねじ曲げられたものであると指摘。さらに、テストに参加する人が多くなればなるほどより正しい結果が出てくることになるため、「特に60歳以上の人々にテストに参加してもらいたいです」と記しています。