未来予測コミュニティ「サモツヴェティ」はどうやって精度の高い未来予測を発信しているのか？

予測困難な未来を確率で占う「スーパーフォアキャスティング」という学問分野があります。歴史的傾向や数学的・統計的モデル、AIトレーニング、死亡リスクの尺度として用いられるマイクロモートなど、さまざまな専門領域やアプローチで未来を分析して予測する学問であり、特に分野を問わず未来を予測する能力に優れた人物を「スーパーフォアキャスター」と呼称します。フォアキャスターとして未来予測を行うグループ「サモツヴェティ」は、専門的な研究を行うチームではないにもかかわらずさまざまな分野で高い的中率を誇っており、そんなサモツヴェティの謎についてオンラインメディアのVoxが解説しています。

How do you predict the future? Ask Samotsvety. - Vox
https://www.vox.com/future-perfect/2024/2/13/24070864/samotsvety-forecasting-superforecasters-tetlock

スーパーフォアキャスティングとは、カナダ人研究者のフィリップ・E・テトロック氏が2015年に出版した著書「Superforecasting: The Art and Science of Prediction」で示したことで広く知られるようになった概念で、政府が未来予測に優れたスーパーフォアキャスターの考えをよりよい政策判断の参考にするケースもあります。また、予測の難しい未来のシナリオを発表してその正確さを競い合う「フォアキャスティング・コンペティション」という大会も開催されています。

そのフォアキャスティング・コンペティションで2020年、2021年と優勝を飾り、2022年度もロシアによるウクライナ侵攻の可能性に約1万4000ドル(約200万円)を賭けて3万2000ドル(約440万円)を勝ち取ったのがフォアキャスターグループのサモツヴェティです。サモツヴェティは、1971年にモスクワで結成されたソビエトのバンド「サモツヴェティ」に由来した名前で、主にコミュニケーションツールのSlackでミーティングをしています。

Voxの上級編集者であるディラン・マシューズ氏は、とある土曜日にSlackで行われたサモツヴェティの会議に参加した経験を述べています。その日の議題は「中国が2030年までに台湾の領土の少なくとも半分を支配する可能性はどれくらいか」という内容。エール大学の経済学研究員のチンメイ・インガラガビ氏は「8％」と答え、会議を主導していたスペイン人の独立研究者兼コンサルタントであるヌーニョ・センペレ氏もこれに同意。シカゴ大学で経営学修士を取得する学生は「17％」と予測し、神経科学の博士号を持つ研究者は「15～20％」、匿名の中国人メンバーは最も高い「24％」と予測しました。

マシューズ氏によると、サモツヴェティの会議に参加していたのはさまざまなジャンルの研究者や専門家たちであり、必ずしも議題に対して専門知識があるわけではなかったとのこと。しかし、2022年5月に発表された研究(PDFファイル)では、「未来の予測を行う際には、専門家の意見を集約したものよりも、非専門家の意見を集約した方がよりよい将来のガイドになる」ということが示されていたり、「地政学的な出来事に対する予測は、政府の機密情報にアクセスできるグループよりも、標準的な手法で集計するグループの方が真実に近い予測を立てられる」という論文(PDFファイル)がしばしば引用されたりと、正確な未来予測には専門知識は必要ないという考えもあります。

マシューズ氏が参加した議論も含め、サモツヴェティが優れた予測を出す場合には、他の人にあまり知られていない事実を根拠にしていることはほとんどありません。それでも他の研究者やグループと比べて正確性の高い予測を出せる理由について、サモツヴェティの共同創設者であるミーシャ・ヤグディン氏は、「サモツヴェティという名前は、宝石だが宝石ではない半貴石、あるいは『自己発光/着色』する石を意味します。これは、予測とは『良い情報の塊を見つけること』だと意味する名前です。たとえ私たちがダイアモンドではなかったとしても、自己をうまく光らせることで、未来に光を当てる偉大な存在になれます」とグループの由来を絡めて語っています。

サモツヴェティのメンバーの何人かは、予測能力が優れていたため、グループに入るよう招待を受けています。政府関連組織で予測をしていたモリー・ヒックマン氏は、父親や友人たちとチームを組み、未来予測の精度を競うInferに挑んでいました。チーム自体は良い成績ではなかったものの、個人としては優秀な成績を収めていたヒックマン氏は、サモツヴェティから参加の招待が送られました。また、主にAIの進歩に関して予測に取り組むエリ・ライフランド氏は、新型コロナウイルスの感染者数がまだ低く見積もられていた頃に、感染者の爆発的な広がりを予測しました。新型コロナウイルスに関連するトピックは日々急速に変化していたため、さまざまな事項が重要な予測の対象となり、ライフランド氏はその多くで高い精度の予測を成功させました。やがて、サモツヴェティからコンタクトがあったそうです。

しかし、サモツヴェティは「単純に予測に優れた人を集めたグループ」というだけではありません。サモツヴェティの議論が優れている理由として、マシューズ氏はまず「定量的推論」を挙げています。「ある程度ありそう」「かなりありそうにない」といった指標は、個別的な予測については理解しやすいものになりますが、議論においては定量的に比較検討ができません。そのため、サモツヴェティではコンピューターサイエンスや経済学、数学などに基づいて、具体的な数字で議論できるように努めているとマシューズ氏は指摘しています。ヒックマン氏によると、定量的な予測をしていない場合にも暗黙的にある程度の計算はしており、それを明確化することで、実のある議論になるとのこと。

また、サモツヴェティは「基本レート」というものに注意を置いています。基本レートとは、例えばMLBのワールドシリーズでニューヨークヤンキースが優勝する可能性を予測する場合に、これまでのワールドシリーズ119回のうちヤンキースが27回優勝していることから、「22.7％」と計算するもの。実際にはこれに現在のチーム状況や近年の傾向などを交えて正確な予測を目指しますが、サモツヴェティでは基本レートを「高く算出される数値」と見なしており、実際はそれより大きく下回るものと予測することが多くなっています。マシューズ氏が参加した議論において、マシューズ氏は「起こる可能性がある程度高いと論拠を持っている場合でも、全体的に数値は低く見積もられている」と感じたそうですが、その原因は基本レートの処理にあるとのこと。

そのほか、アメリカに拠点を置くシンクタンク・ランド研究所のCEOであるジェイソン・マセニー氏は、サモツヴェティの議論が優れたものである理由について語っています。サモツヴェティは何らかのトピックに関して予測する議論を実施していますが、その熱心さは予測の正確性だけではなく、自分たちの予測の正確性をどう採点するかについてにも強く向けられています。マセニー氏もランド研究所に入る前は、政府機関の職員として予測に関する作業に資金提供をしていましたが、その時の経験と比較してもサモツヴェティの姿勢は珍しいことであるそうです。

未来予測はあくまで確率の予測にすぎず、明確な証拠を示すものではありません。しかし、正確な未来予測を目指すことなく、無軌道に政策やビジネス上の決定を行うことは「悲しいほど恥ずべきこと」とマセニー氏は述べています。マセニー氏は「分析を行うほとんどの機関で使われている手法は、十分に評価されていると思われているかもしれません。しかし、数億円、あるいは数兆円かそれ以上にコストをかけている重要な国家安全保障の決定をする組織であっても、その評価は実際にうまく行われていません」と指摘した上で、より優れた予測を目指す努力の重要さを主張しています。