「性別を伏せて審査を行うと女性の合格率が50％も増加する」という説は大ウソだという指摘

By Pexels

2000年に発表された「演奏者と審査員の間にスクリーンを置いて、演奏者の性別をわからなくしてからオーケストラの入団審査を行ったところ、女性の合格率が50％も増加した」という論文について、デンマークでデータサイエンティストとして活躍しているJonatan Pallesen氏が「信頼に値しない研究」だと解説しています。

jsmp: Blind auditions and gender discrimination
https://jsmp.dk/posts/2019-05-12-blindauditions/

ブラインド・オーディションに関する問題の論文は、アメリカ経済学会が刊行している月刊の学術誌「アメリカン・エコノミック・レビュー」に2000年に掲載されたもの。

American Economic Association
https://www.aeaweb.org/articles?id=10.1257/aer.90.4.715

Google Scholar上でこの論文の引用件数は1500回を超えており、その後の研究に大きなインパクトを与えたことがわかります。また、学術界だけでなく報道においてもその影響は大きく、The GuardianやTimes、Forbesなどの大手新聞社がこの論文を大々的に報じました。

How blind auditions help orchestras to eliminate gender bias | Women in Leadership | The Guardian
https://www.theguardian.com/women-in-leadership/2013/oct/14/blind-auditions-orchestras-gender-bias

しかし、この論文で行われた調査はかなりずさんで、各紙が報じているような結論を導き出すことは難しいというのがPallesen氏の主張です。論文中で「表4」として挙げられている、ブラインド・オーディションと通常のオーディションの男女の合格率を比較した実験結果が以下。左端の列の「Round」における、「Preliminaries,without semifinals」「Preliminaries,with semifinals」「Semifinals」「Finals」はそれぞれ「準決勝がないトーナメントでの予選」「準決勝ありのトーナメントでの予選」「準決勝」「決勝」を意味します。「All rounds」は全体の結果、「Blind Rounds」は演奏者と審査員の間にスクリーンを置いて性別をわからなくしたブラインド・オーディションの結果、「Not-Blind Rounds」は通常通り演奏者の性別がわかるようにして行われた通常のオーディションの結果です。「-0.032」など書かれている数値は、「(ラウンドを勝ち抜いた女性の割合)-(ラウンドを勝ち抜いた男性の割合)」を示す数字。この数値が正の大きい値ならば女性が多く合格したということで、負の大きい値ならば男性が多く合格したということ。ゼロに近ければ男女がほぼ同数だったことを意味します。

各ラウンドごとの結果に着目すると、Blind roundsの値はNot-Blind roundsの値に比べて負の大きい値となっており、むしろブラインド・オーディションによって男性の合格率が増加したことが示されています。

元の論文は上記の結果が観察研究だとして、「同じ人を『ブラインド・オーディション』『通常のオーディション』で審査した実験」を主題として論じています。その実験の結果が以下の表5。

左側の列には「Woman」「Men」と表記があり、対応する行に女性の合格者数と男性の合格者比率(Proportion advanced)と参加者数(Number of person-rounds)が記されています。「Preliminaries,without semifinals」など、予選、準決勝、決勝ごとに結果を記しているのは先ほどと同様です。「“Hire”」はオーディションを最後まで勝ち抜いた人を示しています。

しかし、Pallesen氏はこの表も役に立たないと一蹴して、その理由を3つ挙げました。

◆1：準決勝の結果では、通常オーディション(Not blind)の合格者率がブラインド・オーディション(Blind)の合格者率よりも良い点。
◆2：数値に大きな標準誤差があり、統計的に有意とはいえない点。
◆3：ラウンドごとに実験を行ったオーケストラの数は異なるが、多くても3楽団と、サンプル数がかなり少数である点。

また、論文は、回帰分析を用いて対照群との比較も行っています。

この比較に関しても、Pallesen氏は「数値や標準誤差の変動が大きく、ブラインド・オーディションで準決勝を勝ち抜いた男性の割合が高く、さらにP値も有意とはいえない」と述べ、「この表には重要な結果がない」とコメントしています。また、著者たち自身も論文の中で、「標準誤差が大きく統計的に有意ではない」と認めているとのこと。

この論文は結論において「いくつかの実験結果において、得られたデータは有意なものといえませんでした。さらに付け加えるならば、むしろ逆の事実を示した結果もあります」と前置きした後に、「ブラインド・テストによって女性が予選を勝ち抜く率が50％上昇したオーディションや、決勝を勝ち抜く率は数倍になったオーディションもありました」と記しています。Pallesen氏は、報道機関各社はこの前置き部分を見落としていると指摘しています。