谷岡一郎『「社会調査」のウソ―リサーチ・リテラシーのすすめ』書評

リサーチ・リテラシーのすすめ 「社会調査」のウソ (文春新書)

本書では面白くかつ有益な事例をたくさん出して、どれほどいい加減なデータが世に出回っているかを示している。「ジャンクフードと非行には関連性がある」「畳の数が多い家ほど子供も多い」「コーヒーを多く飲む人は飲まない人に比べて、心臓病で死ぬ確率が三倍以上になる」などといった笑って済ますことのできるレベルのゴミ調査から、「国旗・国家法案の是非」「自衛隊は必要か」などといった硬いテーマにまつわるデータ操作に至るまで、周りはとんでもない情報操作のトリックに溢れているのである。

言うまでもなく、調査とは調査を行なう者のバイアスがどうしても避けられないものであり、その意味で完璧な調査などない。しかし、様々なバイアスをできる限り最小にして、より現実の形に近づいたものであればよしとするのが、社会調査論のルールである。そこで、他人が行った調査を使う際に必ずチェックすべきことがある。

◎何を目的とする調査か（主催者は誰か。仮説は何か）。
◎サンプル総数と有効回答数は何人か。どう抽出したか。
◎導き出された推論は妥当なものか。
（65〜66頁）

その他にもいろいろあるだろうが、以上は最低限確認すべき事項である。主催者が誰かによって、その調査以前からある特定の結果を導こうと意図していたかも知れない。また、仮説もないのにただ単に調査しただけのデータは、あとでなんとでも解釈をつけられるので信用はできない（後づけ論理）。調査の対象となった母集団が極端に少ないデータは、実はかなり多い。サンプルまたはサンプル総数がとてもある特定の母集団を代表しているとは言えないようなものもあるし、テーマによっては自分に都合のいい調査に対してのみ積極的に回答するという回答者側のバイアスも存在するかも知れない。さらに、データの中のマイナーな点にだけ注目して、最も明白な結果と矛盾するような結論を導き出しているような調査もゴミでしかない。

しかし、これほどゴミ調査が巷に溢れているとはいえ、論文を書くためにはデータは不可欠である。データのない論文は無価値とみなされる。

現代のように情報が飛びかうようになると、理論だけで論文が書けることは少なくなってしまった。何らかのデータがあり、それを分析したものを付加しなくてはならない時代になったのである。（25頁）

＜No data, (then) no paper（データがなければ論文はないと考えよ）＞という言葉がある。アメリカの、特に社会科学の分野の教授や先輩たちがよく口にする警句である。アメリカには、実証的根拠のない空虚な理論を経済政策や社会政策に採用したために、あたら公共財（税）を無駄に費やしてきたという、苦い経験がある。その反省から、これからは実証的裏付けのない、理論だけの論文はもうやめにしよう、大学院レヴェルでは特にそうすべきだ、ということになっている。論文を書くにはまず「データ」がなくては話にならない、ということである。（102頁）

とりわけ社会現象を対象にする社会科学は、明確な因果関係をみつけることは困難であるため、強い相関関係を見出すことを目的とすることになる。そうだとすれば、社会科学の方が自然科学よりもバイアスの生じる可能性は高いと考えるのが当然だろう。いくつもの変数がある一つの結果につながっているのならば、論者によって着目点は異なるだろうし、全く正反対の結論が出ることも稀ではない。社会科学においては、より一層リサーチ・リテラシーとデータ分析のモラルが要求されるだろう。

今後は情報を集める能力よりも、情報をかぎ分ける能力、いかに下らないデータを捨てることができるか、が必要とされる。

情報機器やシステムの進んだ現代では、他人より、より多くの情報を集めることを競っても意味がない。情報など、集めようと思えばいくらでも集められるからである。むしろ今後、必要となるのは、あふれるデータの中から真に必要なものをかぎ分ける能力、いわゆる「セレンディピティ（serendipity）」と呼ばれる能力であろう。（略）つまりデータをどう「捨てる」かである。（193頁）

巻末には読者のリサーチ・リテラシーをためすテストがついていて面白い。自分は大丈夫と思っていても、意外とバイアスに簡単に騙されているものである。