Gerber, Alan S. and Neil Malhotra. 2008. "Publication Bias in Empirical Sociological Research: Do Arbitrary Significance Levels Distort Published Results?." Sociological Methods & Research 37:3-30.
社会学分野の論文において、publication biasが生まれているかどうかを検証している論文です。publication biasとは、論文出版の慣習によって、パラメータの推定結果にバイアスが生まれてしまうこと、として定義されています。
具体的に、publication biasが生まれる理由として、著者たちはいくつか理由を挙げています。（1)査読者が統計的に有意な結果をより好み、閾値に届かない結果をリジェクトすること、（2）研究者が統計的に有意な結果だけを選んで投稿すること、（3）恣意的に設定された有意水準によって、研究者が異なるモデルの特定化を行ったり、異なる下位集団への分析を適用したりすることで、有意水準を下回る結果を得ること、などです。
著者たちは、American Sociological Review, American Journal of Sociology, The Sociological Quarterlyの3誌から、319記事をデータとして、結果として得られているパラメータ推定値の統計量の傾向などについて検討をしています。
Gerber and Malhotra (2008: 17)
例えばFigure 1では、z値の分布が、両側検定で5%水準である1.96のところで大幅に増加しています。著者たちはこれをpublication biasが実際に起きている証拠として見なしています。
Discussionでは、publication biasを減らす方法の提案も行われています。現在ではデータの公開も進み、結果の追検証が行われることもあるものの、ad hocでありがちであり、というのも個々人の論争好きな研究者の手によって行われているのが問題があるとしています。よりよい仕組みは、ジャーナルのそれぞれの号において、1つか2つの記事をランダムに選び、ジャーナルとして監査を行うことだと提案されています。有用なコメントは次の号に掲載されるようにすれば、チェックする側の研究者にとってもインセンティヴになるという利点が挙げられています。
