Mustillo et al. (2018) "Editors’ Comment: A Few Guidelines for Quantitative Submissions"

 

Mustillo, Sarah A., Omar A. Lizardo, and Rory M. McVeigh. 2018. "Editors’ Comment: A Few Guidelines for Quantitative Submissions." American Sociological Review 83(6): 1281-3.

 

  • 著者たちの3年間のASR編集委員としての経験から、計量分析による論文を投稿する際のガイドラインを示したもの

 

  • (1)p値および、片側・両側検定
    • 再現可能性という観点から、p値の閾値は0.05以下であるべきという議論や、p値・帰無仮説の検定自体を撤廃すべきという議論がある。
    • これらの議論に対しての立ち位置は示さないものの、10%水準のp値と片側検定は、正当化可能なごく一部の状況を除いて使用すべきではない。多くの論文が10%水準のp値を、仮説の「方向性」や、「示唆的な」知見として示しているものの、どちらもASRというトップジャーナルには不適切である。

 

  • (2)媒介効果の検定
    • 媒介効果の推定を行っている論文は多くあり、それらは最初のモデルにおいて中心変数+統制変数を投入し、二番目のモデルにおいて媒介変数を投入している。
    • そしてもし二番目のモデルにおいて中心変数の係数が縮小するか、非有意となれば主効果が媒介されているとみなされる。
    • この方法には問題があり、係数の大きさの差の検定が行われていないことがとりわけ挙げられる。Gelman and Stern(2006)が述べるように、有意な変数と非有意な変数の係数の差は有意であるとは限らないのである。
    • Sobel(1986)に基づいた検定を行っている投稿もあり、これは適切な方向である。Sobelの検定を改良した方法が、様々な分野、様々な統計パッケージにおいて開発されている。ロジット・プロビットのような非線形モデルにおいては、モデル間の係数の大きさの差を見ただけでは媒介効果の存在を判断できないため、適切な手法を用いるべきである。

 

  • (3)カテゴリカル変数を従属変数としたモデルにおける交互作用
    • カテゴリカル変数を従属変数とした非線形モデルにおいて、交互作用を検定する際に、z値(と関連するp値)に問題があることが指摘されている。Allison(1999)やWilliams(2009)はグループ間の残差分散の問題を扱っており、他にMood(2010)やBreen and Karlson(2013)も繰り返し指摘している。
    • この問題はすでに解決済みである。つまり、非線形モデルにおける統計的な交互作用の存在を指摘する上で、交互作用項の係数を用いてはならない。

 

  • (4)"multivariate"と"multivariable"
    • 様々な分野でこの2つの単語は互換的に用いられているものの、両者は同じものを指すとは限らない。
    • "simple regression"は1つの独立変数と1つの従属変数を持つモデルである。"multiple regression"は複数の独立変数と1つの従属変数を持つモデルである。"multiple regression"の別の呼び方が"multivariable regression"である。
    • "multivatiate"とは、複数の従属変数を持つモデルを表す際に用いられる。たとえば、因子分析、構造方程式モデル、潜在成長曲線モデルなどである。これらの言葉が実際の論文で混同されていることから、区別は重要ではないという指摘もある。しかし、"multivariate statistics"が統計学の中で確立された分野であることを踏まえれば、正しい区別を行うことは重要である。

 

  • (5)測定
    • より多くの著者が測定の問題を真剣に捉えることが必要である。独立変数・従属変数がともに投稿者によってアドホックにつくられたものであることがよくある。単純で直接的な概念である場合はともかく、複雑な概念の場合には妥当な測定尺度を用いるべきである。
    • これより深刻ではないものの、確立された妥当性とは異なるやり方で尺度を用いている投稿論文もある。もし妥当な尺度が、1~4にコードされた12項目を足し合わせたものであれば、それ以外の方法を用いる正当性がない限りは、同様の手続きに従うべきである。少数の項目のみを取り出したり、コーディングのやり方を変えたり、足し合わせ方を変えたりする投稿がしばしばみられる。

 

  • (6)方法のセクション
    • 方法のセクションをよりよく構成し、手続きをより詳細に記述するべきである。データの収集の手続き、サンプルサイズ、欠損値、サンプルに誰を含め誰を除外するか、どのような種類のモデルがなぜ推定されるのか、調査の回答率、セレクションの効果、変数の測定方法などの詳細について、多くの投稿論文は十分ではない。時々、これらの情報がすべて含まれていても、方法のセクションに丁寧にまとまっているのではなく、方法と分析結果のセクションでばらばらに配置されていたり、補遺の中の曖昧なセクションに追いやられていたりすることがある。読者がもっともついていきやすい論文とは、方法のセクションが前工程の段階をしっかり記述しており、またデータ、変数、モデルを一元化して構成されたものである。