Simons et al.（2017）「一般化の制約（COG）」

Simons, Daniel J., Yuichi Shoda, and D. Stephen Lindsay. 2017. "Constraints on Generality: A Proposed Addition to All Empirical Papers." Perspectives on Psychological Science 12(6): 1123-28.

前に読んだ論文で引用されていたので、その関連で。

提案：実証研究を扱うすべての論文は考察の節に、「一般化の制約」（Constraints of Generality: COG）について述べ、示した知見が対象とする母集団を明確に特定し正当化するべきである。

実証的な論文の方法の節ではすでに用いるサンプルと手続きについては述べられているが、これらはCOGとして述べる内容とは異なる。方法の節で述べられるのは手元にある（proximal）集団、すなわち研究で差し当たって用いられるサンプルである。COGは意図する母集団と、サンプルに代表性があると考える根拠を特定するものである。

現在の出版モデルでは、著者は可能な限りもっとも強い一般化を行うことにインセンティヴがある。ではなぜ著者は自らの主張に制約をくわえるべきなのか。
第一に、複製（replication）の問題が強調されるようになってきたことなどで、一般化可能性を誇張した論文を出版することによる評判へのダメージはより大きくなっている。
第二に、COGを述べることで他の研究者が自分の知見を複製できる可能性が増す。つまり、自分の研究で想定した母集団から正確にサンプリングを行うことができる。また、自らの結果の不確実性について付記しておくことで、他の研究者は主張のうちどれが暫定的なものであるかを認識できる。
第三に、COGを述べることで、自らの研究では検証しなかった別の集団における一般化可能性を検証するような追跡研究を動機づけるかもしれない。

COGの記述は、直接の複製が可能であるためには参加者、資料、手続きのどの側面が維持されなければならないかを明らかにするものである。COGのとしての述べるものは包括的なリストにはなりえないが、以下の原則を提案する。
- （1）常識に基づいてすべての読者に明らかであるものを除き（たとえば聴覚弁別の研究において聴力を境界条件として特定する必要はないだろう）、既知の実証的・理論的な境界条件を含めるべきである。
- （2）その研究に実質的に結びついている境界条件については、たとえそれらによる制約が直接的な実証的・理論的な支持を欠いているとしても述べるべきである。たとえば、選挙の直前に実施された政党所属に関する研究は、結果がその時の政治情勢に左右されるかもしれないことを述べるべきである。
- （3）ある分野において専門家が重要だと考えうる（既知・未知の）要因は、たとえそれらが一般化可能性を制約することが検証されていなかったとしても、言及すべきである。たとえば、言語におけるジェンダー・マーカーを操作する研究は、ジェンダー・マーカーのない言語の話者に対しては結果を一般化できないと予想するのは理に適っているだろう。たとえ同様の概念的問いがそうした言語において有意義であったとしてもである。
- （4）その他の要因はリストアップする必要はない。COGの既知のあるいは予想される知見の限界を記述するものであり、「未知の未知」（unknown unknowns）による媒介を記述するものではないことを明確にするために、以下の19語の決まり文句を含めることを勧める。「結果が参加者、資料、または文脈の他の特徴に依存すると考える根拠はない」（We have no reason to believe that the results depend on other characteristics of the participants, materials, or context.）。
対象とする母集団と制約を特定する際に、COGの記述はこれらの原則と、また自らの研究の以下の側面を考慮すべきである。
- 参加者：手元の参加者のサンプルが、より広い対象とした母集団を代表しているかどうかを議論する。
- 資料／刺激：自らの知見が一般化されるべき資料／刺激の集合を定義する。
- 手続き：観察された効果を密接に再現するためには、自ら実施した手続きのどの面を守らなければいけないか。どのようなより広い手続きの集合が同様の結果を生み出すか。
- 歴史的・時間的な特異性：観察された効果は時間によって変化する文化的規範に依存するか。