지난 10년간 국제 심리학계를 뒤흔든 재현위기 (reproductibility crisis) 요약 (1편)

2편: https://phdkim.net/board/free/40412
3편: https://phdkim.net/board/free/40430


사회심리학분야에서 부터 시작된 이 사건 (위기) 은, 사실 통계를 사용하는 모든 사회과학에 적용되고, 현재는 생물학 에도 전의되는등 과학전반에 의미하는 바가 커서 이곳에 요약해봄.

많은 연구자들이 알듯, 학계에는 publish or perish (논문을 내던가 소멸되던가) 라는 말이 있음. 이에 연구자들은 무슨짓을 해서라도 좋은 논문을 발표하기위해 노력함.

심리학, 특히 사회심리학계에서는 학자의 위상이 그의 기발한 주장 (extraordinary claim) 에 의해 결정되는 경우가 많음. 밀그람실험의 인간복종 (권위있는 인물이 시키면, 상대방이 죽을것 같아도 그 행위를 하게 된다는것을 증명한 실험) 에 관한것이 그 예임 (밀그람의 실험은, 이후 수십번의 재현에 성공함).
이러한 기발한 주장들이 데이터에 의해 증명되는 경우, 탑저널에 실리기가 쉬워지고, 자연히 학자 본인의 위상도 올라감.
이에, 학자들은 기발한 주장을 쏟아내기 시작하는데, 이사람들이 1절에 그치는게 아닌, 2절, 3절, 뇌절을 하기 시작함.

2010년, 한 학자 (Amy Cuddy) 가 권위적인 자세로 서있는 것만으로 테스토스테론이 분비되어 자신감이 생기고, 반대로 복종하는 자세를 취하는것은 코르티졸을 증가시켜 위축되게 만든다는 논문을 1티어 저널에 발표함 (이후, 하버드 교수가 됨).

그와 비슷한 시기에, 통계에 관심이 깊던 프린스턴대학원생 두명 Nelson 과 Simmons 가 만나서 친해짐. 이들은 뭔가 사회심리학계에서는 자꾸 황당한 (그렇지만 증명된) 주장을 계속 해대는것에 대해 의문을 품음. 이후, 이 듀오에 Simonsohn 이라는 젊은 학자까지 가세하게 되어 트리오가됨. 그렇게 그 셋이서 사회심리학을 은밀하게 모니터링 하던중, 2011년 뇌절의 끝판왕 논문이 사회심리학저널중 가장 권위있는 저널에 실림 (Journal of Personality and Social Psychology). 그 주장은 바로… 사람에게 미래를 예측할 수 있는 힘이 있다는, 과학계에서는 있을 수 없는 뇌절이었음 (1000명의 넘는 사람을 대상으로, 9개의 실험을 했는데, 하나도 빠짐없이 통계적 의미가 있었다고 보고함)

그렇게 2011년, 이 모든 crisis 의 시작을 알리는 논문이 이 세명의 젊은 학자로 부터 발표됨. 심리학자들이 쓰는 방법론 (questionable practice) 으로 하면, 그 어떤것도 통계적으로 유의미하게 증명할 수 있다는 주장이었음. 이 주장을 뒷받침하기 위해 비틀즈음악을 들으면 사람이 1년반 더 젊어진다는 말도안되는 주장을, 통계적으로 증명함ㅋㅋ. 데이터를 아예 조작하지 않는 다는 가정하에, 방법은 크게 두가지임.

첫째는, p-hacking : p value 를 0.05 이하로 떨어뜨리기 위해, 데이터 분석을 임의로 수정하는것 (ex., 내 실험에 참여한 성비가 7:3 인데, 성비를 5:5 로 바꾸니, 유의미해짐. 그러면 원래 참여한 사람이 5:5 였던 것처럼 바꿈. 또 원래는 control 하지않기로한 다른 변수들을 control 하면서, p가 유의미해질 covariate 들을 새로 만들어서 control 함).
둘째는, harking : 먼저 데이터를 분석한 이후에 가설을 새움 (데이터중, p<0.05 된 값을 찾아내서, 그것이 원래 가설이었던 것처럼 인트로를 씀).

자, 이제부터가 전쟁임. 이 트리오중 하나인 Simmons 가 한 분야 또는 한 학자의 논문들에 p-hacking 이 얼마나 있는지 알려주는 p-curve 라는 개념을, 사회심리학계의 최대 컨퍼런스에서 2012년에 발표함. 한 원로교수는 너무 빡친 나머지, 이 발표중에 일어나서 Simmons에게 소리를 지르기도 함. 그리고 이 원로학자와 메일로 토론을 하게되는데, Simonsohn (트리오중 다른 하나) 은 메일에 답이 오기도 전에 자신의 블로그에 내용을 올리고, 이학자도 p-hacking 을 한다고 공공연하게 폭로함.

그리고 여기서부터가 찐 전쟁인데, 이때부터 (자칭) "통계적 경찰" 들이 사방에서 나타나기 시작하고, 모든 심리학 컨퍼런스에 참여하며 문제를 제기하기 하고, 어떤이들은 선을 마구 넘기도 하며, 급기야는 p-hacking 을 증명하기 위해 데이터분석을 임의로 조작하는 null-hacking 도 시작됨.

그렇게 사회심리학계는 카오스 그 자체가됨. 그리고 이때가 2013, 2014쯤임…

2편 재현위기 그다음 이야기: https://phdkim.net/board/free/40412
3편 재현위기에 대한 해답: https://phdkim.net/board/free/40430