경제학·정치학 논문 85% 이상 재현 가능…강건성은 72%만 입증

국제 학술지 네이처에 발표된 대규모 연구에 따르면, 경제학과 정치학 분야의 주요 학술지에 게재된 논문들의 재현 가능성이 생각보다 높은 것으로 나타났다. 연구팀이 데이터와 코드 공유 정책을 의무화한 경제학 및 정치학 분야의 주요 저널에 게재된 110개 논문을 대상으로 계산 재현(computational reproduction)을 수행한 결과, 85% 이상의 발표된 주장이 계산적으로 재현 가능했다는 것이다. 이는 과학 연구의 신뢰성과 축적성을 강화하기 위한 재현성 노력이 실제로 효과를 발휘하고 있음을 시사한다.

다만 재현성만큼 중요한 강건성(robustness) 측면에서는 개선의 여지가 있는 것으로 드러났다. 연구팀이 수행한 강건성 검사에서 통계적으로 유의미한 추정값의 72%만이 유의미성을 유지하고 같은 방향성을 보였다. 이는 원본 연구의 결과가 분석 방법이나 가정의 변화에 얼마나 민감한지를 나타내는 지표로, 상당수의 연구 결과가 특정한 분석 조건에 크게 의존하고 있을 수 있음을 의미한다. 다행스럽게도 재현된 효과 크기(effect size)의 중앙값은 원래 발표된 효과 크기의 99%에 해당해, 수치적으로는 상당한 일관성을 유지하고 있었다.

이번 연구는 단순한 재현성 검증을 넘어 강건성의 결정 요인을 심층적으로 분석했다. 6개의 독립적인 연구팀이 강건성의 결정 요인에 대해 사전에 지정된 12개의 가설을 검토한 결과, 흥미로운 발견이 나왔다. 연구 경험이 많은 팀들이 오히려 더 낮은 강건성 수준을 발견했다는 점이다. 이는 경험 많은 연구자들이 더 정교한 분석 방법을 적용하거나, 더 엄격한 기준으로 강건성을 평가했을 가능성을 시사한다. 반면 강건성은 저자의 특성이나 데이터 가용성과는 상관관계를 보이지 않았다.

이번 대규모 재현성 연구의 결과는 사회과학 분야의 신뢰성 강화에 중요한 함의를 갖는다. 85% 이상의 높은 재현 가능성은 데이터와 코드 공유 정책이 학술 투명성을 크게 향상시켰음을 보여준다. 동시에 72%의 강건성 수준은 개별 연구 결과를 해석할 때 더욱 신중해야 함을 경고한다. 특히 정책 결정 과정에서 단일 연구 결과를 절대적 근거로 삼기보다는, 여러 분석 방법과 데이터로 검증된 결과를 우선시해야 한다는 점을 강조한다.

학술 공동체와 정책 입안자들은 이번 연구 결과를 바탕으로 더욱 견고한 과학 기반 의사결정 체계를 구축해야 할 것으로 보인다. 재현성 노력의 중요성과 가시성을 높이고, 강건성 검사를 표준 관행으로 정착시키는 것이 필요하다. 또한 데이터와 코드의 공개가 학술 신뢰성 향상에 실질적으로 기여한다는 점을 감안할 때, 더 많은 학술지와 분야에서 이러한 정책을 의무화하는 확대가 권장된다. 과학의 자기 수정 능력을 강화하고 정책 결정의 근거를 더욱 견고히 하기 위한 이러한 노력은 사회과학의 신뢰성과 영향력을 동시에 높일 수 있는 길이 될 것이다.