신경 쓰이는 잡다한 이야기

얼마 전, 학교 전산실에서 "통계 표본크기 산출" 주제의 세미나를 듣고 왔다.

???: "요즘 high IF journal에 논문 섭미션할때 그냥 p-value만 들이대면 리뷰오고 통계로 까이고 그러면 리젝받고. 그러면서도 리뷰어에게 허벌나게 치욕적 비난받고 낮은 IF 저널에 냅니다. 온코타겟을 살"(...)

결국 관건은, 통계 검정력을 위한 표본 숫자를 정확하게 계산해서 제시해야 논문 피어 리뷰어도 납득할거라는 얘기인듯 하다. 최근 들어 의학 및 심리학 논문들에서 재현성 위기 (https://en.wikipedia.org/wiki/Replication_crisis) 때문에 엄청 난리였는데, 잘못된 통계 검증 때문에 연구 자체의 유의성이 잘못 설정되어 실제로 그 연구들을 다시 수행해 보았을 경우 재현성이 나오지 않는 경우가 엄청 많았다고 한다. 특히 생물학의 경우 조사 대상의 약 80% 가까이 다른 논문의 방법을 따라했을 경우 결과 재현에 실패한 경험이 있고, 약 60%의 연구자는 심지어 본인의 실험 재현에도 실패한 적이 있다고 하더라(...).

그 이유로 생각해볼 만한 것이, 통계적 연관성이 인과성을 대표하지 않기 때문에 외부 조건에 따라 다른 결과가 나올 경우도 있겠지만, 많은 경우 통계적 계산을 잘못 적용하거나 너무 약한 통계검정을 사용하여 잘못된 통계치를 근거로 유의성을 주장했기 때문인 것으로 보인다.

그래서 요즘같은 경우에는 p-value (귀무가설이 참일 경우에도 이를 기각하는 결과가 나타날 확률) 만으로는 부족하고, 통계적 검정력 및 그에 입각한 표본 갯수 설정 과정도 요구하는 저널이 많아지고 있다. 앞으로 이에 대해 많이 공부해야 할듯 하다.

[Sample size 결정을 위한 effect size 결정]

Cohen's d : 표준화된 효과크기=실제 효과크기/표준편차

＜0.4: 작은 효과크기

0.4-0.7: 중간 효과크기

＞0.7: 큰 효과크기

여기서 G-Power 라는 프로그램이 실험군당 표본 수 결정을 계산하는 데 도움이 된다고 한다. (https://en.wikipedia.org/wiki/G*Power)

참고:

https://cs.kaist.ac.kr/colloquium/files/20161031.pdf

김상환(사회) : 오세정 선생님 말씀에 이어서 지금부터는 질문과 토론 시간, 한 시간 정도의 여유를 가지고 질문과 토론 시간을 갖도록 하겠습니다. 시작하기 전에 지정 토론자로 모신 두 선생님을 소개해드리겠습니다. 먼저 홍성욱 교수님 올라와 계신데요. 서울대학교를 졸업하시고 동 대학원에서 과학사 및 과학철학 협동과정에서 박사학위를 하셨습니다. 현재는 서울대학교 생명과학부 교수를 맡고 계십니다. 그 옆에는 정하웅 선생님 올라와 계십니다. 서울대학교 물리학과를 졸업하시고 대학원에서 석사, 박사를 다 이수하셨는데요. 현재는 한국과학기술원 물리학과 KAIST-지정석좌교수님으로 계십니다. ‘복잡계 네트워크’라는 새로운 연구 분야를 개척하시는 젊은 과학자이십니다.

홍성욱 : 우리나라에 지난 몇 년 동안 기초과학에 대한 지원이 퍼센티지로 봤을 때 상당히 증가를 했습니다. 그 중에 상당부분은 기초과학 그 자체에 대한 지원이기보다는 기초연구에 원천연구라는 것을 더해서 그 둘을 기초과학에 대한 지원의 카테고리로 묶어버린 측면이 있습니다. 원천연구의 상당 부분은 그 전에 응용연구라고 분류가 되던 그런 부분을 가지고 온 겁니다. 퍼센티지로는, 예를 들어서 30%에서 50% 정도 증가를 했는데, 실질적인 내용상의 증가는 없습니다. 숫자놀음 비슷한 상태였고요. 문제 중의 하나는 리서치는 리서치대로, 개발연구는 개발연구대로 그냥 둘 수만은 없는 상황입니다.

정하웅 : 저는 아주 그냥 쉬운, 그러니까 일반인들이 생각하는 그리고 오늘 주제가 과학과 문화인데 과학에 대해서만 너무 치중된 것 같아서 문화에 대한 얘기를 조금 더 드리려고 합니다. ‘열린연단 : 문화의 안과 밖’ 홈페이지 가보시면 알겠지만 이 열린연단의 목적이 우리 문화를 체계적으로 조망하고 토론한다라고 되어있습니다. 문화의 정의는 학문, 문화, 예술, 여론 등을 포함하는 상황의 전체적인 지표라고 되어있습니다. 그래서 이러한 주제에 대한 객관적이고 엄밀한 검토를 하려고 한다라고 하는 게 주제입니다. 정의를 해야겠는데 제 짧은 지식으로 정의를 하는 건 아닌 거 같아서 그리고 문과 분들의 특성을 따르기 위해서 여기 문과 분들이 많이 계시니까요. 문과 분들의 방식을 따라보겠습니다.

위는 앨런 소칼의 소위 '지적 사기 사건'에 대해 작가 클리포드 골드스타인이 설명해주는 동영상이다.

90년대 초중반, 과학지식에 대한 포스트모던적 사회구성주의가 철학계에서 유행하여 인지의 불완전함에 따르는 지식의 상대성을 앞세워 과학 지식 또한 사회적 구성에 따른 상대적 지식이라는 주장이 대두되어 현실의 객관적 실체를 인정하는 실재론자들 및 방법론적 자연주의를 따르는 과학자들과의 논쟁이 점점 격해지고 있었다.

당시 포스트모던 사회구성주의 철학 저널인 [Social Text]에서 과감하게 피어 리뷰를 생략하고 이 주제를 다룬 "과학 전쟁" 특별편을 준비하고 있었는데, 거기에 앨런 소칼이 포스트모더니즘적인 용어를 사용해서 포스트모더니즘을 편들어주는 척 아무말 대잔치를 해놓은 가짜논문을 제출해서 게재된 뒤, [Lingua Franca]라는 다른 저널에서 이를 폭로한다.