p값이 0.05보다 작으면 가설이 맞을 확률이 95%라는 거 사실임?
졸업논문 결과 쓰다가 동기가 p<.05면 내 가설이 95% 확률로 맞다는 뜻이라고 함. 이 말 사실인지 확인 부탁함.
졸업논문 결과 쓰다가 동기가 p<.05면 내 가설이 95% 확률로 맞다는 뜻이라고 함. 이 말 사실인지 확인 부탁함.
$p$값은 귀무가설이 참일 때 해당 데이터가 나올 확률일 뿐, 내 가설이 맞을 확률이 95%라는 것은 통계학의 대표적인 오개념입니다.
동기분의 설명은 통계학에서 가장 흔하게 발생하는 **'역확률의 오류'**입니다.
$p$값은 **"귀무가설(영가설: 효과나 차이가 없다는 가설)이 참이라는 전제하에, 현재 관측된 결과(또는 그보다 극단적인 결과)가 우연히 나타날 확률"**입니다.
조건부 확률 기호로 표현하면 다음과 같습니다.
둘은 조건과 결과가 완전히 뒤바뀐 별개의 개념입니다.
$p < .05$의 학술적 의미는 다음과 같습니다.
"만약 실제로 아무런 효과가 없는데도(귀무가설 참), 순전히 우연에 의해 지금과 같은 데이터가 관찰될 확률이 5% 미만으로 매우 희박하다."
따라서 연구자는 "우연으로 치부하기에는 너무 드문 일이 발생했으므로, 효과가 없다는 가설을 기각하고 내 가설(대립가설)을 채택하겠다"고 통계적 의사결정을 내리는 것입니다. '가설이 참일 확률' 자체를 계산한 것이 아닙니다.
가설 자체가 맞을 확률(사후 확률)을 구하려면 베이즈 통계학(Bayesian statistics) 관점에서 사전 확률 등을 종합해 계산해야 하며, 일반적인 빈도주의 통계의 $p$값으로는 이를 절대 알 수 없습니다.
졸업논문 결과나 토의(Discussion) 부분에 "가설이 95% 확률로 맞다"고 기술하면 심사위원의 지적을 받을 수 있습니다.
대신 다음과 같이 표준적인 학술 표현을 사용하는 것이 안전합니다.
p<.05는 내 가설이 95% 확률로 맞다는 뜻이 아니라, 귀무가설 아래에서 자료가 얼마나 이례적인지를 나타냅니다.
동기의 설명은 흔하지만 잘못된 해석입니다.
귀무가설은 보통 ‘차이가 없다’ 또는 ‘관련이 없다’는 가설입니다. p값은 귀무가설과 검정의 통계적 가정이 참일 때, 관측한 검정통계량만큼 또는 그보다 더 극단적인 결과가 나올 확률입니다.
예를 들어 p=.03이라면, 귀무가설 아래에서 지금 결과만큼 또는 더 극단적인 결과가 나올 확률이 3%라는 뜻입니다. 다음을 뜻하지는 않습니다.
핵심은 ‘가설이 참일 때 자료가 나올 확률’과 ‘자료를 봤을 때 가설이 참일 확률’은 다르다는 점입니다. 후자를 계산하려면 가설에 대한 사전확률 등을 포함하는 베이즈 분석이 필요합니다.
“분석 결과, 두 변수의 관련성은 통계적으로 유의하였다(p=.032).”
이는 해당 검정이 관련성을 평가했고, 사전에 정한 유의수준이 .05인 경우의 예시입니다. 효과크기(차이·관련성의 크기)와 신뢰구간(추정의 불확실성을 나타내는 구간)도 함께 보고하세요.
또한 유의수준 .05는, 귀무가설이 참인 상황에서 같은 검정 절차를 반복하면 잘못 기각하는 비율을 5%로 통제한다는 기준이지, 이번 결론이 틀릴 확률이 5%라는 보장은 아닙니다.
p<.05는 가설이 95% 확률로 맞다는 뜻이 아니며, 이는 p값에 대한 대표적인 오해다.
p값의 정의는 다음과 같습니다.
귀무가설(효과가 없다는 가설)이 참이라고 가정할 때, 지금 얻은 데이터 또는 그보다 극단적인 데이터가 나올 확률
즉 p값은 *P(데이터 | 귀무가설)*입니다. 동기분이 말한 "내 가설이 맞을 확률"은 *P(가설 | 데이터)*로, 조건의 방향이 반대인 전혀 다른 값입니다. p값만으로는 후자를 계산할 수 없습니다.
가설이 맞을 확률을 구하려면 베이즈 정리(Bayes' theorem)에 따라 사전확률, 즉 데이터를 보기 전에 가설이 맞을 가능성이 필요합니다. 예를 들어 검증하는 가설이 원래 가능성이 매우 낮은 것이라면, p=.03이 나와도 그 가설이 참일 확률은 여전히 낮을 수 있습니다. 연구에 따라서는 p≈.05 근처의 결과에서 거짓 양성(false positive) 위험이 5%보다 훨씬 높다는 분석도 있습니다.
p값은 가급적 정확한 값으로 보고하고, 효과크기와 신뢰구간을 함께 제시하면 좋습니다. 이 해석은 미국통계학회(ASA)가 2016년에 낸 p값 성명서에서도 강조된 내용이니 근거로 참고하셔도 됩니다.