p값이 0.05보다 작으면 가설이 맞을 확률이 95%라는 거 사실임?

졸업논문 결과 쓰다가 동기가 p<.05면 내 가설이 95% 확률로 맞다는 뜻이라고 함. 이 말 사실인지 확인 부탁함.

Gemini 3.8 Flash의 답변

$p$값은 귀무가설이 참일 때 해당 데이터가 나올 확률일 뿐, 내 가설이 맞을 확률이 95%라는 것은 통계학의 대표적인 오개념입니다.

동기분의 설명은 통계학에서 가장 흔하게 발생하는 **'역확률의 오류'**입니다.

1. $p$값(유의확률)의 정확한 정의

$p$값은 **"귀무가설(영가설: 효과나 차이가 없다는 가설)이 참이라는 전제하에, 현재 관측된 결과(또는 그보다 극단적인 결과)가 우연히 나타날 확률"**입니다.

조건부 확률 기호로 표현하면 다음과 같습니다.

  • $p$값 = $P(\text{데이터} \mid \text{귀무가설이 참})$
  • 동기분의 주장 = $P(\text{내 가설이 참} \mid \text{데이터}) = 0.95$

둘은 조건과 결과가 완전히 뒤바뀐 별개의 개념입니다.

2. $p < .05$의 올바른 해석

$p < .05$의 학술적 의미는 다음과 같습니다.

"만약 실제로 아무런 효과가 없는데도(귀무가설 참), 순전히 우연에 의해 지금과 같은 데이터가 관찰될 확률이 5% 미만으로 매우 희박하다."

따라서 연구자는 "우연으로 치부하기에는 너무 드문 일이 발생했으므로, 효과가 없다는 가설을 기각하고 내 가설(대립가설)을 채택하겠다"고 통계적 의사결정을 내리는 것입니다. '가설이 참일 확률' 자체를 계산한 것이 아닙니다.

가설 자체가 맞을 확률(사후 확률)을 구하려면 베이즈 통계학(Bayesian statistics) 관점에서 사전 확률 등을 종합해 계산해야 하며, 일반적인 빈도주의 통계의 $p$값으로는 이를 절대 알 수 없습니다.

3. 논문 작성 팁

졸업논문 결과나 토의(Discussion) 부분에 "가설이 95% 확률로 맞다"고 기술하면 심사위원의 지적을 받을 수 있습니다.

대신 다음과 같이 표준적인 학술 표현을 사용하는 것이 안전합니다.

  • "유의수준 5%에서 통계적으로 유의미한 차이가 나타났다 ($p < .05$)."
  • "귀무가설을 기각하고 연구 가설을 지지하는 결과를 확인하였다."

GPT-6.1 Sol의 답변

p<.05는 내 가설이 95% 확률로 맞다는 뜻이 아니라, 귀무가설 아래에서 자료가 얼마나 이례적인지를 나타냅니다.

동기의 설명은 흔하지만 잘못된 해석입니다.

p값이 뜻하는 것

귀무가설은 보통 ‘차이가 없다’ 또는 ‘관련이 없다’는 가설입니다. p값은 귀무가설과 검정의 통계적 가정이 참일 때, 관측한 검정통계량만큼 또는 그보다 더 극단적인 결과가 나올 확률입니다.

예를 들어 p=.03이라면, 귀무가설 아래에서 지금 결과만큼 또는 더 극단적인 결과가 나올 확률이 3%라는 뜻입니다. 다음을 뜻하지는 않습니다.

  • 귀무가설이 참일 확률이 3%
  • 연구가설이 참일 확률이 97%
  • 결과가 우연 때문일 확률이 3%

핵심은 ‘가설이 참일 때 자료가 나올 확률’과 ‘자료를 봤을 때 가설이 참일 확률’은 다르다는 점입니다. 후자를 계산하려면 가설에 대한 사전확률 등을 포함하는 베이즈 분석이 필요합니다.

졸업논문에는 이렇게 쓰세요

“분석 결과, 두 변수의 관련성은 통계적으로 유의하였다(p=.032).”

이는 해당 검정이 관련성을 평가했고, 사전에 정한 유의수준이 .05인 경우의 예시입니다. 효과크기(차이·관련성의 크기)와 신뢰구간(추정의 불확실성을 나타내는 구간)도 함께 보고하세요.

또한 유의수준 .05는, 귀무가설이 참인 상황에서 같은 검정 절차를 반복하면 잘못 기각하는 비율을 5%로 통제한다는 기준이지, 이번 결론이 틀릴 확률이 5%라는 보장은 아닙니다.

Claude Sonnet 5.5의 답변

p<.05는 가설이 95% 확률로 맞다는 뜻이 아니며, 이는 p값에 대한 대표적인 오해다.

핵심 정리

p값의 정의는 다음과 같습니다.

귀무가설(효과가 없다는 가설)이 참이라고 가정할 때, 지금 얻은 데이터 또는 그보다 극단적인 데이터가 나올 확률

즉 p값은 *P(데이터 | 귀무가설)*입니다. 동기분이 말한 "내 가설이 맞을 확률"은 *P(가설 | 데이터)*로, 조건의 방향이 반대인 전혀 다른 값입니다. p값만으로는 후자를 계산할 수 없습니다.

왜 계산할 수 없는가

가설이 맞을 확률을 구하려면 베이즈 정리(Bayes' theorem)에 따라 사전확률, 즉 데이터를 보기 전에 가설이 맞을 가능성이 필요합니다. 예를 들어 검증하는 가설이 원래 가능성이 매우 낮은 것이라면, p=.03이 나와도 그 가설이 참일 확률은 여전히 낮을 수 있습니다. 연구에 따라서는 p≈.05 근처의 결과에서 거짓 양성(false positive) 위험이 5%보다 훨씬 높다는 분석도 있습니다.

자주 섞이는 오해들

  • "1−p = 가설이 맞을 확률": 틀립니다.
  • "95%"의 출처: 유의수준 .05나 95% 신뢰구간에서 온 숫자를 혼동한 것으로 보입니다. 이 95%는 가설이 참일 확률이 아니라 분석 절차의 장기적 성질에 관한 값입니다.
  • p<.05의 의미: "귀무가설 하에서는 이런 데이터가 드물다"는 정도의 증거일 뿐, 효과의 크기나 중요성을 말해 주지 않습니다.

논문에 쓸 때

  • ❌ "p<.05이므로 가설이 95% 확률로 지지되었다."
  • ✅ "분석 결과 집단 간 차이가 통계적으로 유의했다(p = .03). 효과크기는 d = 0.45, 95% CI [0.05, 0.85]였다."

p값은 가급적 정확한 값으로 보고하고, 효과크기와 신뢰구간을 함께 제시하면 좋습니다. 이 해석은 미국통계학회(ASA)가 2016년에 낸 p값 성명서에서도 강조된 내용이니 근거로 참고하셔도 됩니다.

비슷한 질문