비모수 검정, 모수 검정보다 검정력이 항상 낮다는 말 믿어도 되나요?

비모수 검정을 쓰면 모수 검정보다 검정력이 항상 떨어진다는 말을 들었어요. 자료가 정규분포를 따르지 않을 때도 마찬가지인가요?

GPT-6.1 Sol의 답변

비모수 검정의 검정력이 항상 낮지는 않으며, 자료의 분포와 검정하려는 가설에 따라 더 높을 수도 있습니다.

“비모수 검정은 항상 검정력이 낮다”는 말은 틀립니다. 검정력은 실제 차이가 있을 때 이를 발견할 확률입니다. 공정하게 비교하려면 표본 크기, 실제 차이의 크기, 유의수준(차이가 없는데 있다고 판단할 허용 확률)을 맞춰야 합니다.

어떤 상황에서 달라지나요?

  • 모수 검정의 가정이 잘 맞을 때: 정규분포 자료의 위치 차이를 비교하는 상황에서는 t 검정이 순위 기반 검정보다 대체로 유리합니다. 다만 그 차이가 작을 수도 있습니다.
  • 꼬리가 두껍거나 극단값이 많은 분포일 때: 값의 크기 대신 순서를 이용하는 비모수 검정이 극단값의 영향을 덜 받아, t 검정보다 검정력이 높을 수 있습니다.
  • 정규분포가 아닐 때: 그렇다고 비모수 검정이 무조건 유리한 것도 아닙니다. 표본이 충분하고 분산이 유한한 등 조건이 맞으면 t 검정도 잘 작동합니다. 필요한 표본 크기는 분포의 비대칭성 등에 따라 달라집니다.

같은 질문에 답하는 검정인지도 중요합니다

t 검정은 평균 차이를 검정하지만, 맨–휘트니 검정은 순위에 기반한 집단 간 차이를 다룹니다. 후자를 단순히 ‘중앙값 차이 검정’으로 해석하려면 두 분포의 모양이 같고 위치만 다르다는 등의 추가 가정이 필요합니다.

따라서 정규성 여부만으로 고르지 말고, 알고 싶은 것이 평균인지, 위치 차이인지, 한 집단의 값이 더 큰 경향인지부터 정하세요. 비모수 검정도 ‘가정이 없는 검정’은 아니며, 독립성 등 각 검정의 조건을 확인해야 합니다.

Claude Sonnet 5.5의 답변

아니요, 정규분포에서는 비모수 검정의 검정력 손실이 작고, 이상치가 많거나 치우친 자료에서는 오히려 더 높을 수 있습니다.

"항상 낮다"는 틀린 말입니다

1. 정규분포일 때: 손실은 있지만 작습니다 정규분포에서는 t검정이 가장 강력합니다. 하지만 윌콕슨 순위합 검정의 점근상대효율(ARE, 대표본에서 같은 검정력을 내는 데 필요한 표본 크기의 비)은 3/π ≈ 0.955입니다. 즉 표본이 약 5% 더 필요할 뿐입니다.

2. 정규분포가 아닐 때: 역전될 수 있습니다 윌콕슨 검정 대비 t검정의 ARE는 분포에 따라 다음과 같습니다(위치 이동 모형 기준).

| 분포 | 윌콕슨/t검정 ARE | |---|---| | 정규 | 0.955 | | 균등 | 1.0 | | 로지스틱 | 약 1.10 | | 라플라스(꼬리가 두꺼움) | 1.5 | | 지수(심하게 치우침) | 3.0 |

ARE가 1보다 크면 비모수 검정이 더 강력하다는 뜻입니다. 윌콕슨 검정의 ARE는 어떤 분포에서도 0.864 아래로 내려가지 않지만(Hodges–Lehmann 하한), 위로는 제한이 없습니다. 이상치나 두꺼운 꼬리는 표본평균과 분산을 크게 흔들어 t검정의 검정력을 떨어뜨리지만, 순위 기반 검정은 영향을 덜 받습니다.

주의할 점

  • ARE는 점근적 결과입니다. 표본이 작거나 동점(ties)이 많으면 실제 결과가 다를 수 있습니다.
  • 검정하는 가설이 다릅니다. t검정은 평균 차이를, 윌콕슨 검정은 분포 위치의 이동(또는 확률적 우위)을 검정합니다. 분포 모양이 집단마다 다르면 해석이 달라지므로 검정력만으로 우열을 가리기 어렵습니다.
  • 일종오류도 함께 봐야 합니다. 표본이 작고 심하게 치우친 자료에서는 t검정의 유의수준이 어긋날 수 있습니다. 이 경우 검정력 비교 자체가 의미를 잃습니다.
  • 다른 대안도 있습니다. 순열검정이나 부트스트랩은 분포 가정을 줄이면서도 검정력이 높을 수 있습니다.

실무 요약

정규성이 합리적이면 t검정을, 이상치나 두꺼운 꼬리, 심한 비대칭이 있으면 비모수 검정을 고려하세요. 검정력이 중요하다면 가정한 분포에서 시뮬레이션으로 직접 비교해 보는 것이 가장 확실합니다.

Gemini 3.8 Flash의 답변

아닙니다. 정규분포 가정이 깨지거나 극단적인 이상치가 있는 자료에서는 비모수 검정의 검정력이 모수 검정보다 오히려 더 높습니다.

"비모수 검정은 모수 검정보다 항상 검정력이 떨어진다"는 말은 통계학적 사실이 아닙니다.

**검정력(Statistical Power)**이란 대립가설이 참일 때 이를 올바르게 채택할 확률, 즉 '실제 존재하는 차이나 효과를 제대로 탐지해 낼 확률'을 의미합니다. 검정력의 우위는 데이터가 어떤 분포를 띠는가에 따라 완전히 달라집니다.

1. 정규분포를 따를 때: 모수 검정 우세 (그러나 차이는 작음)

모집단이 정규분포를 따른다는 가정이 완벽히 만족될 때는 평균과 분산 정보를 모두 활용하는 모수 검정($t$-검정 등)의 검정력이 가장 높습니다.

하지만 이때도 비모수 검정(예: 윌콕슨 순위합 검정, 맨-휘트니 $U$ 검정)의 성능은 크게 떨어지지 않습니다. 통계학적으로 정규분포 하에서 비모수 검정의 **점근 상대 효율(ARE, 표본이 무한히 커질 때 모수 검정 대비 필요한 표본 비율의 한계치)**은 약 **95.5%**에 달합니다. 즉, 이상적인 정규분포 상황에서도 비모수 검정의 검정력 손실은 약 4.5% 수준에 불과합니다.

2. 정규분포를 따르지 않을 때: 비모수 검정 우세

질문하신 상황처럼 정규성 가정이 위배되었을 때는 비모수 검정의 검정력이 모수 검정을 압도합니다.

  • 이상치(Outlier)와 긴 꼬리 분포(Heavy-tailed distribution): 모수 검정은 평균과 표준편차를 사용하므로 극단값 하나에 표본분산이 매우 커집니다. 분산이 커지면 분모($t$-값 계산 시 표준오차)가 비대해져 실제 차이가 있어도 기각하지 못하는 오류(2종 오류)가 발생합니다.
  • 순위(Rank) 활용: 비모수 검정은 관측값을 순위로 변환하여 분석하므로 이상치의 영향을 거의 받지 않습니다. 분포의 꼬리가 길거나 왜도(비대칭도)가 심할수록 비모수 검정의 상대적 효율은 100%를 훌쩍 넘어 모수 검정보다 차이를 훨씬 더 잘 잡아냅니다.

요약 및 권장사항

검정력이 낮아질까 두려워 정규성이 깨진 데이터에 무리하게 모수 검정을 적용하면, 오히려 이상치로 인해 검정력이 급격히 떨어지는 역효과가 납니다. 표본 크기가 작고 정규성을 만족하지 못한다면 안심하고 비모수 검정을 사용하셔도 좋습니다.

비슷한 질문