비모수 검정, 모수 검정보다 검정력이 항상 낮다는 말 믿어도 되나요?
비모수 검정을 쓰면 모수 검정보다 검정력이 항상 떨어진다는 말을 들었어요. 자료가 정규분포를 따르지 않을 때도 마찬가지인가요?
비모수 검정을 쓰면 모수 검정보다 검정력이 항상 떨어진다는 말을 들었어요. 자료가 정규분포를 따르지 않을 때도 마찬가지인가요?
비모수 검정의 검정력이 항상 낮지는 않으며, 자료의 분포와 검정하려는 가설에 따라 더 높을 수도 있습니다.
“비모수 검정은 항상 검정력이 낮다”는 말은 틀립니다. 검정력은 실제 차이가 있을 때 이를 발견할 확률입니다. 공정하게 비교하려면 표본 크기, 실제 차이의 크기, 유의수준(차이가 없는데 있다고 판단할 허용 확률)을 맞춰야 합니다.
t 검정은 평균 차이를 검정하지만, 맨–휘트니 검정은 순위에 기반한 집단 간 차이를 다룹니다. 후자를 단순히 ‘중앙값 차이 검정’으로 해석하려면 두 분포의 모양이 같고 위치만 다르다는 등의 추가 가정이 필요합니다.
따라서 정규성 여부만으로 고르지 말고, 알고 싶은 것이 평균인지, 위치 차이인지, 한 집단의 값이 더 큰 경향인지부터 정하세요. 비모수 검정도 ‘가정이 없는 검정’은 아니며, 독립성 등 각 검정의 조건을 확인해야 합니다.
아니요, 정규분포에서는 비모수 검정의 검정력 손실이 작고, 이상치가 많거나 치우친 자료에서는 오히려 더 높을 수 있습니다.
1. 정규분포일 때: 손실은 있지만 작습니다 정규분포에서는 t검정이 가장 강력합니다. 하지만 윌콕슨 순위합 검정의 점근상대효율(ARE, 대표본에서 같은 검정력을 내는 데 필요한 표본 크기의 비)은 3/π ≈ 0.955입니다. 즉 표본이 약 5% 더 필요할 뿐입니다.
2. 정규분포가 아닐 때: 역전될 수 있습니다 윌콕슨 검정 대비 t검정의 ARE는 분포에 따라 다음과 같습니다(위치 이동 모형 기준).
| 분포 | 윌콕슨/t검정 ARE | |---|---| | 정규 | 0.955 | | 균등 | 1.0 | | 로지스틱 | 약 1.10 | | 라플라스(꼬리가 두꺼움) | 1.5 | | 지수(심하게 치우침) | 3.0 |
ARE가 1보다 크면 비모수 검정이 더 강력하다는 뜻입니다. 윌콕슨 검정의 ARE는 어떤 분포에서도 0.864 아래로 내려가지 않지만(Hodges–Lehmann 하한), 위로는 제한이 없습니다. 이상치나 두꺼운 꼬리는 표본평균과 분산을 크게 흔들어 t검정의 검정력을 떨어뜨리지만, 순위 기반 검정은 영향을 덜 받습니다.
정규성이 합리적이면 t검정을, 이상치나 두꺼운 꼬리, 심한 비대칭이 있으면 비모수 검정을 고려하세요. 검정력이 중요하다면 가정한 분포에서 시뮬레이션으로 직접 비교해 보는 것이 가장 확실합니다.
아닙니다. 정규분포 가정이 깨지거나 극단적인 이상치가 있는 자료에서는 비모수 검정의 검정력이 모수 검정보다 오히려 더 높습니다.
"비모수 검정은 모수 검정보다 항상 검정력이 떨어진다"는 말은 통계학적 사실이 아닙니다.
**검정력(Statistical Power)**이란 대립가설이 참일 때 이를 올바르게 채택할 확률, 즉 '실제 존재하는 차이나 효과를 제대로 탐지해 낼 확률'을 의미합니다. 검정력의 우위는 데이터가 어떤 분포를 띠는가에 따라 완전히 달라집니다.
모집단이 정규분포를 따른다는 가정이 완벽히 만족될 때는 평균과 분산 정보를 모두 활용하는 모수 검정($t$-검정 등)의 검정력이 가장 높습니다.
하지만 이때도 비모수 검정(예: 윌콕슨 순위합 검정, 맨-휘트니 $U$ 검정)의 성능은 크게 떨어지지 않습니다. 통계학적으로 정규분포 하에서 비모수 검정의 **점근 상대 효율(ARE, 표본이 무한히 커질 때 모수 검정 대비 필요한 표본 비율의 한계치)**은 약 **95.5%**에 달합니다. 즉, 이상적인 정규분포 상황에서도 비모수 검정의 검정력 손실은 약 4.5% 수준에 불과합니다.
질문하신 상황처럼 정규성 가정이 위배되었을 때는 비모수 검정의 검정력이 모수 검정을 압도합니다.
검정력이 낮아질까 두려워 정규성이 깨진 데이터에 무리하게 모수 검정을 적용하면, 오히려 이상치로 인해 검정력이 급격히 떨어지는 역효과가 납니다. 표본 크기가 작고 정규성을 만족하지 못한다면 안심하고 비모수 검정을 사용하셔도 좋습니다.