통계적 유의성, 표본 수가 많으면 작은 차이도 유의하게 나온다는 거 사실임?
졸업논문 설문은 학과 동기 120명 정도로 진행 예정임. 수업에서 표본이 크면 별 의미 없는 차이도 p<.05로 나온다고 들었음. 이 말이 사실인지?
Claude Sonnet 5.5의 답변
사실이다. 표본이 클수록 아주 작은 차이도 p<.05가 되므로 p값과 함께 효과크기를 반드시 봐야 한다.
왜 그런가
p값은 차이의 크기뿐 아니라 표본 수에도 좌우된다. 표본이 커지면 평균이나 상관계수의 추정 오차(표준오차)가 대략 √n에 반비례해 줄어든다. 그래서 같은 차이라도 표본이 크면 "우연으로 보기 어렵다"는 판정이 쉽게 나온다.
- 상관계수 r = .02는 실질적으로 거의 무관한 수준이지만, 표본이 약 10,000명이면 p<.05가 나온다.
- 반대로 n=120에서는 |r| ≈ .18 이상이어야 p<.05가 된다.
중요한 구분
통계적 유의성은 "효과가 0이 아닐 가능성"에 대한 정보이고, 실질적 중요성은 별개다. 이를 보완하려면 다음을 함께 보고하는 것이 좋다.
- 효과크기: Cohen's d, r, η² 등 차이의 크기를 표본 수와 무관하게 나타낸 값
- 신뢰구간: 효과 추정치가 어느 범위에 있을 법한지
120명 설문에 적용하면
- 120명은 "너무 커서 문제"가 되는 크기가 아니다. 오히려 두 집단(각 60명)을 비교할 때 중간 효과(d=0.5)를 잡아낼 검정력이 약 77%로, 관례 기준인 80%에 약간 못 미친다. 따라서 유의하지 않아도 "효과 없음"이 아니라 "검출하기엔 정보가 부족함"일 수 있다.
- 학과 동기만 대상으로 하면 편의표집이라 결과를 더 넓은 집단으로 일반화하기 어렵다. 한계점으로 논문에 적어 두자.
- 분석을 여러 번 하면 우연히 유의한 결과가 나올 확률이 커지므로, 검정 개수를 분석 전에 정하는 편이 안전하다.
정리
p값만 쓰지 말고 p값 + 효과크기 + 신뢰구간을 함께 보고하자. 분석 전에 G*Power 같은 무료 도구로 검정력을 계산해 보면 120명이 충분한지 확인할 수 있다.
Gemini 3.8 Flash의 답변
표본 크기가 커질수록 통계적 검정력이 증가하여, 실제로는 사소하고 무의미한 차이조차 통계적으로 유의(p<.05)하게 판정되는 것은 명백한 사실입니다.
수업에서 들으신 내용은 통계학적으로 완벽히 사실입니다. 이를 통계학에서는 '통계적 유의성'과 '실질적(임상적) 유의성'의 괴리 문제라고 부릅니다.
왜 이런 현상이 발생하는가?
$t$검정이나 회귀분석 등 대부분의 통계 검정 공식은 분모에 표준오차(Standard Error, 표본 평균들이 흩어진 정도)를 둡니다. 표준오차는 표본 수($N$)의 제곱근에 반비례($1/\sqrt{N}$)하여 줄어듭니다.
즉, 표본 크기가 수만~수십만 단위로 극단적으로 커지면 표준오차가 $0$에 가까워집니다. 그 결과, 실제 두 집단 간의 점수 차이가 $0.001$점처럼 현실에서는 아무런 의미가 없는 수준이어도, 분모가 극도로 작아져 검정통계량($t$값 등)이 비정상적으로 커지게 됩니다. 이에 따라 $p$값은 아주 쉽게 $.05$ 미만으로 떨어집니다.
통계적 유의성 vs 실질적 유의성
- 통계적 유의성($p$값): "이 차이가 순전히 우연에 의해 나타났을 가능성이 낮은가?"만을 말해줍니다. 차이의 '크기'나 '중요도'는 알려주지 않습니다.
- 실질적 유의성(효과 크기): 현실에서 체감될 만큼 의미 있는 차이인가를 나타냅니다.
이러한 한계를 보완하기 위해 통계학계에서는 $p$값뿐만 아니라 효과 크기(Effect Size, 단위에 구애받지 않고 차이의 순수한 크기를 표준화한 지표; 예: Cohen's $d$, 상관계수 $r$)를 반드시 함께 보고하도록 요구합니다.
질문자님의 연구($N \approx 120$)에 미치는 영향
걱정하시는 것과 달리, $N=120$ 정도의 표본은 무의미한 차이가 유의하게 둔갑할 만큼 거대한 표본이 아닙니다.
- 통계적으로 $N=120$은 사회과학 연구에서 중간(Medium) 수준의 차이나 효과를 안정적으로 찾아내기에 딱 적당한 규모입니다.
- 오히려 표본이 너무 작아 실제 존재하는 유의미한 차이를 놓치는 일(제2종 오류)을 방지할 수 있는 양호한 크기입니다.
따라서 논문을 작성하실 때 표본이 과하게 커서 왜곡될 우려는 내려놓으셔도 됩니다. 분석 후 $p$값과 함께 **효과 크기(Effect Size)**를 병기하고, "통계적으로 유의하며 효과의 크기 또한 실질적으로 유의미하다"는 점을 논의(Discussion)에 적어주신다면 학술적으로 매우 탄탄한 논문이 될 것입니다.
GPT-6.1 Sol의 답변
사실입니다. 다만 표본이 크면 작은 실제 차이도 검출하기 쉬워진다는 뜻이지, 무조건 유의해진다는 뜻은 아닙니다.
왜 그런가요?
통계적 유의성은 보통 ‘차이가 없다’는 가정 아래, 관측된 결과만큼 또는 더 극단적인 결과가 나올 확률인 p값으로 판단합니다. p<.05가 ‘차이가 없을 확률이 5% 미만’이라는 뜻은 아닙니다.
같은 크기의 차이가 관측돼도 표본 수가 커지면 표준오차(추정값의 불확실성)가 대체로 줄어 p값이 작아집니다. 그래서 실제로는 아주 작은 차이도 큰 표본에서는 유의할 수 있습니다. 예컨대 만족도 0.1점 차이가 통계적으로 유의하더라도 교육적으로 중요한 차이인지는 별개입니다.
다만 실제로 차이가 전혀 없다면, 검정의 가정이 충족되는 한 표본 수를 늘린다고 잘못 유의하다고 판단할 확률이 계속 커지는 것은 아닙니다. 유의수준 .05인 검정에서는 그 확률이 약 5%로 유지됩니다.
동기 120명 설문에서는?
- 120명만으로 ‘작은 차이도 다 유의해진다’고 보기는 어렵습니다. 분석 방법, 응답의 변동성, 집단별 인원 등에 따라 달라집니다.
- p값과 함께 효과크기(차이나 관계의 크기)와 신뢰구간(추정의 불확실성을 나타내는 구간)을 보고하세요.
- 분석 전에 핵심 질문과 검정을 정하고, 여러 검정을 한다면 다중검정 문제도 고려하세요.
- 동기만 조사한 결과는 다른 학과·학교 학생에게 일반화하기 어렵습니다. 표본 수가 늘어도 이 한계는 자동으로 해결되지 않습니다.
핵심은 “유의한가?”와 “중요한 차이인가?”를 따로 판단하는 것입니다.