분산분석 사후검정 종류, 집단 크기가 다르면 Scheffe를 써야 하나?

간호사 대상 설문으로 근무 연차(5년 미만, 5~10년, 10년 이상)에 따라 소진 점수가 다른지 보려고 함. 세 집단 인원이 꽤 차이가 나는 상태. 집단 크기가 다르면 Scheffe를 쓴다는 글도 있고, Tukey도 괜찮다는 글도 있고, Scheffe는 너무 보수적이라 차이가 잘 안 나온다는 말도 있음. 집단 크기가 다르면 Scheffe로 하는 게 맞나?

Claude Sonnet 5.5의 답변

집단 크기가 달라도 Scheffe가 필수는 아니며, 세 집단의 쌍별 비교라면 Tukey-Kramer를 쓰고 등분산이 아니면 Games-Howell을 쓰면 된다.

집단 크기와 사후검정

"크기가 다르면 Scheffe"라는 규칙은 정확하지 않습니다. 크기가 다를 때 핵심 문제는 등분산 가정(집단별 분산이 같다는 가정)이 깨졌는지입니다.

검정별 특징

• Scheffe: 가능한 모든 대비(contrast)를 통제합니다. 예를 들어 "5년 미만 vs. 나머지 둘의 평균" 같은 복합 비교까지 허용하는 대신 검정력이 낮습니다. 쌍별 비교만 할 때는 불필요하게 보수적이므로, 본인이 들은 "차이가 잘 안 나온다"는 말이 이 경우에 해당합니다.
• Tukey HSD: 모든 쌍별 비교에 적합합니다. 집단 크기가 다르면 Tukey-Kramer 수정을 적용하며, SPSS나 R(TukeyHSD)은 이를 자동으로 처리합니다.
• Games-Howell: 등분산이 아닐 때 적합합니다. 크기도 달라도 쓸 수 있고, Welch ANOVA와 함께 쓰는 것이 일반적입니다. 집단이 매우 작으면 결과가 불안정할 수 있습니다.
• Bonferroni/Holm: 비교 수가 적을 때 단순하고 명확합니다. 이 경우 비교는 3개뿐입니다.

권장 절차

1. Levene 검정 등으로 등분산 여부를 확인합니다. 다만 표본이 크면 사소한 차이도 유의하게 나오므로 분산 비율과 집단 크기 관계도 함께 봅니다.
2. 등분산이면 Tukey-Kramer를 씁니다.
3. 등분산이 아니면 Welch ANOVA + Games-Howell을 씁니다.
4. 사전에 계획한 복합 비교가 있을 때만 Scheffe를 고려합니다.

크기가 불균형하면서 분산도 다를 때는 특히 주의해야 합니다. 분산이 큰 집단이 작은 집단일 경우 Tukey 계열은 1종 오류가 커질 수 있고, 반대 경우에는 지나치게 보수적일 수 있습니다. 정확한 정도는 상황에 따라 달라지므로 일률적으로 말하기는 어렵습니다.

보고 시 참고

• p값만이 아니라 평균 차이, 95% 신뢰구간, 효과크기(Cohen's d 등)를 함께 제시하면 좋습니다.
• 근무 연차는 순서가 있는 변수이므로, 연구 목적이 "연차가 늘수록 소진이 증가/감소하는가"라면 추세 검정(trend test)도 대안입니다.

Gemini 3.8 Flash의 답변

집단 크기가 달라도 단순 1:1 비교라면 Scheffé를 반드시 쓸 필요는 없으며, 등분산 만족 시 Tukey(Tukey-Kramer), 위배 시 Games-Howell이 적절합니다.

반드시 셰페(Scheffé) 검정을 써야 하는 것은 아닙니다. 국내 일부 교재에서 "집단 크기가 다르면 Scheffé"라고 단순화해 설명하기도 하지만, 이는 연구 목적에 비추어 볼 때 최선의 선택이 아닌 경우가 많습니다.

1. Scheffé가 권장되지 않는 이유

Scheffé 검정은 단순히 두 집단씩 비교(1:1 쌍별 비교)하는 것뿐만 아니라, '1집단 대 2·3집단 연합'과 같은 복합 비교(complex comparison)까지 모두 통제하도록 설계된 방법입니다.

그 결과 검정이 지나치게 **보수적(conservative)**이 됩니다. 즉, 1종 오류(없는 차이를 있다고 할 위험)는 확실히 줄여주지만, **2종 오류(실제 있는 차이를 놓칠 위험)**가 커져 통계적 검정력이 매우 떨어집니다. 근무 연차 3개 집단 간의 단순 1:1 차이만 확인하는 연구라면 Scheffé는 불필요하게 엄격합니다.

2. 집단 크기가 다를 때의 표준: Tukey-Kramer

표본 크기가 다른 집단 간의 1:1 비교에서는 튜키-크레이머(Tukey-Kramer) 검정이 학계의 표준입니다.

SPSS, R 등 현대 통계 프로그램에서 'Tukey'를 선택하면, 프로그램이 집단 크기가 다른 것을 인식하여 자동으로 Tukey-Kramer 공식을 적용해 계산합니다. 따라서 표본 수가 달라도 Tukey를 선택하시면 됩니다.

3. 실제 선택 기준: 표본 수보다 '등분산성'

사후검정 선택에서 집단 크기보다 더 결정적인 기준은 **등분산성(homoscedasticity, 집단 간 오차의 분산이 같은지 여부)**입니다. Levene 검정 결과를 먼저 확인하세요.

• 등분산 가정을 만족할 때 ($p > .05$):
  • Tukey를 사용하시면 됩니다. 표본 수 차이가 극단적(예: 한 집단은 10명, 다른 집단은 300명)이라면 Hochberg's GT2나 Gabriel 검정을 대안으로 고려할 수 있으나, 일반적인 설문 표본 차이라면 Tukey로 충분합니다.
• 등분산 가정을 위배했을 때 ($p < .05$):
  • 집단 크기마저 다르면 1종 오류 발생 확률이 왜곡되므로, Welch의 ANOVA와 함께 사후검정으로 **게임스-하웰(Games-Howell)**을 사용해야 학술적으로 완벽히 방어할 수 있습니다.

결론적으로, 등분산성이 만족된다면 검정력이 우수한 Tukey를, 등분산성이 깨졌다면 Games-Howell을 권장합니다.

GPT-6.1 Sol의 답변

집단 크기가 다르다고 Scheffé를 써야 하는 것은 아닙니다. 등분산이면 Tukey–Kramer, 이분산이면 Welch ANOVA와 Games–Howell을 고려합니다.

핵심은 인원 차이보다 ‘분산 차이’입니다

집단별 인원이 달라도 **등분산성(집단별 점수의 분산이 비슷함)**이 성립하면 일반 일원분산분석을 사용할 수 있습니다. 다만 인원과 분산이 모두 크게 다르면 일반 분산분석의 오류 위험이 커질 수 있습니다.

사후검정은 어떻게 고르나요?

| 방법 | 주로 사용하는 상황 | |---|---| | Tukey–Kramer | 등분산을 가정하고 모든 집단 쌍을 비교. 집단 크기가 달라도 사용 가능 | | Games–Howell | 등분산을 가정하기 어렵고 집단 크기도 다를 때 쌍별 비교 | | Scheffé | 쌍별 비교뿐 아니라 ‘한 집단 대 나머지 집단의 평균’ 같은 다양한 대비까지 검토 | | Bonferroni·Holm | 선택한 여러 비교의 다중검정 오류를 보정. Holm은 보통 Bonferroni보다 덜 보수적 |

Scheffé는 불균형 표본 전용 검정이 아닙니다. 가능한 모든 대비를 보호하므로, 세 집단의 쌍별 차이만 궁금하다면 Tukey–Kramer보다 보수적일 수 있습니다. 즉, 실제 차이를 발견할 확률인 검정력이 낮아질 수 있습니다.

질문의 연구에 적용하면

1. 집단별 인원·평균·표준편차와 분포 그림을 확인합니다. Levene 검정도 참고하되, 유의하지 않다는 이유만으로 등분산이 입증됐다고 보지는 않습니다.
2. 등분산이 타당하면 일반 ANOVA → Tukey–Kramer, 이분산이 우려되면 Welch ANOVA → Games–Howell이 합리적입니다.
3. 결과에는 보정된 p값뿐 아니라 평균 차이와 신뢰구간도 제시하세요.

현재는 집단별 인원과 분산 정보가 없어 특정 방법을 확정할 수 없습니다. “차이가 잘 나오는가”가 아니라 가정과 비교 목적에 맞춰 선택하는 것이 중요합니다.