대응표본 t검정 효과크기, Cohen’s d는 어떤 공식으로 계산하나요?

실험군의 사전사후 균형 점수 변화를 대응표본 t검정으로 보고, 효과크기도 같이 넣으려고 해요. 찾아보니 차이 점수의 표준편차로 나누는 방법도 있고, 사전 점수의 표준편차로 나누는 방법도 있었어요. 계산기마다 값이 꽤 다르게 나와서 어느 쪽을 써야 할지 판단이 안 서요. 사전사후 설계에서는 어떤 공식으로 계산한 d를 보고하는 게 맞을까요?

GPT-6.1 Sol의 답변

사전·사후 효과크기에 유일한 정답은 없으며, 대응표본 t검정에 직접 연결되는 값은 차이 점수로 표준화한 \(d_z\)입니다.

계산기마다 값이 다른 것은 서로 다른 표준편차를 분모로 사용하기 때문입니다. 오류라기보다 효과크기의 정의가 다른 경우가 많습니다.

1. 대응표본 t검정과 직접 연결되는 (d_z)

각 참여자의 차이를 (D_i=\text{사후}_i-\text{사전}_i)로 두면, [ d_z=\frac{\bar D}{s_D}=\frac{t}{\sqrt n} ] 입니다. (\bar D)는 평균 변화량, (s_D)는 개인별 차이 점수의 표준편차, (n)은 완전한 사전·사후 자료가 있는 참여자 수입니다. (t)도 같은 차이 방향으로 계산해야 합니다.

(d_z)는 변화가 개인 간에 얼마나 일관적인지를 반영합니다. 사전·사후 상관이 높으면 차이 점수의 표준편차가 작아질 수 있어, 같은 평균 변화라도 (d_z)가 커질 수 있습니다.

2. 사전 점수로 표준화한 효과크기

[ d_{\mathrm{pre}}= \frac{\bar X_{\mathrm{post}}-\bar X_{\mathrm{pre}}}{s_{\mathrm{pre}}} ] 이는 변화량이 사전 점수의 개인차에 비해 얼마나 큰지를 나타냅니다. 기초 시점의 변산성을 기준으로 해석하려는 경우 유용하지만, (d_z)와 같은 지표는 아닙니다.

사전·사후 표준편차를 함께 쓰는 방식도 있습니다. 예를 들어, [ d_{\mathrm{av}}= \frac{\bar X_{\mathrm{post}}-\bar X_{\mathrm{pre}}} {\sqrt{(s_{\mathrm{pre}}^2+s_{\mathrm{post}}^2)/2}} ] 입니다. 다만 (d_{\mathrm{av}})는 문헌·소프트웨어에 따라 분모 정의가 다를 수 있습니다.

무엇을 보고하면 좋을까요?

대응표본 t검정에 대응하는 효과크기가 목적이라면 (d_z)를 보고하면 됩니다. 다른 연구·설계와 변화 크기를 비교하려면 사전 표준편차 등으로 표준화한 지표가 더 적절할 수 있습니다.

핵심은 단순히 “Cohen’s (d)”라고 쓰지 않고 기호와 계산식을 명시하는 것입니다. 가능하면 평균 변화량과 효과크기의 신뢰구간도 제시하세요. 또한 실험군의 사전·사후 변화만으로는 대조군 대비 중재 효과를 입증할 수 없습니다.

Claude Sonnet 5.5의 답변

사전사후 설계에서는 사전·사후 SD 평균으로 나눈 d_av(또는 사전 SD 기준)를 기본으로 보고하고, 사용한 공식을 반드시 명시하세요.

공식별 차이

차이 점수의 평균을 M_diff라 할 때, 분모를 무엇으로 잡느냐가 다릅니다.

| 명칭 | 공식 | 특징 | |---|---|---| | d_z | M_diff / SD_diff (= t/√n) | t값과 직접 연결되며 검정력 계산에 쓰입니다. 사전·사후 상관(r)이 높을수록 커집니다. | | d_av | M_diff / [(SD_pre + SD_post)/2] | r의 영향을 받지 않아 독립표본 d와 비교하기 쉽습니다. | | d_rm | d_z × √(2(1−r)) | 반복측정 상관을 보정한 값으로, SD가 비슷하면 d_av와 거의 같습니다. | | 사전 SD 기준 | M_diff / SD_pre | Glass의 Δ와 같은 발상입니다. 개입이 분산을 바꿀 수 있을 때 유용합니다. |

계산기마다 값이 다른 것은 서로 다른 공식을 쓰기 때문입니다. 특히 d_z는 r이 높으면 다른 값보다 크게 나옵니다.

추천

  • 선행연구와 비교하거나 메타분석에 쓰일 목적이라면 d_av 또는 사전 SD 기준 d를 보고하세요. Lakens(2013)는 d_av를 권합니다. 대응 설계에서도 분모가 개인 간 변동을 반영하기 때문입니다.
  • d_z는 t검정과 짝을 이루는 값이어서, 같은 설계의 표본 크기를 계산할 때 유용합니다. 다만 다른 연구의 d와 직접 비교하면 안 됩니다. 원하면 d_av와 함께 제시해도 됩니다.
  • 표본이 작으면(대략 n<20) Hedges의 g(작은 표본 편향 보정)를 쓰고, 가능하면 신뢰구간도 함께 적으세요.

보고 예시

대응표본 t검정 결과, 사후 균형 점수가 유의하게 향상되었다(t(df) = …, p = …, Hedges' g_av = …, 95% CI […, …]).

방법 절에는 "효과크기는 사전·사후 SD의 평균으로 표준화하였다"처럼 공식을 한 줄 적어 두세요.

주의할 점

  • 어느 공식이 유일한 정답이라고 합의된 것은 아니며, 분야와 학술지마다 관행이 다릅니다. 투고할 학술지나 해당 분야 선행연구의 관례를 확인하는 것이 안전합니다.
  • 실험군만 있는 사전사후 설계이므로, 연습 효과나 평균으로의 회귀가 변화에 섞여 있을 수 있습니다. 대조군이 있다면 Morris(2008)처럼 사전 SD(두 집단 통합)로 표준화한 집단 간 변화 차이를 효과크기로 쓰는 방식도 고려해 보세요.

Gemini 3.8 Flash의 답변

사전사후 설계에서는 다른 연구와의 비교를 위해 사전 점수나 두 시점의 표준편차를 사용한 $d_{av}$나 $d_{pre}$를 주로 권장하며, 보고 시 어떤 분모를 썼는지 명시해야 합니다.

대응표본 $t$검정에서 Cohen’s $d$ 계산법이 혼란스러운 이유는 **‘평균 차이를 어떤 표준편차(분모)로 나누느냐’**에 따라 여러 변형 공식이 존재하기 때문입니다. 계산기마다 값이 크게 다른 것도 이 분모 설정이 다르기 때문입니다.

학술 연구에서 주로 쓰이는 방식은 크게 세 가지입니다.

1. 차이 점수의 표준편차를 사용하는 경우 ($d_z$)

$$d_z = \frac{\bar{X}{post} - \bar{X}{pre}}{SD_{diff}} = \frac{t}{\sqrt{N}}$$

  • 특징: 대응표본 $t$값에서 바로 계산할 수 있어 통계 소프트웨어(SPSS 등)가 자주 기본값으로 출력합니다.
  • 장단점: 사후 검정력(Power) 분석에는 유용하지만, 사전-사후 점수 간 상관관계($r$)가 높을수록 분모($SD_{diff}$)가 작아져 효과크기가 지나치게 과대평가됩니다. 따라서 독립표본 연구의 효과크기와 직접 비교할 수 없습니다.

2. 사전 점수의 표준편차를 사용하는 경우 ($d_{pre}$ 또는 Glass's $\Delta$)

$$d_{pre} = \frac{\bar{X}{post} - \bar{X}{pre}}{SD_{pre}}$$

  • 특징: 중재(실험 처치)를 받기 전, 오염되지 않은 순수한 기초선(baseline) 집단의 변산성(표준편차)을 기준으로 삼습니다.
  • 장단점: 실험 처치로 인해 사후 점수의 변산성이 커지거나 작아졌을 가능성이 높을 때 매우 논리적인 대안이 됩니다.

3. 사전·사후 표준편차의 평균을 사용하는 경우 ($d_{av}$)

$$d_{av} = \frac{\bar{X}{post} - \bar{X}{pre}}{(SD_{pre} + SD_{post}) / 2}$$

  • 특징: 심리학 및 행동과학 연구(Lakens, 2013 권장)에서 메타분석이나 독립표본 $d$와의 비교를 위해 널리 추천하는 방식입니다.

무엇을 보고해야 할까요?

  1. 일반적인 효과크기 보고 및 메타분석 목적: 사전-사후 상관에 의해 효과크기가 왜곡되는 것을 막기 위해 $d_{av}$ 또는 **$d_{pre}$**를 보고하는 것이 학술적으로 더 권장됩니다.
  2. 보고 시 필수 사항: 대응표본 효과크기는 연구자마다 산출 방식이 다르므로, 단순히 "Cohen's $d = 0.8$"이라고만 쓰면 독자가 재현할 수 없습니다.
    • 예: *"효과크기는 Lakens(2013)가 제안한 $d_{av}$ 공식을 사용하여 산출하였다($d_{av} = 0.65$)."*와 같이 사용한 공식과 참조 문헌을 함께 제시해야 합니다.

비슷한 질문