정규성은 통과해서 결국 모수 검정으로 가기로 했어요. 실험군 15명, 대조군 15명의 사전 사후 균형 점수로 반복측정 분산분석을 돌렸더니 시점과 집단의 상호작용은 p=.02인데 집단 주효과는 p=.21로 나왔어요. 지도교수님은 상호작용을 보면 된다고 하셨는데, 같이 수업 듣는 선생님은 집단 차이가 없으니 프로그램 효과가 없다고 봐야 한다고 해서 헷갈려요. 이런 결과면 운동 프로그램 효과가 있다고 써도 될까요?
사전-사후 설계에서는 상호작용이 효과 검정이므로, 집단 주효과가 없어도 상호작용이 유의하면 효과가 있다고 쓸 수 있습니다.
집단 주효과는 사전·사후를 합쳐 평균낸 집단 차이입니다. 사전 점수는 두 집단이 비슷한 것이 정상이므로, 사후에 차이가 생겨도 사전 점수가 평균을 희석해 주효과는 작아집니다. 그래서 p=.21은 "효과 없음"의 근거가 되지 않습니다.
시점×집단 상호작용(p=.02)은 "시점에 따른 변화량이 집단마다 다른가"를 검정합니다. 사전-사후 설계에서 프로그램 효과는 바로 이 질문이므로 상호작용을 봐야 합니다.
"시점×집단 상호작용이 유의하여(F(1,28)=…, p=.02, 부분 η²=…) 실험군의 균형 점수가 대조군보다 더 크게 향상되었다."
무작위 배정이 아니었다면 "효과가 입증되었다"보다 "향상과 관련이 있었다" 정도로 표현을 낮추는 편이 안전합니다. 표본이 작고 p=.02는 경계에 가까우니 한계로 언급하는 것이 좋습니다.
같은 수업 선생님의 해석은 사후 설계(사후 점수만 비교)에서나 맞는 논리를 반복측정 설계에 잘못 적용한 것입니다.
집단 주효과가 없어도 상호작용은 유의할 수 있으며, 프로그램 효과는 변화의 방향과 크기를 함께 봐야 합니다.
프로그램의 목적이 “대조군보다 더 큰 개선”이라면, 교수님 말씀처럼 상호작용이 핵심입니다. 집단 주효과가 유의하지 않다는 이유로 프로그램 효과가 없다고 결론 내릴 수는 없습니다. 또한 p=.21은 두 집단이 같다는 증거도 아닙니다.
p값만으로는 아직 부족합니다. 상호작용은 변화가 다르다는 뜻이지, 반드시 실험군이 더 좋아졌다는 뜻은 아닙니다. 집단별 사전·사후 평균과 변화 방향을 확인하세요. 균형 점수는 높을수록 좋은지, 낮을수록 좋은지도 중요합니다.
핵심 추정치는 다음과 같습니다.
변화량 차이 = (실험군 사후−사전)−(대조군 사후−사전)
이 값과 95% 신뢰구간, 효과크기를 함께 보고하세요. “실험군에서만 사전·사후 차이가 유의했다”는 사실만으로 두 집단의 변화가 다르다고 판단하면 안 됩니다.
실제로 실험군이 더 개선되었다면 다음처럼 쓸 수 있습니다.
“시점과 집단의 상호작용이 유의하였으며(p=.02), 실험군은 대조군보다 균형 점수의 개선 폭이 컸다.”
다만 프로그램이 개선을 일으켰다는 인과적 표현은 무작위 배정 여부, 탈락 및 다른 중재 등 연구설계도 고려해야 합니다. 각 15명인 만큼 효과 추정의 불확실성도 함께 제시하는 것이 좋습니다.
참고로 정규성 통과만으로 모든 가정이 충족되는 것은 아니며, 사전·사후 두 시점에서는 구형성 가정은 자동으로 충족됩니다.
프로그램 효과가 있다고 볼 수 있으며, 사전·사후 실험 설계에서는 집단 주효과보다 '시점과 집단의 상호작용 효과'가 핵심입니다.
지도교수님의 설명이 통계학적으로 맞습니다. 동료분의 의견은 반복측정 분산분석(Repeated Measures ANOVA)의 구조를 오해한 데서 비롯된 것입니다.
중재(운동 프로그램) 연구의 목적은 **"실험군과 대조군의 사전-사후 변화 양상이 서로 다른가?"**를 밝히는 것입니다. 이를 통계적으로 나타낸 것이 바로 **'시점 × 집단 상호작용 효과(Interaction effect)'**입니다. 상호작용 효과가 유의하다는 것($p = .02$)은 시간에 따른 점수 변화의 기울기가 두 집단 간에 통계적으로 유의미하게 달랐음을 의미합니다.
반복측정 분산분석에서 **'집단 주효과(Main effect of group)'**는 사전 점수와 사후 점수를 모두 합친 '전체 평균'의 집단 간 차이를 봅니다. 무작위 배정이 잘 되어 사전에 두 집단의 점수가 비슷했다면, 사후에 실험군의 점수가 크게 올랐더라도 전체 평균으로 뭉뚱그려 비교하면 차이가 희석되어 주효과가 유의하지 않게($p = .21$) 나오는 것이 매우 자연스럽습니다. 오히려 사전에 두 집단이 비슷했는데 집단 주효과까지 크게 유의하다면 사후 점수 차이가 극단적으로 컸거나 사전 동질성에 문제가 있었을 가능성이 큽니다.
상호작용이 유의하므로 이제 주효과 해석은 건너뛰고, **'단순 주효과 분석(Simple main effect analysis)'**을 진행해야 합니다. 상호작용은 '두 집단의 변화가 다르다'는 것만 알려줄 뿐, 실험군이 좋아져서 다른 것인지 대조군이 나빠져서 다른 것인지는 직접 쪼개어 보아야 하기 때문입니다.
이 단순 주효과 분석을 통해 "실험군만 사후에 유의하게 점수가 향상되었다"는 그래프와 수치를 제시하면, 논문에 "운동 프로그램이 균형 능력 향상에 유의미한 효과가 있었다"고 당당히 기술할 수 있습니다.