노인 대상 12주 운동 프로그램 실험이라 실험군, 대조군이 15명씩이에요. 사전 BBS 점수로 동질성 검정을 했더니 p=.08이 나와서 두 집단이 동질하다고 써 뒀어요. 그런데 대조군 사전 평균이 47점으로 실험군보다 3점 정도 높아서, 중간발표 때 한 교수님이 사전 점수를 공변량으로 넣어 공분산분석을 해 보라고 하셨어요. 결과는 이미 반복측정 분산분석으로 정리해 둔 상태라, p가 .05만 넘으면 동질하다고 봐도 되는 건지 분석을 바꿔야 하는 건지 판단이 안 서요.
표본 수가 작아 p=.08이어도 실제 차이가 존재할 수 있으므로, 교수님 조언대로 사전 점수를 통제하는 공분산분석(ANCOVA)을 적용하는 것이 바람직합니다.
통계학적으로 유의확률($p$값)이 .05보다 크다는 것은 "두 집단 간 차이가 없다는 영가설을 기각하지 못했다"는 뜻이지, "두 집단이 완벽히 동질하다"는 것을 증명한 것이 아닙니다.
특히 각 집단 15명($N=30$)과 같은 소표본 연구에서는 **검정력(통계적 차이를 감지해 낼 능력)**이 낮습니다. 즉, 실제로는 두 집단 간에 3점이라는 의미 있는 차이가 존재함에도, 표본 수가 적어 통계적으로 유의수준($p < .05$)에 도달하지 못했을 가능성(제2종 오류)이 매우 높습니다.
버그 균형 척도(Berg Balance Scale, BBS)는 만점이 56점인 도구입니다. 대조군 평균이 47점이라면 낙상 위험 기준선 근처에 걸쳐 있거나 이미 높은 점수대에 가까워 추가적인 점수 상승에 한계가 생기는 **천장 효과(ceiling effect)**가 나타날 수 있습니다.
반면 실험군이 44점이라면 상대적으로 점수가 상승할 여지가 더 큽니다. 따라서 3점 차이는 통계적 유의성을 떠나 임상 연구에서 결과 해석을 왜곡할 수 있는 실질적인 기저 차이입니다.
교수님의 지적은 심사 과정에서 반드시 다시 마주치게 될 핵심 쟁점입니다.
기존의 반복측정 분산분석 결과를 완전히 버리기보다는, 사후 BBS 점수를 종속변수로 두고 사전 BBS 점수를 공변량으로 투입한 ANCOVA를 주 분석(Primary analysis)으로 채택하시길 권합니다. 기존 분석 결과는 부록이나 민감도 분석(두 분석의 결론이 일치하는지 확인하는 과정)으로 제시하면 논문의 통계적 타당성을 크게 높일 수 있습니다.
p=.08은 동질성의 증거가 아니며, 사전 점수 차이는 사전 점수를 보정한 분석으로 다루는 것이 좋습니다.
일반적인 사전 평균 비교에서 p=.08은 유의수준 .05에서 집단 간 차이가 있다는 근거가 충분하지 않다는 뜻입니다. 차이가 없거나 무시할 만큼 작다는 뜻은 아닙니다. 특히 군당 15명은 검정력, 즉 실제 차이를 발견할 능력이 낮을 수 있습니다.
따라서 “두 집단은 동질하였다”보다는 다음처럼 쓰는 것이 정확합니다.
사전 BBS 평균의 집단 간 차이는 통계적으로 유의하지 않았으나(p=.08), 대조군이 실험군보다 약 3점 높았다.
BBS(버그균형척도)는 균형능력 평가 도구입니다. 사전 점수는 사후 점수와 관련될 가능성이 크고, 점수가 높은 집단은 향상 여지도 다를 수 있습니다. 다만 3점이 임상적으로 중요한 차이인지는 대상자의 질환·기능 수준과 관련 근거를 확인해야 합니다.
사후 측정이 12주 시점 한 번이라면, 다음 **공분산분석(ANCOVA: 사전 점수의 영향을 보정하여 집단을 비교하는 분석)**이 적절한 선택입니다.
12주 BBS = 집단 + 사전 BBS
이때 사전–사후 관계의 선형성, 집단별 회귀기울기의 유사성, 잔차 등을 확인해야 합니다.
반복측정 분산분석의 집단×시간 상호작용은 집단 간 변화 차이를 평가하므로, 기존 분석이 무조건 틀린 것은 아닙니다. 다만 보정 여부를 사전검정의 p값 하나로 결정하지 마세요.
분석이 사전에 정해졌다면 이를 명시하고 ANCOVA를 추가 분석으로 제시하며, 보정 전후 효과 추정치와 95% 신뢰구간을 함께 보고하는 방법이 좋습니다. 결과가 달라도 유리한 분석만 고르면 안 됩니다.
또한 무작위배정 여부를 밝혀야 합니다. 비무작위 연구라면 사전 BBS를 보정해도 다른 교란요인까지 해결되지는 않습니다.
p=.08은 동질성의 증거가 아니므로 "동질하다"고 쓰지 말고, 사전 점수를 공변량으로 넣은 공분산분석을 함께 제시하세요.
p=.08은 "차이가 있다고 단정할 근거가 부족하다"는 뜻일 뿐, "차이가 없다"는 뜻이 아닙니다. 집단당 15명이면 검정력(실제 차이를 찾아낼 확률)이 낮아서, 어느 정도 차이가 있어도 p가 .05를 넘기 쉽습니다. 말씀하신 3점 차이는 p 값과 별개로 임상적으로 의미가 있을 수 있습니다(BBS 최소 임상적 중요 차이는 대략 4~6점으로 보고되는데, 대상군에 따라 다르니 확인이 필요합니다).
참고로 무작위 배정 연구라면 사전 검정 자체를 권장하지 않습니다(CONSORT). 그 경우 사전 값을 계획된 공변량으로 보정하면 됩니다. 무작위 배정이 아닌 준실험이라면 공변량 보정으로도 교란을 완전히 없애지 못한다는 한계를 적어야 합니다.
분석 방법을 결과를 본 뒤에 바꾸는 것이라 선택적 보고 우려가 생길 수 있습니다. 그래서 두 분석 결과를 모두 공개하는 편이 안전합니다.