노인 빈곤과 우울을 다룬 연구 23편으로 메타분석을 진행하고 있습니다. 깔때기 그림은 눈으로 보기에 비대칭이 크지 않아서 이것만 제시하려 했는데, 그림은 해석이 주관적이라 Egger 검정 같은 통계적 검정을 함께 보고해야 한다는 의견을 들었습니다. 한편 검정은 연구 수가 적으면 검정력이 낮다는 말도 있어 판단이 서지 않습니다. 이 정도 연구 수라면 깔때기 그림만으로 출판 편향을 보고해도 충분할까요?
23편이면 Egger 검정을 할 수 있는 규모이므로 깔때기 그림만 제시하지 말고 검정과 민감도 분석을 함께 보고하세요.
깔때기 그림만으로는 충분하지 않습니다. 두 의견이 모두 맞지만 적용 범위가 다릅니다.
선택모형 같은 방법은 가정에 민감하므로, 하나의 결과에 의존하기보다 여러 방법의 일관성을 확인하는 편이 안전합니다. 구체적인 효과크기 유형을 알려주시면 더 맞는 검정을 추천드릴 수 있습니다.
연구 23편이면 깔때기 그림만으로 출판 편향이 없다고 판단하기보다, 적절한 비대칭 검정을 함께 보고하는 편이 좋습니다.
일반적으로 깔때기 그림 비대칭 검정은 연구가 10편 이상일 때 고려합니다. 따라서 23편이라면 “연구 수가 적어 검정이 무의미하다”고 보기는 어렵습니다. 다만 10편은 최소한의 경험적 기준이지, 충분한 검정력을 보장하는 기준은 아닙니다. 효과크기의 정밀도가 연구마다 비슷하면 검정력이 낮을 수 있습니다.
깔때기 그림과 Egger 검정(효과크기와 정밀도의 관계로 비대칭을 평가하는 회귀검정)은 출판 편향 자체보다 소규모 연구 효과를 탐지합니다. 작은 연구에서 효과가 더 크게 나타나는 현상은 출판 편향뿐 아니라 연구의 질, 대상자 특성, 이질성(연구 간 실제 효과의 차이)에서도 생길 수 있습니다.
따라서 비대칭이 있다고 출판 편향을 확정하거나, 검정이 유의하지 않다고 편향이 없다고 결론 내리면 안 됩니다.
검정이 유의하지 않을 경우에는 “깔때기 그림과 비대칭 검정에서 뚜렷한 소규모 연구 효과의 증거는 관찰되지 않았으나, 출판 편향을 배제할 수는 없다”고 쓰는 것이 적절합니다. 검정 병기가 절대적 의무는 아니지만, 23편이라면 그림만 제시하는 것보다 설득력 있는 보고가 됩니다.
연구 수가 23편이라면 깔때기 그림(Funnel plot)만으로는 부족하며, 통계적 검정(Egger 검정 등)을 반드시 병행하여 보고하는 것이 학술적 표준입니다.
메타분석에서 **출판 편향(Publication bias, 유의미한 결과만 선별되어 학술지에 발표되는 경향)**을 평가할 때, 포함된 연구가 23편이라면 시각적 도구인 깔때기 그림만으로는 충분하지 않습니다. 통계적 검정을 함께 제시해야 합니다.
코크란 연합(Cochrane Collaboration) 가이드라인에 따르면, 깔때기 그림의 비대칭성을 확인하는 통계적 검정은 포함된 연구가 최소 10편 이상일 때 권장됩니다. 10편 미만일 때는 검정력(대립가설이 참일 때 이를 통계적으로 입증해낼 확률)이 낮아 유의미한 비대칭도 놓치기 쉽기 때문입니다. 현재 연구 수는 23편이므로 통계적 검정을 수행하기에 충분한 표본 크기를 확보한 상태입니다.
깔때기 그림은 연구 규모(표본 수) 대비 효과 크기를 산포도로 나타낸 것입니다. 연구자가 눈으로만 비대칭 여부를 판단하면 주관이 개입되어 편향을 과소평가할 위험이 큽니다. 실제로 여러 연구에서 연구자들의 육안 판독 일치도가 높지 않다는 점이 지적되어 왔습니다. 따라서 **Egger의 선형 회귀 검정(Egger's test)**이나 **Begg의 순위 상관 검정(Begg's test)**을 함께 수행하여 객관적인 p값을 제시해야 동료 심사(Peer review)를 무리 없이 통과할 수 있습니다.
결론적으로, 23편이라는 연구 수는 정량적 검정을 수행하기에 충분히 적절하므로, 깔때기 그림과 Egger 검정을 함께 보고하는 것을 강력히 권합니다.