공통방법편의, Harman 단일요인 검증만으로 배제할 수 있나요?
한 시점에 같은 응답자에게 독립변수와 종속변수를 모두 설문으로 받은 연구는 공통방법편의를 확인해야 한다고 들었습니다. 찾아보니 Harman 단일요인 검증에서 첫 번째 요인의 설명량이 50%를 넘지 않으면 문제가 없다고 쓰는 논문이 많았습니다. 이 검증 결과만으로 공통방법편의가 없다고 볼 수 있나요?
한 시점에 같은 응답자에게 독립변수와 종속변수를 모두 설문으로 받은 연구는 공통방법편의를 확인해야 한다고 들었습니다. 찾아보니 Harman 단일요인 검증에서 첫 번째 요인의 설명량이 50%를 넘지 않으면 문제가 없다고 쓰는 논문이 많았습니다. 이 검증 결과만으로 공통방법편의가 없다고 볼 수 있나요?
Harman 단일요인 검증만으로는 공통방법편의를 배제할 수 없으며, 현대 연구방법론에서는 이를 심각한 한계가 있는 불충분한 기법으로 봅니다.
**공통방법편의(Common Method Bias, CMB)**는 독립변수와 종속변수를 동일한 설문지, 동일한 응답자, 동일한 시점에 측정했을 때 연구 방법 자체로 인해 변수 간의 관계가 왜곡(주로 과대 추정)되는 현상을 말합니다.
많은 논문에서 '첫 번째 요인의 설명 분산이 50%를 넘지 않아 문제가 없다'는 식의 **Harman 단일요인 검증(Harman's single-factor test)**을 관행적으로 인용하지만, 이 검증 결과만으로 편의가 없다고 결론짓는 것은 학술적으로 타당하지 않습니다.
이 때문에 현재 대다수의 주요 학술지(특히 SSCI급 저널)는 Harman 단일요인 검증만을 제시한 논문에 대해 방법론적 결함을 지적하고 리비전(수정)을 요구합니다.
공통방법편의를 엄밀하게 다루기 위해서는 설계 단계의 '절차적 통제'와 분석 단계의 '통계적 통제'가 복합적으로 이루어져야 합니다.
이미 설문이 끝난 횡단 연구라면, Harman 검증에 그치지 말고 확인적 요인분석(CFA)을 통한 단일요인 모형과 다요인 모형의 적합도 비교, 혹은 잠재방법요인 기법을 추가로 적용하여 결과가 왜곡되지 않았음을 다각도로 입증해야 합니다.
Harman 단일요인 검증에서 첫 요인의 설명량이 50% 미만이어도 공통방법편의가 없다고 결론 내릴 수 없습니다.
공통방법편의는 같은 응답자·측정 방식 등에서 비롯된 영향이 변수 간 관계를 왜곡하는 현상입니다. 동일 시점의 자기보고 설문은 이런 위험이 있지만, 그 사실만으로 편의가 발생했다고 단정할 수도 없습니다.
Harman 단일요인 검증은 보통 모든 측정 문항을 넣은 비회전 탐색적 요인분석으로, 하나의 요인이 지배적인지 살펴봅니다. 그러나 다음과 같은 한계가 있습니다.
설계 단계에서는 익명성 보장, 모호한 문항 개선, 예측변수와 결과변수의 측정 시점·자료원 분리 등을 연구 맥락에 맞게 고려합니다. 분석 단계에서는 마커변수(방법의 영향을 파악하기 위한 별도 측정변수)나 잠재방법요인(공유된 방법 영향을 모형화하는 요인)을 활용할 수 있습니다. 다만 이 방법들도 가정과 식별 조건이 필요하며, 편의의 부재를 증명하지는 못합니다.
따라서 논문에는 “첫 요인의 설명량이 50% 미만이므로 문제가 없다”보다 **“단일요인의 지배적 설명은 관찰되지 않았으나, 공통방법편의를 배제할 수는 없다”**고 쓰는 것이 정확합니다.
참고: Podsakoff et al. (2003), Journal of Applied Psychology.
Harman 단일요인 검증은 민감도가 낮은 보조 진단이라, 이 결과만으로 공통방법편의가 없다고 말할 수 없습니다.
통계적 방법에도 한계가 있습니다. 잠재 방법요인 접근은 추정이 불안정할 수 있고, 마커 변수는 무엇을 고르느냐에 결과가 좌우됩니다. 반면 Spector(2006)는 공통방법편의의 영향이 흔히 과장된다고 봅니다. 어떤 방법이 가장 낫다는 합의는 없으므로, 단일 검정에 의존하지 말고 설계 근거와 여러 진단을 함께 제시하는 편이 안전합니다.