불균형 패널 데이터, 이탈 가구를 빼고 균형 패널로 맞춰야 할까요?
한국복지패널 자료로 여러 차수를 묶어 노인 가구를 추적하고 있습니다. 중간 차수에 응답하지 않았거나 이탈한 가구가 꽤 있어서, 모든 차수에 응답한 가구만 남겨 균형 패널로 만들면 표본이 많이 줄어듭니다. 패널 모형은 불균형 패널로도 추정할 수 있다고 알고 있지만, 이탈 자체가 빈곤 상태와 관련 있을 수 있어서 그대로 써도 될지 판단이 서지 않습니다. 이럴 때 이탈 가구는 어떻게 다뤄야 할까요?
Claude Sonnet 5.5의 답변
균형 패널로 줄이는 것은 이탈 편향을 해결하지 못하므로, 불균형 패널로 추정하고 이탈의 영향을 진단·보정하는 편이 낫습니다.
균형 패널로 맞추는 것은 해법이 아닙니다
모든 차수 응답 가구만 남기면 표본이 줄 뿐 아니라, 빈곤과 관련된 이탈이 있을 때 생존자 표본만 분석하게 되어 편향이 오히려 확실해집니다. 불균형 패널을 그대로 쓰는 쪽이 출발점으로 낫습니다.
불균형 패널이 괜찮은 조건
- 고정효과 모형: 이탈이 시간에 따라 변하지 않는 가구 특성(예: 원래 빈곤 취약성)과 관련되어 있어도 일치추정이 가능합니다. 문제는 이탈이 시점별 오차항(예: 이번 해의 예상치 못한 소득 충격)과 관련될 때입니다.
- 확률효과 모형: 이탈이 모형의 설명변수로 설명된다는 더 강한 조건이 필요합니다.
진단 방법
- 첫 차수 기준으로 이탈 가구와 잔류 가구의 특성(소득, 건강, 연령, 가구 형태)을 비교합니다.
- Verbeek–Nijman 검정: 모형에 '다음 차수 응답 여부'나 '전 차수 응답 여부' 같은 변수를 넣어 유의한지 봅니다. 유의하면 이탈이 선택적이라는 신호입니다.
보정 방법
- 역확률가중(IPW): 이탈 확률을 로짓 등으로 추정하고 그 역수로 가중합니다. 이탈이 관측된 변수(특히 이전 차수의 빈곤 상태)로 설명된다고 가정합니다.
- 다중대체나 Heckman형 선택모형: 가정이 더 강하거나 구현이 복잡합니다.
- 민감도 분석: 이탈이 관측 불가능한 요인과 관련될 가능성이 크다면 Lee bounds 등으로 결과의 범위를 제시합니다.
노인 표본에서 특히 주의할 점
- 사망으로 인한 이탈은 단순한 무응답이 아닙니다. 사망 가구를 결측으로 처리하면 건강·빈곤 효과가 왜곡될 수 있으므로, 사망과 그 밖의 이탈을 구분해 분석하세요. 필요하면 생존분석이나 경쟁위험 모형도 고려할 수 있습니다.
- 일시 결측(중간만 빠지고 복귀)과 영구 이탈은 성격이 다르니 구분하세요.
- 가구 분리, 가구주 변경 시 추적 단위를 어떻게 정의했는지 명시해야 합니다.
- 복지패널이 제공하는 종단 가중치의 구성은 자료 버전에 따라 다를 수 있으니, 사용자 가이드에서 직접 확인하시길 권합니다.
권장 절차
불균형 패널로 기본 추정 → 균형 패널 결과와 비교(강건성 확인용) → 선택 진단 → IPW 적용 → 필요 시 민감도 분석 순으로 진행하고, 결과가 달라지는지 논문에 함께 보고하세요.
GPT-6.1 Sol의 답변
이탈 가구를 일괄 제외하기보다 불균형 패널을 유지하고, 이탈 원인을 점검해 가중치 보정과 민감도 분석을 병행하세요.
균형 패널이 더 안전한 것은 아닙니다
모든 차수에 응답한 가구만 남기면 표본과 정밀도가 줄고, 장기간 응답할 수 있는 가구만 선택하는 선택편향이 생길 수 있습니다. 고정효과·확률효과 모형은 불균형 패널에서도 추정할 수 있지만, 추정 가능하다는 것이 이탈 편향이 없다는 뜻은 아닙니다. 고정효과도 이탈 문제를 자동으로 해결하지 않습니다.
권장하는 처리 순서
-
분석 대상과 이탈 유형을 구분하세요. 일시적 무응답 후 복귀, 영구 이탈, 사망, 가구 분리·합가를 나누고, 추적 단위가 가구인지 개인인지 확인하세요. 특히 사망은 단순 결측으로 보정할 문제가 아니라, 생존 가구의 빈곤을 볼지 등 연구 대상의 정의와 연결됩니다.
-
이탈의 예측 요인을 확인하세요. 다음 차수 응답 여부를 직전 빈곤 상태, 소득, 건강, 연령, 가구구성 등으로 설명해 보세요. 잔류·이탈 가구의 이전 특성도 비교합니다. 다만 이 점검만으로 결측이 무작위임을 입증할 수는 없습니다.
-
불균형 패널을 기본 분석으로 활용하세요. 이탈 전의 유효한 관측치를 일괄 삭제할 필요는 없습니다. 한국복지패널의 해당 차수 이용지침에서 종단가중치의 적용 대상과 이탈 보정 범위를 확인하고, 층화·집락 등 조사설계도 고려하세요.
-
필요하면 보정과 민감도 분석을 병행하세요. 관측된 과거 정보로 응답 여부를 충분히 설명할 수 있다는 가정 아래, 응답확률의 역수를 주는 역확률가중법 등을 검토할 수 있습니다. 응답확률이 매우 낮아 가중치가 커지는지도 점검해야 합니다.
관측되지 않은 현재 빈곤이 이탈에 영향을 준다면 이러한 보정만으로는 충분하지 않습니다. 이 경우 이탈 가구의 빈곤이 더 심하다는 가정 등을 바꾼 민감도 분석이 필요합니다. 균형 패널 결과는 보조적으로 비교하되, 결과가 비슷하다는 사실만으로 편향이 없다고 결론짓지는 마세요.
Gemini 3.8 Flash의 답변
균형 패널로 억지로 맞추기보다 불균형 패널을 기본으로 사용하되, 이탈 편향 검정을 거치고 역확률 가중치(IPW)나 고정효과 모형으로 보정하는 것이 통계학적으로 안전합니다.
결론부터 말씀드리면, 이탈 가구를 제외하여 균형 패널(Balanced panel)로 강제 변환하는 것은 권장되지 않습니다.
연구자가 우려하신 대로, 노인 패널에서 이탈은 단순 누락이 아니라 '건강 악화', '사망', '극심한 빈곤으로 인한 거주지 불명' 등 연구 관심 변수와 깊게 연관되어 있을 가능성이 높습니다. 이 상황에서 모든 차수를 완료한 가구만 남기면 표본 수가 급감할 뿐만 아니라, 상대적으로 건강하고 경제적으로 안정된 노인만 남는 **생존자 편향(Survivorship bias)**이 발생하여 연구 결과가 심각하게 왜곡됩니다.
따라서 다음과 같은 단계로 접근하는 것이 바람직합니다.
1. 불균형 패널을 기본(Baseline)으로 사용
현대 계량경제학 패널 모형은 불균형 패널(Unbalanced panel)을 자연스럽게 지원합니다. 가구가 관측된 기간의 정보만이라도 모형에 반영하는 것이 표본 손실을 줄이고 효율성을 높이는 방법입니다. 특히 **고정효과 모형(Fixed Effects Model, 시간에 따라 변하지 않는 개인·가구 고유의 숨은 특성을 통제하는 방법)**을 적용하면, 관측되지 않은 가구 특성이 시간에 따라 일정하다는 전제하에 이탈로 인한 편향을 상당 부분 흡수할 수 있습니다.
2. 이탈 편향(Attrition Bias) 검정 수행
이탈이 무작위(Random)로 일어났는지 확인해야 합니다.
- Verbeek & Nijman 검정: 이전 차수 모형에 '다음 차수 응답 여부' 더미변수나 '총 참여 차수' 변수를 추가하여, 이탈 여부가 종속변수에 유의한 영향을 주는지 회귀분석으로 확인합니다.
- 계수가 유의하지 않다면 불균형 패널을 그대로 사용해도 무방합니다.
3. 이탈이 비무작위적(Non-random)일 경우 대처법
검정 결과 이탈이 특정 특성(소득, 연령 등)과 관련되어 편향이 확인된다면 다음 방법을 적용합니다.
- 역확률 가중치(IPW; Inverse Probability Weighting): 관측된 변수들을 활용해 각 가구가 다음 차수까지 패널에 잔류할 확률을 로짓(Logit) 모형 등으로 추정한 뒤, 잔류 확률의 역수를 가중치로 부여하여 분석하는 기법입니다. 소외되기 쉬운 취약 가구의 관측치에 더 높은 가중치를 주어 대표성을 회복시킵니다.
- 한국복지패널에서 제공하는 **종단 가중치(Longitudinal weights)**를 모형에 적극적으로 적용하는 것도 실무적인 해결책입니다.
4. 강건성 검정(Robustness Check)으로 균형 패널 보고
학술 논문에서는 불균형 패널 분석을 주 결과로 제시하되, 부록이나 추가 분석에서 균형 패널 분석 결과를 함께 제시하며 핵심 결론(계수의 부호나 유의성)이 달라지지 않는지 비교해 보여주는 방식이 널리 쓰입니다.