로지스틱 회귀 다중공선성, VIF는 선형회귀에서만 의미 있다?
VIF는 선형회귀용이라 logistic에서는 볼 필요 없다는 말 들음. 사실인지.
VIF는 선형회귀용이라 logistic에서는 볼 필요 없다는 말 들음. 사실인지.
VIF는 독립변수 간의 상관관계를 측정하므로, 로지스틱 회귀에서도 다중공선성으로 인한 추정치 왜곡을 방지하기 위해 반드시 확인해야 합니다.
"VIF(분산팽창인자·Variance Inflation Factor)는 선형회귀 전용이라 로지스틱 회귀에서는 볼 필요가 없다"는 주장은 명백한 사실무근입니다.
로지스틱 회귀분석에서도 다중공선성(Multicollinearity: 독립변수들 사이에 강한 선형적 상관관계가 존재하는 현상)은 심각한 통계적 오류를 유발하며, 이를 탐지하는 데 VIF는 널리 쓰이는 표준 지표입니다.
VIF는 특정 독립변수를 종속변수로 두고 나머지 독립변수들로 선형회귀를 수행했을 때 나오는 결정계수($R^2$)를 기반으로 계산됩니다($VIF = \frac{1}{1 - R^2}$). 즉, VIF는 오직 독립변수($X$)들 사이의 선형관계만 측정합니다. 모델의 종속변수가 연속형(선형회귀)이든 이진 범주형(로지스틱 회귀)이든 독립변수 행렬의 공선성 구조 자체는 동일하므로 로지스틱 회귀에서도 유효하게 작동합니다.
로지스틱 회귀는 최대우도추정법(MLE: 관측 데이터가 나타날 가능성을 최대화하는 모수를 찾는 방법)을 사용합니다. 다중공선성이 존재하면 다음과 같은 문제가 발생합니다:
car::vif(), Python 등)에서도 로지스틱 회귀 객체에 대해 바로 VIF를 계산해 줍니다.VIF는 설명변수끼리의 관계만 보므로 로지스틱 회귀에서도 유효하며, 다중공선성 점검은 필요하다.
VIF(분산팽창계수)는 각 설명변수를 나머지 설명변수들로 회귀해 얻은 R²로 계산합니다(VIF = 1/(1−R²)). 이 계산에는 종속변수 y가 들어가지 않습니다. 따라서 모형이 선형인지 로지스틱인지와 무관하게 "설명변수들이 서로 얼마나 겹치는가"를 보여 줍니다.
다중공선성이 일으키는 문제도 같습니다. 로지스틱 회귀의 계수 추정량 분산은 정보행렬 (X′WX)⁻¹에서 나오고, 설명변수끼리 상관이 높으면 이 행렬이 불안정해집니다. 그 결과 다음 문제가 생깁니다.
car::vif()가 이를 지원합니다.변수 제거나 결합, 주성분 활용, 릿지·라쏘 같은 정규화 로지스틱이 있습니다.
"VIF는 선형회귀 전용"이라는 말은 사실이 아닙니다. 다만 "가중치를 반영하지 않아 근사치"라는 한계가 와전됐을 가능성은 있습니다.
VIF는 로지스틱 회귀에서도 유용하지만, 계수 추정의 불안정성을 전부 설명하는 지표는 아닙니다.
“VIF는 선형회귀용이므로 로지스틱 회귀에서는 볼 필요 없다”는 말은 틀립니다. 다만 해석에 차이가 있습니다.
다중공선성은 설명변수 사이의 강한 선형 관계입니다. 종속변수가 연속형인지 이진형인지와 무관하게 생깁니다.
일반적인 VIF(분산팽창계수)는 설명변수 (X_j)를 나머지 설명변수에 선형회귀해 얻은 결정계수 (R_j^2)로 계산합니다.
[ \mathrm{VIF}_j=\frac{1}{1-R_j^2} ]
따라서 로지스틱 회귀에 넣을 설명변수들의 중복성을 점검하는 데도 의미가 있습니다. 이 보조회귀의 목적은 이진 종속변수를 분석하는 것이 아닙니다.
즉, VIF를 보되, 계수·표준오차·신뢰구간과 분리 여부도 함께 점검하는 것이 적절합니다.