로지스틱 회귀 다중공선성, VIF는 선형회귀에서만 의미 있다?

VIF는 선형회귀용이라 logistic에서는 볼 필요 없다는 말 들음. 사실인지.

Gemini 3.8 Flash의 답변

VIF는 독립변수 간의 상관관계를 측정하므로, 로지스틱 회귀에서도 다중공선성으로 인한 추정치 왜곡을 방지하기 위해 반드시 확인해야 합니다.

"VIF(분산팽창인자·Variance Inflation Factor)는 선형회귀 전용이라 로지스틱 회귀에서는 볼 필요가 없다"는 주장은 명백한 사실무근입니다.

로지스틱 회귀분석에서도 다중공선성(Multicollinearity: 독립변수들 사이에 강한 선형적 상관관계가 존재하는 현상)은 심각한 통계적 오류를 유발하며, 이를 탐지하는 데 VIF는 널리 쓰이는 표준 지표입니다.

1. VIF의 계산 원리: 종속변수($Y$)와 무관함

VIF는 특정 독립변수를 종속변수로 두고 나머지 독립변수들로 선형회귀를 수행했을 때 나오는 결정계수($R^2$)를 기반으로 계산됩니다($VIF = \frac{1}{1 - R^2}$). 즉, VIF는 오직 독립변수($X$)들 사이의 선형관계만 측정합니다. 모델의 종속변수가 연속형(선형회귀)이든 이진 범주형(로지스틱 회귀)이든 독립변수 행렬의 공선성 구조 자체는 동일하므로 로지스틱 회귀에서도 유효하게 작동합니다.

2. 로지스틱 회귀에서 다중공선성을 무시할 경우 생기는 문제

로지스틱 회귀는 최대우도추정법(MLE: 관측 데이터가 나타날 가능성을 최대화하는 모수를 찾는 방법)을 사용합니다. 다중공선성이 존재하면 다음과 같은 문제가 발생합니다:

  • 표준오차의 비정상적 팽창: 회귀계수의 표준오차(SE)가 극단적으로 커집니다.
  • 검정력 저하: 왈드 검정(Wald test: 계수가 0인지 검정하는 방법) 통계량이 급감하여, 실제로 중요한 변수가 통계적으로 유의하지 않은 것으로 잘못 판정됩니다.
  • 오즈비(Odds Ratio) 왜곡: 계수 부호가 반대로 뒤집히거나 오즈비의 신뢰구간이 지나치게 넓어져 결과를 학술적으로 해석할 수 없게 됩니다.

3. 실무 및 연구에서의 적용

  • 판단 기준: 선형회귀와 동일하게 일반적으로 VIF가 5 또는 10 이상이면 심각한 공선성이 있다고 판단합니다.
  • 분석 팁: 독립변수 중에 범주형 변수(더미 변수)가 다수 포함된 경우, 자유도를 고려해 보정된 GVIF(Generalized VIF) 지표를 확인하는 것이 더욱 엄밀합니다. 통계 프로그램(R의 car::vif(), Python 등)에서도 로지스틱 회귀 객체에 대해 바로 VIF를 계산해 줍니다.

Claude Sonnet 5.5의 답변

VIF는 설명변수끼리의 관계만 보므로 로지스틱 회귀에서도 유효하며, 다중공선성 점검은 필요하다.

왜 로지스틱에서도 의미가 있나

VIF(분산팽창계수)는 각 설명변수를 나머지 설명변수들로 회귀해 얻은 R²로 계산합니다(VIF = 1/(1−R²)). 이 계산에는 종속변수 y가 들어가지 않습니다. 따라서 모형이 선형인지 로지스틱인지와 무관하게 "설명변수들이 서로 얼마나 겹치는가"를 보여 줍니다.

다중공선성이 일으키는 문제도 같습니다. 로지스틱 회귀의 계수 추정량 분산은 정보행렬 (X′WX)⁻¹에서 나오고, 설명변수끼리 상관이 높으면 이 행렬이 불안정해집니다. 그 결과 다음 문제가 생깁니다.

  • 계수의 표준오차가 커져 유의성 검정이 불안정해짐
  • 표본이 조금만 바뀌어도 계수의 크기와 부호가 흔들림
  • 오즈비 해석이 어려워짐

주의할 점

  • 가중치 문제: 로지스틱에서는 관측치마다 가중치 W가 있습니다. 일반 OLS 방식의 VIF는 이를 반영하지 않으므로 정확한 값이 아니라 근사적 진단입니다. 그래도 실무에서는 충분히 쓸모 있는 지표로 널리 쓰입니다.
  • 목적에 따라 중요도가 다름: 예측 성능만 목표라면 다중공선성의 영향은 상대적으로 작습니다. 반면 계수 해석이나 변수 효과 추론이 목적이면 반드시 확인해야 합니다.
  • 기준값: 5나 10을 넘으면 의심한다는 것은 경험적 규칙일 뿐 엄밀한 기준이 아닙니다.
  • 범주형 변수: 더미 여러 개로 이뤄진 변수는 GVIF(일반화 VIF)를 보는 편이 적절합니다. R의 car::vif()가 이를 지원합니다.
  • 교호작용·다항항: 이런 항은 구조적으로 VIF가 높게 나오므로 중심화(centering) 후 판단합니다.

대응 방법

변수 제거나 결합, 주성분 활용, 릿지·라쏘 같은 정규화 로지스틱이 있습니다.

결론

"VIF는 선형회귀 전용"이라는 말은 사실이 아닙니다. 다만 "가중치를 반영하지 않아 근사치"라는 한계가 와전됐을 가능성은 있습니다.

GPT-6.1 Sol의 답변

VIF는 로지스틱 회귀에서도 유용하지만, 계수 추정의 불안정성을 전부 설명하는 지표는 아닙니다.

“VIF는 선형회귀용이므로 로지스틱 회귀에서는 볼 필요 없다”는 말은 틀립니다. 다만 해석에 차이가 있습니다.

왜 로지스틱 회귀에서도 보나?

다중공선성은 설명변수 사이의 강한 선형 관계입니다. 종속변수가 연속형인지 이진형인지와 무관하게 생깁니다.

일반적인 VIF(분산팽창계수)는 설명변수 (X_j)를 나머지 설명변수에 선형회귀해 얻은 결정계수 (R_j^2)로 계산합니다.

[ \mathrm{VIF}_j=\frac{1}{1-R_j^2} ]

따라서 로지스틱 회귀에 넣을 설명변수들의 중복성을 점검하는 데도 의미가 있습니다. 이 보조회귀의 목적은 이진 종속변수를 분석하는 것이 아닙니다.

무엇을 주의해야 하나?

  • 선형회귀에서는 VIF가 계수 분산의 팽창과 직접 연결됩니다. 로지스틱 회귀의 계수 분산은 적합된 확률에 따른 가중치에도 좌우되므로, 일반 VIF를 같은 의미의 정확한 분산 배율로 해석하면 안 됩니다.
  • VIF가 높으면 개별 계수·오즈비의 표준오차가 커지고 해석이 불안정해질 수 있습니다. 그렇다고 예측 성능이 반드시 나쁜 것은 아닙니다.
  • 5나 10은 경험적 기준이지 자동 변수 제거 기준이 아닙니다. 연구 목적과 변수의 이론적 필요성을 함께 판단해야 합니다.
  • 낮은 VIF도 안정적인 추정을 보장하지 않습니다. 희소한 자료나 완전분리—설명변수가 결과를 완벽히 구분하는 현상—는 별도로 확인해야 합니다.

즉, VIF를 보되, 계수·표준오차·신뢰구간과 분리 여부도 함께 점검하는 것이 적절합니다.

비슷한 질문