Hosmer-Lemeshow 검정 p<.05면 모형 적합도 불량?
섬망 다변량 logistic, 의무기록 약 600건. HL test p=.03, AUC 0.78.
Gemini 3.8 Flash의 답변
통계적으로는 모형의 보정능력(적합도)에 결함이 있다는 의미지만, 표본 크기와 HL 검정의 한계 및 우수한 AUC(0.78)를 고려할 때 모형 전체가 불량하다고 단정하기는 어렵습니다.
1. $p < .05$의 통계적 의미
호스머-레메쇼(Hosmer-Lemeshow, 이하 HL) 검정은 모형이 예측한 발병 확률과 실제 관측치의 일치율, 즉 **모형 적합도(Goodness-of-Fit) 및 보정(Calibration)**을 평가합니다.
- 귀무가설($H_0$): 관측치와 예측치 간에 통계적으로 유의미한 차이가 없다 (모형이 적합하다).
- 해석: $p = 0.03$은 귀무가설을 기각하므로, 엄밀히 통계학적으로는 **"예측 확률과 실제 결과 간에 차이가 있어 보정이 완벽하지 않다"**는 신호가 맞습니다.
2. '모형 불량'으로 단정할 수 없는 이유
① 변별력(Discrimination)과 보정(Calibration)의 차이
- AUC 0.78: 모형의 변별력(섬망 환자와 비섬망 환자를 서로 구별해 내는 능력)은 '우수(acceptable to good)' 수준입니다.
- 즉, 이 모형은 **"환자의 위험 순위는 잘 매기지만, 절대적인 확률 수치를 다소 과대 혹은 과소 평가하고 있을 가능성"**을 뜻합니다.
② HL 검정 자체의 통계적 한계
- HL 검정은 대상자를 임의로 10개 군(십분위수)으로 나누어 검정하므로, 그룹을 나누는 기준이나 표본 수($N=600$ 수준이면 약한 불일치도 유의하게 잡힐 수 있음)에 민감하게 흔들립니다.
- 실제로 최신 통계 지침(TRIPOD 가이드라인 등)에서는 HL 검정 단독 사용을 권장하지 않습니다.
3. 실무적 권장 조치
- 보정 곡선(Calibration plot) 시각화:
- $p$값에만 의존하지 말고, $x$축(예측 확률)과 $y$축(실제 발생률)을 그린 보정 곡선을 직접 확인하십시오. 45도 대각선에서 특정 구간(예: 고위험군)만 크게 벗어났는지 확인해야 합니다.
- 모형 개선 검토:
- 주요 연속형 예측변수의 비선형 관계(예: 연령의 비선형성)가 모형에 반영되지 않았거나, 중요한 교호작용(상호작용)이 누락되었을 때 HL $p$값이 낮아질 수 있습니다.
- 논문 서술 팁:
- $p=0.03$과 AUC 0.78을 투명하게 기술하되, 보정 곡선 그래프를 첨부하여 "전체적인 예측 경향성은 유지되나 일부 위험 구간에서 보정이 불안정한 한계가 있다"고 서술하는 것이 학술적으로 권장되는 방식입니다.
Claude Sonnet 5.5의 답변
HL 검정 p=.03은 보정(calibration) 문제의 신호일 뿐 "불량" 판정은 아니며, 보정 곡선 등으로 원인을 확인해야 합니다.
결론
p<.05는 "모형이 자료에 잘 맞는다"는 귀무가설을 기각한다는 뜻입니다. 즉 예측 확률과 실제 발생 비율 사이에 어긋남이 있을 수 있다는 증거입니다. 다만 이것만으로 모형이 불량하다고 단정할 수는 없습니다.
해석 시 유의점
- AUC와 HL은 다른 것을 봅니다. AUC 0.78은 환자를 구분하는 능력(discrimination)으로, 보통 중등도 이상으로 봅니다. HL은 예측 확률이 실제 비율과 맞는지(calibration)를 봅니다. 둘은 독립적이라 AUC가 좋아도 보정이 나쁠 수 있습니다.
- HL은 거친 검정입니다. 예측 확률로 환자를 보통 10개 집단으로 나눠 비교하므로, 집단 수에 따라 p값이 달라집니다. 어디서, 어느 방향으로 어긋나는지도 알려주지 않습니다.
- p=.03은 약한 증거입니다. 600건에서 이 정도 값은 경계선에 가깝고, 집단 수를 바꾸면 결과가 뒤집힐 수 있습니다.
권장 확인 사항
- 집단 수를 8, 10, 12로 바꿔 p값이 안정적인지 확인합니다.
- 집단별 관찰·기대 사건 수 표를 보고 어느 구간이 어긋나는지 확인합니다.
- 보정 곡선(calibration plot), 보정 절편·기울기, Brier 점수를 보고합니다. (R의
rms::calibrate,val.prob등) - 연속 변수(나이, 검사 수치 등)의 비선형성(스플라인 적용), 누락된 상호작용이나 중요 변수를 점검합니다.
- 필요하면 Stukel 검정, le Cessie–van Houwelingen 검정 같은 대안 검정을 함께 봅니다.
- 부트스트랩 등 내부 검증으로 낙관 편향(optimism)을 보정한 AUC를 제시합니다. 설명 변수 수에 비해 섬망 발생 건수가 충분한지(변수당 사건 수)도 확인하세요.
보고 방식
HL p값 하나로 적합도를 판단하지 말고, 판별력(AUC)과 보정(곡선·기울기)을 함께 제시하는 것이 최근 권고(TRIPOD 등)에 부합합니다. 보정 곡선이 대각선 근처라면 p=.03은 크게 문제 되지 않을 수 있습니다.
GPT-6.1 Sol의 답변
HL p=.03은 보정 불일치의 신호지만, 모형 전체가 부적합하다는 뜻은 아니며 AUC 0.78과도 모순되지 않습니다.
“HL 검정상 적합도 불량”은 맞지만, 이를 “쓸 수 없는 모형”으로 해석하면 과도합니다.
Hosmer–Lemeshow(HL) 검정은 예측확률에 따라 자료를 여러 군으로 나누어 예측한 사건 수와 실제 사건 수가 일치하는지 평가합니다. p=.03이면 유의수준 .05에서 이 귀무가설을 기각하므로, **보정(calibration, 예측확률과 실제 발생률의 일치)**에 문제가 있을 가능성을 시사합니다. 다만 불일치의 크기나 임상적 중요성을 알려주지는 않습니다.
반면 AUC 0.78은 판별력, 즉 섬망 발생자에게 비발생자보다 높은 예측값을 주는 능력을 나타냅니다. 따라서 판별력은 있어도 섬망 위험을 전반적으로 과대·과소 추정할 수 있습니다.
추가로 확인할 사항
- 보정 그림: 예측확률과 실제 발생률을 비교해 불일치의 위치와 크기를 확인합니다.
- 보정 절편·기울기: 이상적인 값은 각각 0과 1입니다. 같은 자료에서 개발한 모형은 낙관적으로 평가될 수 있어 부트스트랩 등 내부검증이 중요합니다.
- 섬망 사건 수와 모형 복잡도: 총 600건만으로 충분성을 판단할 수 없습니다. 사건 수, 추정한 계수 수, 결측치 처리도 확인해야 합니다.
HL 검정은 표본 크기와 군 구분 방식에 영향을 받으므로, p값만으로 모형을 폐기하거나 비유의하게 만들도록 수정하지는 마세요.
논문에는 다음처럼 기술할 수 있습니다.
AUC는 0.78이었으며, HL 검정에서 예측값과 관측값 간 불일치가 시사되었다(p=.03). 보정의 정도는 보정 그림과 내부검증을 통해 추가 평가하였다.
마지막 문장은 실제 추가 평가를 수행한 경우에만 사용하세요.