[기초] Part 10. 점수를 결정으로 바꾸는 일: 비즈니스 연결과 커뮤니케이션

드디어 마지막 편입니다.

지금까지 좋은 모델을 만들고(Part 1에서 4), 정직하게 재고(Part 5), 인과로 개입을 설계하고(Part 6), 검증하고 지켜내고(Part 7과 8), 실제로 굴러가게 하는 배관까지(Part 9) 왔습니다.

그런데 여기까지 다 해도 아무 일도 일어나지 않을 수 있습니다. 모델은 누군가의 결정으로 바뀔 때 비로소 현실에 닿습니다. 점수가 승인이 되고, 금리가 되고, 한도가 되어야 합니다. 그리고 그 과정을 다른 부서 사람들에게 납득시켜야 합니다.

이번 편은 점수를 결정으로 바꾸는 일, 그리고 그 결과를 전달하는 일입니다.

컷오프는 정확도가 아니라 기대수익으로 정합니다

모델을 다 만들면 가장 먼저 부딪히는 질문이 이겁니다. 몇 점부터 승인할 것인가.

여기서 흔한 실수가 모델 평가 지표로 이걸 정하려는 것입니다. 정확도가 가장 높은 지점이나 F1이 최대인 지점을 고르는 식입니다. 그런데 Part 0에서 봤듯 신용의 비용은 비대칭입니다. 우량 고객 한 명을 승인해 버는 돈은 마진이고, 부도 한 건의 비용은 LGD 곱하기 EAD입니다. 한쪽이 수십 배 무겁습니다.

그래서 임계값은 통계 지표가 아니라 돈으로 정합니다.

기대수익 = (1 − PD) × 마진 − PD × LGD × EAD

각 신청자에 대해 이 값을 계산하고, 기대수익이 양수가 되는 지점이 경제적인 컷오프입니다. 포트폴리오 전체로 보면 컷오프를 움직일 때마다 승인되는 집단이 달라지고, 총 기대수익이 산 모양으로 움직입니다.

여기서 중요한 건 부도율이 가장 낮은 지점이 정답이 아니라는 것입니다. 아무도 승인하지 않으면 부도율은 0이지만 수익도 0입니다. 리스크 부서와 영업 부서가 부딪히는 지점이 보통 여기인데, 기대수익이라는 공통의 자로 이야기하면 그 논쟁이 훨씬 생산적으로 바뀝니다.

승인과 거절만 있는 게 아닙니다

컷오프는 가장 단순한 형태의 결정입니다. 실무에서는 선택지가 더 많습니다.

하나는 위험에 비례해 조건을 다르게 주는 것입니다. 같은 승인이라도 부도 확률이 높은 쪽에는 금리를 높게 매깁니다. 이게 가능하려면 Part 5에서 강조한 보정된 확률이 필요합니다. 순위만 맞아서는 금리를 매길 수 없고, “이 사람은 3.2퍼센트”라는 절대 숫자가 있어야 가격이 나옵니다.

다른 하나는 한도입니다. 승인하되 얼마를 줄 것인가는 수익과 손실, 그리고 고객이 실제로 얼마나 쓸지까지 함께 봐야 하는 문제입니다. 그리고 Part 6에서 봤듯 한도를 올리면 부도가 어떻게 바뀌는지는 상관이 아니라 인과의 질문입니다. 한도가 높은 고객의 부도율이 낮다고 해서 한도를 올리면 부도가 준다고 결론 내리면 방향부터 틀립니다.

정책을 바꾸기 전에 스왑 분석을 합니다

새 모델이 기존 모델보다 성능이 좋다고 해서 바로 바꾸지 않습니다. Part 7의 섀도 모드와 함께 자주 쓰는 것이 스왑 분석입니다.

기준이 바뀌면 어떤 사람들이 새로 들어오고 어떤 사람들이 빠져나가는지를 미리 보는 작업입니다. 새로 승인되는 집단을 스왑인, 기존에는 승인됐는데 이제 거절되는 집단을 스왑아웃이라고 부릅니다. 전체 승인율은 거의 그대로인데 구성이 완전히 달라지는 경우도 흔합니다.

이걸 미리 보면 “성능이 2퍼센트 좋아졌다”가 아니라 “승인율은 유지되면서 부도율이 몇 bp 내려가고, 대신 특정 세그먼트의 승인이 줄어든다”는 식으로 말할 수 있습니다. 뒤쪽이 의사결정에 훨씬 쓸모 있고, Part 8의 공정성 점검과도 바로 연결됩니다.

모델은 재무제표까지 흘러갑니다

여기서 Part 0에서 꺼내 놓고 계속 미뤄 왔던 이야기를 마무리하겠습니다. 모델 하나가 왜 회사 전체를 흔드느냐는 이야기입니다.

모델이 내놓은 PD와 LGD는 심사에서만 쓰이고 끝나지 않습니다. 회계로 넘어가 대손충당금 계산에 들어가고, 자본 규제 쪽으로 넘어가 소요자본 계산에 들어갑니다. 즉 모델을 손보면 그 분기의 손익이 움직이고 자본비율이 움직입니다.

Part 7에서 왜 그렇게까지 검증하고 문서를 남기느냐고 했던 질문의 답이 여기 있습니다. 모델 변경이 재무 수치 변경이기 때문입니다. 데이터 사이언티스트가 코드를 고치는 일이 회계와 규제 보고로 번지는 구조라, 느릴 수밖에 없고 느린 게 맞습니다.

상대에 따라 언어가 달라집니다

같은 모델 이야기를 해도 듣는 사람에 따라 전혀 다르게 말해야 합니다. 이게 생각보다 큰 비중을 차지합니다.

경영진에게는 AUC가 아니라 돈과 리스크로 말합니다. “지니가 0.02 올랐습니다”가 아니라 “승인율을 유지하면서 연간 손실을 몇 억 줄일 수 있고, 대신 특정 세그먼트 승인이 줄어듭니다”가 들리는 말입니다.

리스크와 검증 부서에는 가정과 한계와 안정성으로 말합니다. 어떤 가정 위에 서 있는지, 그 가정이 흔들리면 결론이 어떻게 되는지, 시간이 지나도 안정적인지가 그들의 관심사입니다. Part 7의 독립 검증이 묻는 것들이 정확히 이것입니다.

컴플라이언스에는 설명가능성과 공정성으로 말합니다. 거절 사유를 어떻게 산출하는지, 보호속성과 대리변수를 어떻게 점검했는지가 Part 8에서 본 그 질문들입니다.

엔지니어링에는 파이프라인과 응답시간으로 말합니다. 피처가 서빙 시점에 실제로 존재하는지, 지연은 얼마나 되는지가 Part 9의 이야기입니다.

같은 하나의 모델인데 네 개의 언어가 필요합니다. 그리고 이걸 잘하는 사람이 결국 모델을 실제로 배포시킵니다.

과신이 곧 모델 리스크입니다

마지막으로 커뮤니케이션에서 제일 중요한 것을 말씀드리겠습니다. 한계를 솔직하게 말하는 것입니다.

숫자를 들고 가면 확신 있게 말하고 싶어집니다. 그런데 이 분야에서 과신은 그 자체로 모델 리스크입니다. 관측되지 않은 반사실 위에서 추정했고(Part 0과 6), 라벨은 1년 뒤에야 확정되며(Part 0), 분포는 계속 이동합니다(Part 7). 이 불확실성을 숨기고 단정하면, 나중에 틀렸을 때 잃는 건 그 모델 하나가 아니라 데이터 조직 전체의 신뢰입니다.

“이 조건에서는 이렇게 나왔고, 이 가정이 깨지면 결론이 바뀝니다”라고 말하는 쪽이 길게 보면 훨씬 강합니다. 정직하게 범위를 좁혀 말한 사람의 숫자를 사람들이 더 믿게 되니까요.

열한 편을 마치며

이렇게 Part 0부터 열한 편이 끝났습니다. 처음 질문은 이거였습니다. 일반 ML을 잘하는 사람도 왜 신용 심사에 오면 한 번쯤 넘어지는가.

돌아보면 답은 이 분야의 구조에 있었습니다. 우리는 승인한 사람의 결과만 보고(Part 0), 시간은 한 방향으로 흐르며(Part 3), 비용은 비대칭이고(Part 0), 우리가 내리는 결정 자체가 결과에 개입합니다(Part 6). 그래서 순위를 잘 매기는 것으로는 부족하고(Part 5), 만든 뒤에 검증하고 지켜내야 하며(Part 7), 왜 그렇게 판정했는지 설명하고 공정한지 답해야 하고(Part 8), 그 전부가 파이프라인 위에서 정합성 있게 굴러가야 합니다(Part 9).

그리고 오늘 본 것처럼, 그 모든 게 결국 누군가의 결정과 회사의 재무로 이어집니다.

Part 0에서 이 분야의 실력을 한 줄로 이렇게 정리했습니다. 예측 정확도 경쟁이 아니라, 관측되지 않는 반사실을 시간이 흐르고 비용이 비대칭인 환경에서 설명 가능하고 안정적으로 추정하는 일이라고요. 열한 편을 쓰고 난 지금도 같은 생각입니다. 거기에 한 가지만 덧붙이고 싶습니다. 그 추정을 다른 사람이 믿고 결정에 쓸 수 있는 형태로 전달하는 것까지가 이 일입니다.

기초 시리즈는 여기서 마칩니다. 다만 블로그는 계속됩니다. 앞으로는 이 토대 위에서 한 주제를 깊게 파는 심화편과, 논문을 실무 언어로 정리하는 페이퍼편, 새로 나온 도구가 실제로 쓸모 있는지 직접 재보는 리뷰편으로 이어가겠습니다.

긴 시리즈를 따라와 주셔서 고맙습니다.