[기초] Part 8. 왜 이렇게 판정했는지 답할 수 있어야 합니다: 해석가능성과 공정성, 규제

Part 7까지 오면서 좋은 모델을 만들고(Part 4), 정직하게 평가하고(Part 5), 인과로 정책을 세우고(Part 6), 그 모델을 검증하고 오래 지켜내는(Part 7) 이야기를 했습니다. 이제 신뢰의 마지막 축이 남았습니다. 왜 그렇게 판정했는지 설명할 수 있어야 하고, 그 판정이 공정한지 답할 수 있어야 한다는 것입니다.

Part 0에서 이 분야가 일반 ML과 다른 이유로 “해석가능성은 선택이 아니라 의무”라는 것과 “규제와 거버넌스가 늘 밑에 깔려 있다”는 것을 꼽았는데(6번과 7번), 이번 편이 그 두 가지를 정면으로 다루는 자리입니다. 다른 분야에서는 “왜?”에 답하는 게 있으면 좋은 보너스지만, 신용에서는 그게 없으면 위법이거나 배포 자체가 막힙니다.

설명은 보너스가 아니라 의무입니다

먼저 왜 해석가능성이 의무인지부터. 신용에서 모델은 한 사람의 대출을 거절하거나, 한도를 깎거나, 금리를 올립니다. 이런 결정을 내리는 모델은 왜 그렇게 판단했는지를 설명할 수 있어야 합니다. 다만 누구에게 설명해야 하는가는 나라마다 다릅니다.

한쪽 끝에는 미국이 있습니다. 떨어진 신청자에게 주된 거절 사유를 통지해야 하는 요건이 있어서, 설명 의무가 소비자를 향합니다. 반대쪽에 일본이 있습니다. 카드사의 심사 기준은 비공개이고, 탈락한 신청자에게 이유를 알려줄 의무는 없습니다. 신청자가 할 수 있는 건 CIC 같은 신용정보기관에 자기 신용정보를 개시 청구해서 확인하는 정도입니다.

그런데 소비자에게 이유를 통지하지 않는다고 해서 설명이 필요 없는 건 아닙니다. 방향이 다를 뿐입니다. 일본에서도 모델은 감독당국에 설명될 수 있어야 하고, 할부판매법(割賦販売法)의 지불가능산정액(支払可能見込額)처럼 모델이 그대로 법적 근거가 되는 자리에서는 그 판단을 방어할 수 있어야 하며, 내부 검증과 감사(Part 7)도 이 점수의 근거가 뭐냐를 묻습니다. 그래서 신용에서 블랙박스는 멋진 최신 기술이 아니라 그 자체로 리스크입니다. 성능이 아무리 좋아도, 왜 그렇게 나왔는지 말할 수 없으면 쓸 수가 없거든요.

투명한 모델과 사후 설명

설명 가능하게 만드는 길은 크게 둘입니다.

하나는 애초에 투명한 모델을 쓰는 것입니다. 스코어카드나 로지스틱 회귀, 얕은 의사결정규칙 같은 것들은 구조 자체가 설명입니다. Part 4와 5에서 본 WOE와 스코어카드가 대표적인데, 어떤 특성이 점수를 몇 점 올리고 내리는지가 표로 그대로 보입니다. 이런 모델을 흔히 글래스박스라고 부릅니다.

다른 하나는 성능을 위해 복잡한 모델을 쓰되, 사후 설명을 붙이는 것입니다. 대표가 SHAP입니다. 게임이론에 기반해서, 이 예측에 각 특성이 얼마나 기여했는지를 일관된 방식으로 뜯어 보여줍니다. 비슷하게 LIME이나 부분의존도, 순열 중요도 같은 도구도 있습니다.

여기서 두 종류의 설명을 구분하면 좋습니다. 전역 해석은 모델 전체가 무엇을 중시하는지를 보는 것이고, 국소 해석은 바로 이 사람이 왜 이 점수를 받았는지를 보는 것입니다. 신용에서는 국소 해석이 특히 중요합니다. 거절 사유를 통지하려면 결국 개인 한 명 단위로 “당신은 이 이유들 때문에 떨어졌습니다”를 말할 수 있어야 하니까요.

한 가지 정직하게 덧붙이면, 사후 설명은 블랙박스의 속을 진짜로 여는 게 아니라 바깥에서 근사하는 것입니다. SHAP 값도 완벽한 진실은 아닙니다. 그래서 가능하면 애초에 해석 가능한 구조를 선호하고, 복잡한 모델을 쓰더라도 설명을 나중에 급히 붙이는 게 아니라 처음부터 같이 설계합니다.

여기에 자주 얹는 장치가 단조성 제약입니다. “소득이 높을수록 점수가 낮아지면 안 된다”처럼 상식과 규제에 맞는 방향을 모델이 반드시 지키도록 강제하는 것입니다(Part 0에서 단조성을 안정성의 조건으로 언급했었죠). 성능을 조금 양보하더라도 말이 되는 방향을 지키는 게, 설명과 신뢰에서는 더 남는 장사일 때가 많습니다.

안 쓴다고 공정해지지 않습니다

이제 공정성입니다. 출발점은 명확합니다. 성별, 인종, 종교 같은 보호속성으로 사람을 차별하면 안 됩니다. 이건 법으로 금지돼 있고, 그 변수를 모델에 직접 넣는 건 명백한 차별입니다.

함정은 그 변수를 빼도 공정해지지 않는다는 데 있습니다. 우편번호, 직업, 소비 패턴 같은 다른 변수들이 보호속성과 상관돼 있으면, 모델은 그 대리변수를 통해 같은 차별을 우회로로 학습합니다. 예를 들어 우편번호가 인종과 강하게 연결된 사회라면, 인종을 안 쓰고 우편번호만 써도 결과적으로 인종 차별이 됩니다. 이걸 대리변수 차별이라고 합니다.

뿌리를 따지면 Part 0과 이어집니다. 우리가 가진 데이터에는 과거의 심사 정책과 사회의 편향이 이미 배어 있습니다. 모델은 그 데이터를 배우니, 아무 생각 없이 학습시키면 과거의 차별을 그대로 물려받아 재생산합니다. 그래서 “보호변수만 빼면 공정하다”는 건 순진한 생각이고, 대리변수까지 살펴야 합니다.

공정성은 하나로 정의되지 않습니다

그럼 공정한지 어떻게 잴까요. 문제는 공정성의 정의가 하나가 아니라는 것입니다.

몇 가지만 봐도, 집단 사이에 승인율을 똑같이 맞추자는 정의가 있고(인구통계학적 동등성), 실제로 잘 갚을 사람들 중에서 승인율을 맞추자는 정의가 있고(기회의 균등), 예측 확률의 보정을 집단마다 똑같이 맞추자는 정의가 있습니다(집단별 보정, Part 5의 그 보정입니다). 다 그럴듯한데, 서로 다른 이야기를 합니다.

첫 번째, 집단 사이의 승인율을 비교하는 감각에는 미국에서 오래 쓰인 경험칙이 하나 있습니다. 5분의 4 규칙, 흔히 80% 규칙이라고 부르는 것입니다. 어떤 집단의 승인율이 가장 높은 집단의 80%에 못 미치면 불리한 영향의 신호로 본다는 기준입니다. 원래는 채용 선발에서 나왔지만 대출의 차별 판단에서도 곧잘 참고됩니다. 다만 이건 차별을 확정하는 잣대가 아니라, 더 들여다봐야 한다는 1차 신호에 가깝습니다. 80%를 넘겨도 실질적으로는 차별일 수 있고, 못 넘겨도 정당한 사유로 설명될 수 있습니다.

그리고 수학적으로 알려진 불편한 사실이 있습니다. 집단 사이에 기저율, 즉 실제 부도율이 다르면 이 정의들을 동시에 다 만족시킬 수 없습니다. 하나를 맞추면 다른 하나가 어긋납니다. 그래서 “무엇을 공정으로 볼 것인가”는 기술이 대신 정해줄 수 없는 가치 판단이고, 맥락과 법역에 맞게 사람이 골라야 하는 문제입니다.

정확도와도 상충할 수 있습니다. 공정성을 맞추려고 손대면 성능을 얼마간 내주게 되는 경우가 많습니다. 완화 기법은 학습 전 데이터에서, 학습 중 목적함수에서, 학습 후 출력에서 각각 손댈 수 있지만 어느 것도 공짜는 아닙니다.

그래서 여기서도 정직한 태도는 Part 6과 같습니다. 어떤 공정성 기준을 왜 골랐는지 밝히고, 그 선택이 무엇을 내주는지 인지하는 것입니다. 그리고 이 영역은 반드시 법무·컴플라이언스와 함께 가야 합니다. 기술적으로 공정하다고 해서 법적으로 적법한 것은 아니거든요.

규제가 이 전부를 떠받칩니다

지금까지의 설명 요건과 공정성 요구는 그저 착한 권고가 아닙니다. 상당 부분이 법과 규제로 강제됩니다.

지역마다 형태는 다릅니다. 미국은 공정대출 관련 법으로 거절 사유 통지와 차별 금지를 요구하고, 유럽은 개인정보 규정에서 자동화된 결정에 대한 설명을 다루며 새 AI 규제는 신용평가를 고위험으로 분류합니다. 일본은 할부판매법(割賦販売法)의 지불가능산정액(支払可能見込額) 산정 의무가 카드 발급과 한도에 걸려 모델이 그대로 법적 근거가 되고(Part 0에서 짚었죠), 개인정보보호법(個人情報保護法)이 데이터 이용을 규율합니다. 한국은 신용정보법과 개인정보보호법이 자동화된 결정에 대한 설명과 이의 제기를 다룹니다.

여기에 프라이버시가 겹칩니다. 어떤 변수를 모델에 넣느냐는 곧 개인정보를 어떻게 쓰느냐의 문제입니다. 이용 목적 제한, 동의, 최소 수집, 보존 기간, 접근 통제가 다 피처 선택과 얽혀 있습니다. 그래서 피처 하나 고르는 일이 데이터 거버넌스 결정이 됩니다.

결국 Part 0에서 말한 “모델을 자유롭게 배포할 수 없다”와 Part 7의 거버넌스가 여기서 만납니다. 규제와 거버넌스는 늘 이 모든 것의 밑에 깔려 있습니다.

그래서, 신뢰입니다

이렇게 기초 시리즈에서 신용 데이터 사이언스가 왜 다른가의 마지막 조각까지 왔습니다. 예측을 잘하는 것은 입장권이고(Part 5), 인과를 다루는 것이 실력이며(Part 6), 만든 모델을 정직하게 검증하고 오래 지켜내는 것이 신뢰의 한 축이고(Part 7), 왜 그렇게 판정했는지 설명하고 그 판정이 공정한지 책임지는 것이 신뢰의 나머지 축입니다.

Part 0에서 생성 AI가 이걸 다 대신해 주지 않겠냐는 질문에, 오히려 더 필요해진다고 답했습니다. 설명할 수 있어야 하고, 공정해야 하고, 규제를 통과해야 한다는 요건 앞에서 블랙박스는 구조적으로 막히기 때문입니다. 그래서 왜 설명이 필요하고 무엇이 공정이며 어떻게 검증하는지를 아는 사람이, 자동으로 만들어진 결과를 판정하는 자리에 남습니다.

여기까지가 개념 편입니다. 다음 편부터는 이 개념들을 실제로 굴러가게 하는 쪽으로 넘어갑니다. 모델은 결국 파이프라인 위에서만 살아 있고 재현성과 정합성이 성능보다 먼저라는 이야기, 데이터 엔지니어링과 도구로 이어가겠습니다.