[基礎] Part 10. スコアを決定に変える仕事：ビジネスとのつながりとコミュニケーション

いよいよ最終回です。

ここまで、良いモデルを作り（Part 1から4）、正直に測り（Part 5）、因果で介入を設計し（Part 6）、検証して守り抜き（Part 7と8）、実際に動かすための配管まで（Part 9）来ました。

ところが、ここまで全部やっても何も起きないことがあります。モデルは誰かの決定に変わってはじめて現実に触れます。スコアが承認になり、金利になり、限度額にならなければなりません。そしてその過程を、他部署の人たちに納得してもらう必要があります。

この回は、スコアを決定に変える仕事と、その結果を伝える仕事です。

カットオフは精度ではなく期待収益で決めます

モデルを作り終えて最初にぶつかる問いがこれです。何点から承認するのか。

ここでよくある失敗が、モデルの評価指標でこれを決めようとすることです。精度がいちばん高い点やF1が最大の点を選ぶ、といった具合です。ところがPart 0で見たとおり、信用のコストは非対称です。優良客を一人承認して得られるお金はマージンで、貸し倒れ一件のコストはLGD掛けるEADです。片方が数十倍重いのです。

だから閾値は統計指標ではなく、お金で決めます。

期待収益 = (1 − PD) × マージン − PD × LGD × EAD

申込者ごとにこの値を計算し、期待収益が正になる地点が経済的なカットオフです。ポートフォリオ全体で見ると、カットオフを動かすたびに承認される集団が変わり、総期待収益が山の形に動きます。

ここで大事なのは、貸し倒れ率がいちばん低い点が正解ではないということです。誰も承認しなければ貸し倒れ率はゼロですが、収益もゼロです。リスク部署と営業部署がぶつかるのはたいていここなのですが、期待収益という共通のものさしで話すと、その議論はずっと生産的になります。

承認と否決だけではありません

カットオフはいちばん単純な形の決定です。実務では選択肢がもっとあります。

一つは、リスクに比例して条件を変えることです。同じ承認でも、貸し倒れ確率が高いほうには金利を高くつけます。これができるためには、Part 5で強調した補正された確率が要ります。順位が合っているだけでは金利はつけられず、「この人は3.2パーセント」という絶対の数字があってはじめて価格が出ます。

もう一つは限度額です。承認するとしていくら与えるかは、収益と損失、そして顧客が実際にどれだけ使うかまで併せて見るべき問題です。そしてPart 6で見たように、限度額を上げると貸し倒れがどう変わるかは相関ではなく因果の問いです。限度額の高い顧客の貸し倒れ率が低いからといって、限度額を上げれば貸し倒れが減ると結論すれば、方向から間違えます。

政策を変える前にスワップ分析をします

新しいモデルのほうが性能が良いからといって、すぐ切り替えはしません。Part 7のシャドーモードと並んでよく使うのがスワップ分析です。

基準が変わると、どんな人が新たに入ってきて、どんな人が抜けていくのかを事前に見る作業です。新しく承認される集団をスワップイン、これまで承認されていたのに今度は否決される集団をスワップアウトと呼びます。全体の承認率はほとんど同じなのに、構成がまるごと変わる場合もよくあります。

これを先に見ておくと、「性能が2パーセント良くなりました」ではなく、「承認率は保ったまま貸し倒れ率が数bp下がり、代わりに特定セグメントの承認が減ります」と言えます。後者のほうが意思決定にずっと役立ち、Part 8の公平性の点検ともそのままつながります。

モデルは財務諸表まで流れていきます

ここで、Part 0で出しておいて先送りしてきた話を片づけます。モデル一つがなぜ会社全体を揺らすのか、という話です。

モデルが出したPDとLGDは、審査で使われて終わりではありません。会計に渡って貸倒引当金の計算に入り、資本規制のほうに渡って所要資本の計算に入ります。つまりモデルに手を入れれば、その四半期の損益が動き、自己資本比率が動きます。

Part 7で、なぜそこまで検証して文書を残すのかと述べた問いの答えがここにあります。モデルの変更が財務数値の変更だからです。データサイエンティストがコードを直す仕事が会計と規制報告にまで波及する構造なので、遅くならざるを得ないし、遅いのが正しいのです。

相手によって言葉が変わります

同じモデルの話をしても、聞く相手によってまったく違う話し方をしなければなりません。これが思ったより大きな比重を占めます。

経営陣にはAUCではなく、お金とリスクで話します。「ジニが0.02上がりました」ではなく、「承認率を保ったまま年間の損失を数億減らせます、代わりに特定セグメントの承認が減ります」が届く言葉です。

リスクと検証の部署には、仮定と限界と安定性で話します。どんな仮定の上に立っているのか、その仮定が揺れたら結論はどうなるのか、時間が経っても安定しているのか。それが彼らの関心事です。Part 7の独立検証が問うのが、まさにこれです。

コンプライアンスには、説明可能性と公平性で話します。否決理由をどう算出するのか、保護属性と代理変数をどう点検したのか。Part 8で見たあの問いです。

エンジニアリングには、パイプラインと応答時間で話します。特徴量がサービング時点で実際に存在するのか、遅延はどれくらいか。Part 9の話です。

同じ一つのモデルなのに、四つの言葉が要ります。そしてこれが得意な人が、結局モデルを実際にリリースさせます。

過信こそがモデルリスクです

最後に、コミュニケーションでいちばん大事なことを申し上げます。限界を正直に言うことです。

数字を持っていくと、自信をもって言い切りたくなります。ところがこの分野では、過信はそれ自体がモデルリスクです。観測されない反事実の上で推定しており（Part 0と6）、ラベルは一年後にようやく確定し（Part 0）、分布は動き続けます（Part 7）。この不確実性を隠して断言すれば、あとで外れたときに失うのはそのモデル一つではなく、データ組織全体の信頼です。

「この条件ではこう出ました、この仮定が崩れれば結論は変わります」と言うほうが、長い目で見ればずっと強いのです。正直に範囲を狭めて語った人の数字を、人はより信じるようになりますから。

十一回を終えて

こうしてPart 0から十一回が終わりました。最初の問いはこうでした。一般的なMLが得意な人でも、なぜ与信審査に来ると一度はつまずくのか。

振り返れば、答えはこの分野の構造にありました。私たちは承認した人の結果しか見られず（Part 0）、時間は一方向に流れ（Part 3）、コストは非対称で（Part 0）、私たちが下す決定そのものが結果に介入します（Part 6）。だから順位をうまく付けるだけでは足りず（Part 5）、作ったあとに検証して守り抜かねばならず（Part 7）、なぜそう判定したのかを説明して公平かに答えねばならず（Part 8）、そのすべてがパイプラインの上で整合性をもって動かねばなりません（Part 9）。

そして今日見たように、そのすべてが結局は誰かの決定と、会社の財務につながります。

Part 0で、この分野の実力を一行でこう整理しました。予測精度の競争ではなく、観測されない反事実を、時間が流れコストが非対称な環境で、説明可能かつ安定して推定する仕事だと。十一回を書き終えた今も同じ考えです。そこに一つだけ付け加えたいことがあります。その推定を、他の人が信じて決定に使える形で伝えるところまでが、この仕事です。

基礎シリーズはここで終わります。ただしブログは続きます。これからはこの土台の上で、一つのテーマを深く掘る応用編、論文を実務の言葉で整理する論文編、新しく出た道具が本当に役に立つのかを自分で測るレビュー編へとつなげていきます。

長い連載にお付き合いいただき、ありがとうございました。