使い方
- 1 行に 1 つの
score,labelを貼り付けます。score が高いほど陽性らしい設計を前提にしています。 - ラベルが
1やcaseのように自明でない場合は、陽性ラベルを明示します。 - AUC で順位付けの良さを見たあと、閾値テーブルと ROC 曲線を使って運用しやすい cutoff を検討します。
Wave 5 ja rollout
2 値 score から ROC と AUC を読む
初版は 2 値分類と score 入力だけに絞っています。precision-recall や calibration に進む前に、まず score の並びと閾値依存のトレードオフを確認する用途です。
入力
score,label 行を貼り付けて計算すると、ROC のトレードオフを確認できます。
ROC 曲線
計算すると ROC 曲線を確認できます。グラフにフォーカスして ← / → で閾値を移動できます。
閾値テーブル
score sweep の先頭閾値行を表示します。一般に、閾値を下げると再現率が上がりやすく、特異度は下がりやすくなります。
| 閾値 ≥ | 再現率 | 特異度 | 偽陽性率 | TP | FP | TN | FN |
|---|
ROC AUC の読み方
ROC AUC は、全閾値にわたって score が陽性を陰性より上に並べられているかを見る指標です。0.5 に近いと順位付けはほぼランダムで、値が高いほど陽性が高 score 側に集まりやすいことを示します。
閾値は別に決める必要があります
AUC が高くても、運用閾値は自動では決まりません。誤検知をどこまで許せるか、見逃しがどれだけ重いか、レビュー件数をどこまで増やせるかで、適切な cutoff は変わります。
混同行列との使い分け
混同行列 は、すでに閾値が決まっていて 1 つの運用結果を点検したいときに使います。ROC AUC は、閾値を決める前に score 全体の並びと閾値ごとの変化を確認したいときに使います。
よくある質問
ROC AUC と混同行列はどう違いますか？
混同行列は 1 つの閾値で分類した結果を表します。ROC AUC は多くの閾値にわたる感度と特異度のトレードオフを要約し、閾値をまだ固定していない段階で score の並びがどれだけ良いかを確認する指標です。
閾値を動かすと何が変わりますか？
閾値を下げると陽性判定が増えやすくなり、通常は再現率が上がって特異度が下がります。閾値を上げるとその逆になります。閾値テーブルでその変化を行ごとに確認できます。
AUC が高ければ最適な閾値も自動で決まりますか？
いいえ。AUC は閾値全体にわたる順位付けの良さを要約する値で、運用に使う閾値は誤検知と見逃しのコスト、陽性率、レビュー体制などを踏まえて別に決める必要があります。
このページは多クラス ROC に対応していますか？
いいえ。初版は 2 値分類に限定しています。score の並び、ROC 曲線、閾値テーブルを監査しやすく保つことを優先しています。
関連
コメント（任意）
読み込み負荷を抑えるため、コメントは必要時だけ読み込みます。