Top 5 This Week

関連記事

判別と較正:予測モデルの2つの性能

- 本サイト運営者のサービスの紹介 -
Dr.データサイエンス|医療統計解析の代行・相談

二値の結果を予測するモデルを作り、検証用データでAUCが0.78と出た場面を考えます。報告書にこの数字だけを載せると、読み手は「このモデルの予測確率はおおむね当たっている」と受け取りがちですが、AUCが答えているのは陽性の人に陰性の人より高い値を付けられるかという順位の話に限られ、予測確率が30%と出た人たちの中で実際に約30%が陽性になっているかは、AUCとは別の量で確かめる必要があります。

この別の量が較正(calibration)で、順位の性能である判別(discrimination)と並ぶ、予測モデルのもう1つの性能です。同じAUCでも較正の良し悪しは大きく異なり得るため、2つは分けて評価します。

前提となる予測確率と記号

扱うのは、結果 \(Y\) が1(陽性)か0(陰性)をとり、モデルが一人ひとりに予測確率 \(\hat{p}\) を返す場面です。ロジスティック回帰はその代表で、説明変数から確率を作る仕組みはロジスティック回帰とは何か:確率を予測するで扱っています。

その上で、予測確率を評価する観点は大きく判別と較正の2つに分かれると、Steyerbergら(2010)は整理しています。ロジスティック回帰の当てはまりの文脈でAUCとHosmer–Lemeshow検定を並べたロジスティック回帰の当てはまり:Hosmer–Lemeshow検定とAUCも、この2つの観点に対応しています。

判別:陽性と陰性を順位で分けられるか

判別は、陽性になった人と陰性のままだった人を、予測確率の大小で正しく並べられるかという性能です。陽性者から1人、陰性者から1人を無作為に選んだ時に、陽性者の予測確率の方が高くなる確率がC統計量で、二値の結果ではROC曲線の下の面積(AUC)と一致します。

この一致を示したのがHanleyとMcNeil(1982)で、AUCは順位に基づくWilcoxon型の統計量として計算できます。つまりAUCは予測確率の順位だけから決まり、0.5なら偶然の並び、1なら陽性者全員が陰性者全員より上に並ぶ状態を表します。

順位だけで決まる性質は判別の長所でもあり、異なる尺度でスコアを出す複数のモデルでも、結果を並べる力を同じ物差しで比べられるため、候補モデルの選別に使いやすくなります。C統計量とROC曲線の読み方の詳細は【医療統計版】判別能:C統計量とROC-AUCをどう解釈するかにまとめています。

較正:予測確率と実際の割合が合うか

一方の較正は、予測確率の値そのものが実際の陽性割合と合っているかという性能です。予測確率が20%前後の人を集めた時に陽性割合が20%前後になり、60%前後の人では60%前後になっていれば、そのモデルはよく較正されていると言います。

こうした対応を1本の式で要約する方法として、Cox(1958)に遡る較正の傾きのモデルがあります。予測確率をロジットに直した値を説明変数にして、実際の結果に対するロジスティック回帰を当てはめます。

$$\operatorname{logit} P(Y=1) = a + b \times \operatorname{logit}(\hat{p}) \tag{1}$$

ここで \(\hat{p}\) はモデルが返した予測確率、\(a\) は切片、\(b\) は較正の傾きで、予測確率が実際の確率と一致していれば \(a=0\)、\(b=1\) になります。式(1)を言葉で言い直すと、予測確率のロジットが1増えた時に実際の陽性のロジットがどれだけ増えるかを \(b\) で測り、全体の高さの食い違いを \(a\) で測る、という見方です。

ただし、\(a\) が全体の高さの食い違いを表すのは \(b=1\) の時に限られます。\(b\) と同時に推定した \(a\) は傾きの影響を受けるので、予測確率の平均が観測割合と合っているかは、傾きを1に固定して推定した切片か、平均予測確率と観測割合の比較で確かめます。

この傾き \(b\) が1より小さい時は、予測確率が実際より極端に振れていて、低い人をより低く、高い人をより高く予測しています。逆に1より大きい時は、予測が実際より控えめに中央へ寄っています。

なお、Van Calsterら(2019)は較正を段階に分け、平均予測確率と観測割合の一致、式(1)の傾き、十分位などで区切った較正図の順に細かく見る枠組みを提案しています。較正図の作り方や較正の切片の定義は【医療統計版】較正:予測確率が実測とどれだけ合っているかで詳しく扱っています。

順位を保つ変換でAUCは変わらない

判別が順位だけで決まるという性質から、すぐに導ける帰結があります。予測確率に対して大小関係を変えない変換を掛けると、予測確率の値は大きく動くのに、陽性者と陰性者の並び順は保たれるため、AUCは小数点以下まで同じ値になります。

例えば予測確率のロジットを2.5倍して1を足し、確率に戻す変換を考えます。この変換は単調増加なので順位は変わりませんが、低い確率はより0に、高い確率はより1に近づき、確率の値は元のモデルとかけ離れたものになります。

この例が意味するのは、AUCがいくら高くても、予測確率の値が実際の割合と大きく食い違う場合があり得るということです。判別がよいことは較正がよいことを保証しないため、Albaら(2017)も予測モデルを読む時には両方を別々に確認するよう求めています。

予測確率の値を使う場面で較正が要る

それでは、順位さえ正しければ困らないのはどんな場面でしょうか。上位10%の人を優先して追加検査に回すように、対象を順に並べて上から選ぶ使い方なら、予測確率の値が外れていても選ばれる人は変わりません。

ところが、予測確率をそのままリスクとして本人に伝える場面や、「予測確率が20%を超えたら介入する」という閾値で判断する場面では、値そのものが判断を左右します。較正の悪いモデルでは、閾値を超える人の数も、伝えられるリスクの大きさも、実際とかけ離れてしまいます。

較正は判別に比べて報告されにくい一方で、誤った確率は判断を直接ゆがめるため、Van Calsterら(2019)は較正を予測分析の「アキレス腱」と呼んでいます。Steyerbergら(2010)も、このように予測確率を意思決定に使う場面では、判別の指標に加えて較正の評価が欠かせないと述べています。

Rで同じAUCの2つのモデルを作る

ここからは、ランダムに生成したデータセットで、判別が同じで較正だけが異なる状況を作ります。2,000人分の説明変数を標準正規分布から生成し、真の陽性確率をロジットで \(-1 + 1.2x\) と置いて、その確率で結果を生成しました。

このデータに対し、モデルAは真の確率をそのまま予測確率とし、モデルBは前節で触れたロジットを2.5倍して1を足す変換を掛けた確率を予測確率とします。モデルBは順位がモデルAと同じで、確信が過大なモデルにあたります。

set.seed(42)
n <- 2000
x <- rnorm(n)
p_true <- plogis(-1 + 1.2 * x)
y <- rbinom(n, size = 1, prob = p_true)
# モデルAは真の確率、モデルBは順位を保ったまま極端にした確率
pred_a <- p_true
pred_b <- plogis(2.5 * qlogis(p_true) + 1)

続いて、順位から計算したAUC、式(1)の切片 \(a\) と傾き \(b\)、平均予測確率、観測割合を2つのモデルについて求めます。AUCは陽性者の順位和から計算する式をそのまま書いており、パッケージを追加せずに再現できます。

auc_rank <- function(pred, outcome) {
  r <- rank(pred); n1 <- sum(outcome); n0 <- sum(1 - outcome)
  (sum(r[outcome == 1]) - n1 * (n1 + 1) / 2) / (n1 * n0)
}
summary_row <- function(pred) {
  cal_fit <- glm(y ~ qlogis(pred), family = binomial)
  round(c(auc = auc_rank(pred, y), cal_a = unname(coef(cal_fit)[1]),
          cal_b = unname(coef(cal_fit)[2]), mean_pred = mean(pred),
          observed = mean(y)), 3)
}
rbind(model_a = summary_row(pred_a), model_b = summary_row(pred_b))
#>           auc  cal_a cal_b mean_pred observed
#> model_a 0.778  0.076 1.022     0.310     0.32
#> model_b 0.778 -0.333 0.409     0.327     0.32

出力を見ると、AUCは2つのモデルとも0.778で、判別の性能は区別できません。その一方で較正の傾きはモデルAが1.022とほぼ1なのに対し、モデルBは0.409で、予測確率のロジットの振れ幅が実際の2倍以上に広がっていることが読み取れます。

ここで読み違えやすいのが平均予測確率で、モデルBも0.327と観測割合の0.32に近い値になっています。平均だけを比べると較正に問題がないように見えますが、全体の平均が合っていても、低い側と高い側で逆向きに外れていれば打ち消し合うため、傾きや較正図と合わせて判断します。

また、モデルAの切片0.076と傾き1.022が0と1から少し離れているのは、真の確率を使っても2,000人分の結果には偶然の揺れが入るためです。この程度の差を見て真の確率が誤っていると判断するのは不適切で、推定の不確かさを含めて読む必要があります。

十分位の較正図で外れ方を見る

傾きは較正を1つの数に要約しますが、どの確率の範囲でどれだけ外れているかは見えません。そこで予測確率の小さい順に10等分し、各グループで平均予測確率と観測割合を並べます。

# 予測確率の十分位ごとに平均予測確率と観測割合を求める
decile_table <- function(pred) {
  group <- cut(pred, breaks = quantile(pred, probs = 0:10 / 10),
               include.lowest = TRUE, labels = FALSE)
  data.frame(mean_pred = as.numeric(tapply(pred, group, mean)),
             observed = as.numeric(tapply(y, group, mean)))
}
cal_a <- decile_table(pred_a)
cal_b <- decile_table(pred_b)
round(cbind(decile = 1:10, a = cal_a, b = cal_b), 3)
#>    decile a.mean_pred a.observed b.mean_pred b.observed
#> 1       1       0.047      0.065       0.002      0.065
#> 2       2       0.095      0.095       0.010      0.095
#> 3       3       0.140      0.150       0.029      0.150
#> 4       4       0.188      0.120       0.067      0.120
#> 5       5       0.238      0.275       0.131      0.275
#> 6       6       0.293      0.315       0.231      0.315
#> 7       7       0.362      0.370       0.399      0.370
#> 8       8       0.449      0.520       0.617      0.520
#> 9       9       0.556      0.515       0.820      0.515
#> 10     10       0.733      0.780       0.962      0.780

2つのモデルは順位が同じなので、十分位のグループに入る人も同じになり、観測割合の列は完全に一致しています。違いは平均予測確率の列だけで、モデルAは第1十分位の0.047から第10十分位の0.733まで、観測割合と数ポイントの範囲で並んでいます。

これに対してモデルBは、第3十分位で予測0.029に対し観測0.150、第10十分位で予測0.962に対し観測0.780となっています。低リスク側では実際の5分の1程度の確率を示し、高リスク側では実際より20ポイント近く高い確率を示しているため、予測確率をそのままリスクとして伝えると、どちらの側でも判断を誤らせます。

この十分位の表を図にすると、外れ方の形がひと目で分かります。図1は同じ十分位を横軸の平均予測確率、縦軸の観測割合で描き、45度線を重ねたものです。

plot(cal_a$mean_pred, cal_a$observed, xlim = c(0, 1), ylim = c(0, 1),
     pch = 16, col = "steelblue", xlab = "Mean predicted probability",
     ylab = "Observed proportion", main = "Calibration plot by decile")
points(cal_b$mean_pred, cal_b$observed, pch = 17, col = "firebrick")
abline(a = 0, b = 1, lty = 2, col = "gray40")
legend("topleft", legend = c("Model A (true probability)",
       "Model B (overconfident)", "Ideal (45-degree line)"),
       pch = c(16, 17, NA), lty = c(NA, NA, 2),
       col = c("steelblue", "firebrick", "gray40"), bty = "n")
十分位ごとの較正図です。青い丸のモデルAは45度の破線に沿って並び、赤い三角のモデルBは低い確率側で線の左上に、高い確率側で線の右下に外れ、全体として線より寝た形になっています。
図1 予測確率の十分位ごとの較正図です。AUCは2つのモデルとも0.778ですが、モデルAの点は45度線に沿い、モデルBの点は低い側で線より上、高い側で線より下に並び、予測確率が実際より極端に振れていることが分かります。

図1で青い丸が45度線の近くに散らばるのに対し、赤い三角は線を斜めに横切り、線より寝た傾きで並んでいます。この寝た形が較正の傾き0.409に対応しており、傾きが1より小さいモデルでは、較正図の上でこのように45度線より寝た並びが現れます。

なお、十分位の観測割合にも標本による揺れがあり、2,000人を10等分した各200人のグループでは、割合の標準誤差 \(\sqrt{p(1-p)/200}\) は \(p=0.5\) の時に最大の約0.035になります。そのため、点が45度線から0.03程度離れていても較正の崩れとは言い切れず、モデルBのように0.1を超える外れが決まった向きに並ぶかどうかで判断します。

論文や報告書ではどう扱われているか

判別だけ、較正だけを載せた報告では読み手がモデルの使い道を判断できないため、予測モデルの報告ガイドラインであるTRIPOD声明をまとめたCollinsら(2015)は、モデルの性能として判別と較正の両方の指標を報告するよう求めています。

さらにVan Calsterら(2019)は、発表された予測モデル研究で較正の評価が判別に比べて報告されにくいことを指摘し、較正図と較正の傾きを示すことを勧告しています。Albaら(2017)も読み手向けの手引きとして、AUCの値に加えて較正図を確かめ、予測確率が対象集団で当たっているかを読むよう説明しています。

判別と較正をまとめて1つの数で測る指標としてBrierスコアもあり、予測確率と結果の二乗誤差の平均で計算します。この指標は2つの性能が混ざった値になるため、どちらが原因で悪いのかを知るには判別と較正を分けて見る必要があり、詳細は【医療統計版】Brierスコア:判別と較正をまとめて測るにあります。

判別と較正を両方示す理由

今回のモデルAとモデルBは、AUCが同じ0.778でも較正図での外れ方が大きく異なっていました。そのため、AUCだけで予測モデルの良さを判断するのは不適切で、予測モデルを評価する時は、AUCなどの判別の指標と、較正図と較正の傾きなどの較正の指標を両方示します。

とりわけ、予測確率を個人のリスクとして示したり、閾値で判断に使ったりする予定があるなら、較正を確かめないまま確率を提示するのは不適切です。対象を順に並べて上位を選ぶだけの使い方なのか、確率の値を使うのかを先に決めておくと、判別と較正のどちらにどれだけ重みを置くべきかが定まります。

また、判別がよく較正だけが崩れている場合は、モデルを作り直さなくても、式(1)で推定した \(a\) と \(b\) を使って予測確率のロジットを変換し直す再較正で、予測確率を実際の割合に近づけられます。この変換は順位を保つのでAUCは変わらず較正だけが改善しますが、再較正に使ったデータとは別のデータで較正を確かめ直す必要があり、その手順は【医療統計版】再較正とモデル更新:別の集団へ当てはめるで扱っています。

参考文献

  1. Steyerberg EW, Vickers AJ, Cook NR, Gerds T, Gonen M, Obuchowski N, Pencina MJ, Kattan MW. Assessing the performance of prediction models: a framework for traditional and novel measures. Epidemiology. 2010;21(1):128-138.
  2. Van Calster B, McLernon DJ, van Smeden M, Wynants L, Steyerberg EW. Calibration: the Achilles heel of predictive analytics. BMC Medicine. 2019;17:230.
  3. Alba AC, Agoritsas T, Walsh M, et al. Discrimination and calibration of clinical prediction models: users’ guides to the medical literature. JAMA. 2017;318(14):1377-1384.
  4. Collins GS, Reitsma JB, Altman DG, Moons KGM. Transparent reporting of a multivariable prediction model for individual prognosis or diagnosis (TRIPOD): the TRIPOD statement. BMJ. 2015;350:g7594.
  5. Hanley JA, McNeil BJ. The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology. 1982;143(1):29-36.
  6. Cox DR. Two further applications of a model for binary regression. Biometrika. 1958;45(3-4):562-565.

Popular Articles