回帰モデルを組む段階になると、手元のデータには結果に関係しそうな変数が20も30も並んでいることがあります。年齢や性別のように誰もが入れる変数のほかに、互いに相関の強い変数、結果の直前に測られた変数、単回帰で偶然p値が小さくなった変数が混ざっており、どれを入れるかによって注目する係数の値も、新しいデータでの予測の当たり方も変わります。
この選び方を左右するのは、モデルで何を知りたいかという解析の目的です。特定の変数の効果を推定したい場合と、結果をできるだけ正確に予測したい場合とでは、同じ変数でも入れるべきかどうかの判断が異なり、その判断の材料は主にデータを見る前の知識から来ます。
推定か予測か、目的で変わる変数の扱い
Heinze、Wallisch、Dunkler(2018)は、変数選択の総説で、回帰モデルを説明、予測、記述という目的ごとに分けて論じています。このうち実務で判断が分かれやすいのは説明と予測で、前者では注目する1つの係数を偏りなく推定できるかが重要になり、後者ではモデル全体が新しいデータに対してどれだけ当たるかが重要になります。
そのため、同じ変数でも目的によって扱いが変わります。たとえば運動習慣と血圧の関係を推定したいなら、運動習慣より後に決まる体重の変化を入れると運動の効果の一部を体重の経路として差し引いてしまいますが、血圧を予測したいだけなら、体重の変化は予測に役立つ限り入れて差し支えありません。
この区別をしないまま変数を選ぶと、予測の指標で良いモデルを選んでおきながら、その係数を効果として解釈するという取り違えが起きます。決定係数やAICの改善が示すのはモデルの予測が良くなったことまでで、個々の係数を因果的な効果として読む根拠は別に必要です。
効果を推定するモデルでは変数の役割を先に決める
特定の変数の効果を推定する場合、候補変数は結果との相関の強さよりも、注目する変数(以下、露出)と結果に対してどの位置にあるかで分類します。VanderWeele(2019)は、露出と結果の原因になる変数を調整の候補とし、露出の後に生じる変数や、露出にしか影響しない変数は慎重に扱うという原則を示しています。
この原則に沿って、変数を5つの役割に分けてみます。露出と結果の両方に影響する交絡因子は入れる必要があり、結果だけに影響する精度変数は入れると推定が安定し、露出だけに影響する操作変数型の変数は入れても偏りは減らずに標準誤差が増えます。
一方、露出の結果として変化する中間変数と、露出と結果の両方から影響を受ける合流点は、入れることで偏りが生じる側の変数です。Schisterman、Cole、Platt(2009)は、中間変数で調整して総効果を過小に推定する状況を過剰調整と呼び、合流点での調整とあわせて、不要な調整が偏りや精度の低下を招くことを整理しています。
ここで、交絡因子を入れない時の偏りの大きさは、単回帰の係数が共分散と分散の比で決まることから計算できます。結果$Y$、露出$X$、交絡因子$C$について、真のモデルを次のように置きます。
$$Y = \beta_0 + \beta_X X + \beta_C C + \varepsilon \tag{1}$$
式(1)は、結果が露出と交絡因子の線形の和に誤差を加えて決まることを表しています。$\beta_X$は露出の効果、$\beta_C$は交絡因子の効果、$\varepsilon$は$X$と$C$に依存しない誤差です。
このモデルから$C$を落として$Y$を$X$だけで回帰すると、標本が大きい時の係数は次の値に近づきます。
$$\frac{\operatorname{Cov}(X, Y)}{\operatorname{Var}(X)} = \beta_X + \beta_C \frac{\operatorname{Cov}(X, C)}{\operatorname{Var}(X)} \tag{2}$$
式(2)は、交絡因子を落とした係数が、真の効果に「交絡因子の効果と、露出と交絡因子の関連の強さの積」を足した値になることを示しています。次の節で使うランダムに生成したデータでは、露出の総効果が0.5、$\beta_C$が0.7、露出と交絡因子の共分散が0.6、露出の分散が2.0なので、右辺は0.5+0.7×0.6÷2.0=0.71となり、交絡因子を入れない係数は約0.21だけ上に偏ると計算できます。
役割ごとに調整を変えて露出の係数を比べる
式(2)の偏りと、ほかの4つの役割の影響を、2,000人分のランダムに生成したデータで確かめます。露出は交絡因子と操作変数型の変数から、中間変数は露出から作り、結果は露出の直接効果0.3、中間変数を通る間接効果0.2(0.5×0.4)、交絡因子と精度変数の影響を足し合わせて作り、合流点は露出と結果の両方から生成しました。
この設定では、露出の総効果の真値は0.5、中間変数を通らない直接効果の真値は0.3です。そのうえで、調整する変数の組み合わせを6通りに変え、露出の係数、標準誤差、95%信頼区間を並べました。
set.seed(42)
n <- 2000
conf <- rnorm(n); prec <- rnorm(n); inst <- rnorm(n)
expo <- 0.6 * conf + 0.8 * inst + rnorm(n)
medi <- 0.5 * expo + rnorm(n)
outc <- 0.3 * expo + 0.4 * medi + 0.7 * conf + 0.6 * prec + rnorm(n)
coll <- 0.8 * expo + 0.8 * outc + rnorm(n)
dat <- data.frame(outc, expo, conf, prec, inst, medi, coll)
adjust_sets <- c("1", "conf", "conf + prec", "conf + inst", "conf + medi", "conf + coll")
role_tab <- t(sapply(adjust_sets, function(s) {
fit <- lm(as.formula(paste("outc ~ expo +", s)), data = dat)
c(summary(fit)$coefficients["expo", 1:2], confint(fit)["expo", ])
}))
print(round(role_tab, 3))
#> Estimate Std. Error 2.5 % 97.5 %
#> 1 0.727 0.022 0.684 0.770
#> conf 0.523 0.022 0.481 0.566
#> conf + prec 0.519 0.019 0.482 0.555
#> conf + inst 0.536 0.028 0.480 0.591
#> conf + medi 0.308 0.025 0.260 0.356
#> conf + coll -0.243 0.023 -0.288 -0.197
この出力の1行目は何も調整しない場合で、係数0.727は真の総効果0.5を大きく上回り、式(2)で計算した0.71に近い値です。交絡因子を入れた2行目では0.523となり、95%信頼区間0.481〜0.566が真値0.5を含む範囲に戻りました。
続く3行目と4行目では、係数の値の変化は小さい一方、標準誤差が反対の方向へ動いています。精度変数を加えると結果の説明できない変動が減るため標準誤差は0.022から0.019へ下がり、操作変数型の変数を加えると露出のうち推定に使える変動が減るため0.028へ上がりました。
さらに下の2行では、中間変数を入れた5行目の0.308が直接効果0.3に近く、推定としては正しい値ですが、総効果を知りたい解析では効果の4割を差し引いた値になっています。合流点を入れた6行目では、真の総効果は正の0.5なのに、係数が-0.243と符号まで反転しました。
合流点は結果から作られた変数なので結果をよく説明し、モデルの当てはまりを良く見せるため、当てはまりの良さやp値の小ささで変数を選ぶ方法では、こうした偏りを判別できず、この最も偏ったモデルを選んでしまう可能性があります。
予測のモデルでは候補の数と標本の大きさで考える
予測が目的の場合、交絡や中間変数といった役割の区別は必須ではなく、新しいデータでの予測の正確さが判断の基準になります。ただし、手元のデータで候補を絞り込むほど、その絞り込み自体が学習データの偶然に合わせた操作になり、学習データで見た性能は新しいデータでは再現されにくくなります。
そこで、Harrell(2015)は、候補変数の数を標本の大きさに見合う範囲へ事前に減らすことを重視しています。領域の知識で候補を絞ることや、相関の強い変数を1つの合成変数にまとめることは、結果を見ずに自由度を減らせるため、データで変数を選ぶより先に検討する価値があります。
また、相関の強い変数を両方とも候補に残すと、予測の精度には大きく響かなくても、個々の係数は不安定になります。その不安定さをどう診断するかは、【医療統計版】多重共線性:VIFをどう読み、どう対処するかで研究データの文脈に沿って説明しています。
なお、候補を自動的に増減させるステップワイズ法、AICやBICによるモデル比較、係数を縮める正則化回帰は、予測のモデルでよく使われる道具です。これらはどれも与えられた候補の中からデータに基づいて選ぶ点で共通しており、候補の作り方そのものを決める事前の知識の代わりにはなりません。
単変量のp値で選んだモデルを新しいデータで確かめる
実務でよく見かける選び方に、候補変数を1つずつ結果と組み合わせて単回帰を行い、p値が0.05未満の変数だけを多変量のモデルに入れる方法があります。Sun、Shook、Kay(1996)は、この方法が交絡のために単変量では関連が見えない重要な変数を落とし、偶然の関連を拾ってしまうことを指摘しています。
この選び方の影響を、100人の学習データと1,000人の検証データを繰り返し生成して確かめます。候補は20変数で、そのうち3変数(v1〜v3)だけが係数0.3で結果に影響し、残りの17変数は結果と無関係とした上で、学習データの単変量p値が0.05未満の変数を入れたモデルと、真に関係する3変数を事前に決めて入れたモデルを500回の反復で比べました。
set.seed(42); true_beta <- c(0.3, 0.3, 0.3, rep(0, 17))
make_data <- function(m) {
xs <- matrix(rnorm(m * 20), ncol = 20, dimnames = list(NULL, paste0("v", 1:20)))
data.frame(yval = drop(xs %*% true_beta) + rnorm(m), xs)
}
r2 <- function(fit, d) 1 - sum((d$yval - predict(fit, d))^2) / sum((d$yval - mean(d$yval))^2)
one_run <- function() {
train <- make_data(100); test <- make_data(1000)
pval <- sapply(paste0("v", 1:20), function(v) coef(summary(lm(reformulate(v, "yval"), data = train)))[2, 4])
keep <- names(pval)[pval < 0.05]
screen <- lm(reformulate(c("1", keep), "yval"), data = train)
prior <- lm(yval ~ v1 + v2 + v3, data = train)
c(b1_screen = unname(coef(screen)["v1"]), b1_prior = unname(coef(prior)["v1"]),
n_noise = sum(keep %in% paste0("v", 4:20)), train_screen = r2(screen, train),
test_screen = r2(screen, test), train_prior = r2(prior, train), test_prior = r2(prior, test))
}
res <- t(replicate(500, one_run()))
print(round(colMeans(res, na.rm = TRUE), 3))
print(round(c(v1_kept = mean(!is.na(res[, "b1_screen"])), any_noise = mean(res[, "n_noise"] > 0)), 3))
#> b1_screen b1_prior n_noise train_screen test_screen train_prior
#> 0.319 0.292 0.808 0.240 0.111 0.230
#> test_prior
#> 0.179
#> v1_kept any_noise
#> 0.752 0.558
その結果、単変量p値で選んだモデルには無関係な17変数のうち平均0.808個が入り、少なくとも1つが入った反復は55.8%でした。学習データでの決定係数は事前に決めたモデルの0.230に対して0.240と高い一方、検証データでは0.111まで下がり、事前に決めたモデルの0.179を下回っています。
par(mar = c(4, 4, 1, 1))
boxplot(res[, c("train_screen", "test_screen", "train_prior", "test_prior")],
names = c("Screened: train", "Screened: test", "Prior: train", "Prior: test"),
ylab = "R-squared", col = c("grey80", "grey50", "grey80", "grey50"), cex.axis = 0.7)
boxplot(list(Screened = res[, "b1_screen"], Prior = res[, "b1_prior"]),
ylab = "Estimated coefficient of v1", col = "grey80")
abline(h = 0.3, lty = 2)

実際、図1では、選んだモデルの検証データの箱が学習データの箱から大きく下がり、決定係数が0を下回る反復も見られます。事前に決めたモデルにも学習データから検証データへの低下はありますが、その幅は小さく、検証データでの値のばらつきも狭く収まっています。
一方、係数の側では、v1が単変量p値で選ばれたのは500回のうち75.2%で、選ばれた回だけで係数を平均すると0.319となり、真値0.3を上回りました。事前に決めたモデルでは毎回v1が入っており、その平均は0.292でした。

このように選ばれた回の係数が上に寄るのは、学習データで偶然大きく推定された回ほどp値が小さくなって選ばれやすく、小さく推定された回が集計から抜け落ちるためです。Steyerberg、Eijkemans、Habbema(1999)も、小さなデータでステップワイズ選択を行うと、選ばれた変数の回帰係数が過大に推定されることをシミュレーションで示しており、今回の結果はそれと同じ向きの偏りです。
もっとも、今回の事前に決めたモデルは真に関係する変数を知っている前提で作っているため、実際の研究より有利な条件で比べています。実際の事前知識には誤りや漏れがありますが、候補の決め方が手元のデータの結果に依存しない限り、選択に由来する係数の偏りは持ち込まれず、検証データでの落ち込みもモデルの大きさに見合う程度に抑えられます。
なお、同じ問題を研究データの共変量選びとして扱った記事に、【医療統計版】共変量の選び方:単変量のp値で決めてよいかがあります。交絡と合流点の扱いを含め、調整変数の決め方を臨床研究の文脈で確認できます。
論文や報告書ではどう扱われているか
Heinze、Wallisch、Dunkler(2018)は、実務家向けの推奨として、背景知識に基づいて候補を事前に決めること、データに基づく選択を行うなら標本の大きさと候補数の比を確認すること、選択の不安定さをブートストラップなどで評価することを挙げています。こうした推奨に沿うと、論文や報告書には選ばれた変数だけでなく、候補の一覧と選択の手順を記載することになり、読者が選択の影響を評価できるようになります。
また、単変量p値によるスクリーニングはSun、Shook、Kay(1996)が不適切な使い方として論じており、Harrell(2015)も、変数選択の後のモデルで計算した標準誤差やp値は選択の過程を考慮していないため楽観的になると説明しています。したがって、選択後のモデルで信頼区間を報告する時は、その区間が選択を含めた不確かさを反映していない点を明記する必要があります。
同じ仕組みは生存時間解析でも働き、ステップワイズ法を使った場合の問題は、【医療統計版】Coxモデルの診断と変数選択:ステップワイズ法をやめる理由で扱っています。モデルの種類が変わっても、データに基づく選択が係数と標準誤差を楽観的にする仕組みは同じです。
候補変数を決める時の判断
式(2)と役割別の比較で見たとおり、調整の誤りによる偏りは推定値の大きさや当てはまりからは判別できないため、効果の推定が目的なら、調整する変数はデータを見る前に、露出と結果に対する位置関係から決めます。位置関係が不確かな変数は、入れた場合と外した場合の両方を事前に計画して結果がどれだけ動くかを示す方が、データを見て片方を選ぶより解釈しやすくなります。
これに対して予測が目的なら、候補を事前知識で標本の大きさに見合う数へ減らし、データに基づく選択を加える場合は、その手順全体を含めて検証データや交差検証で性能を見積もることが前提になります。単変量のp値で候補を絞る方法は、前節のシミュレーションで見たとおり、選ばれた係数を上に偏らせ、検証データの決定係数も真に関係する変数で作ったモデルを下回ったため、推定と予測のどちらの目的にも合わない手順です。
ただし、実際のデータでは、候補変数の役割が文献でも定まっていない場面や、標本の大きさに対して候補が多すぎる場面で判断が分かれます。Dr.データサイエンスでは、変数の役割の整理から解析計画への落とし込みまで、こうした解析方針のご相談を承っています。
参考文献
- Heinze G, Wallisch C, Dunkler D. Variable selection – A review and recommendations for the practicing statistician. Biometrical Journal. 2018;60(3):431-449.
- VanderWeele TJ. Principles of confounder selection. European Journal of Epidemiology. 2019;34(3):211-219.
- Schisterman EF, Cole SR, Platt RW. Overadjustment bias and unnecessary adjustment in epidemiologic studies. Epidemiology. 2009;20(4):488-495.
- Sun GW, Shook TL, Kay GL. Inappropriate use of bivariable analysis to screen risk factors for use in multivariable analysis. Journal of Clinical Epidemiology. 1996;49(8):907-916.
- Steyerberg EW, Eijkemans MJC, Habbema JDF. Stepwise selection in small data sets: a simulation study of bias in logistic regression analysis. Journal of Clinical Epidemiology. 1999;52(10):935-942.
- Harrell FE Jr. Regression Modeling Strategies. 2nd ed. Springer; 2015.


