Top 5 This Week

関連記事

等分散性が崩れたとき:ロバスト標準誤差

- 本サイト運営者のサービスの紹介 -

年収を勤続年数で回帰すると、勤続の短い人の年収は狭い範囲に集まり、勤続の長い人ほど上下に大きく散らばる、という残差の形が現れることがあります。この形を見た時に判断が必要になるのは、係数の推定値をそのまま使ってよいのか、そして統計ソフトが既定で出す標準誤差と信頼区間をどこまで信用してよいのか、という2点です。

こうした残差のばらつきが説明変数とともに変わる状態を不均一分散と呼び、その対処の一つにWhite(1980)が示したロバスト標準誤差があります。もっとも、ロバスト標準誤差が直すのは標準誤差の計算だけで、当てはめた回帰直線そのものは1か所も変わりません。

等分散性の仮定と最小二乗推定量

線形回帰モデルを行列の形で書くと、平均の構造と誤差のばらつきを別々の条件として表せます。

$$\mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}, \quad \mathbb{E}(\boldsymbol{\varepsilon}\mid\mathbf{X}) = \mathbf{0}, \quad \mathrm{Var}(\boldsymbol{\varepsilon}\mid\mathbf{X}) = \boldsymbol{\Omega} \tag{1}$$

ここで$\mathbf{y}$は$n$個の応答を並べたベクトル、$\mathbf{X}$は切片の列と説明変数を並べた$n\times k$の計画行列、$\boldsymbol{\beta}$は$k$個の回帰係数、$\boldsymbol{\Omega}$は誤差の分散共分散行列です。式(1)は、誤差の平均が説明変数の値によらず0になることと、誤差のばらつきが$\boldsymbol{\Omega}$で表されることを述べており、等分散性は$\boldsymbol{\Omega}=\sigma^2\mathbf{I}$となる特別な場合を指します。

この2つの条件を分けて最小二乗推定量$\hat{\boldsymbol{\beta}} = (\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\top\mathbf{y}$の期待値を計算すると、使うのは誤差の平均が0という条件だけで、$\boldsymbol{\Omega}$の形は式のどこにも現れません。そのため、残差のばらつきが説明変数とともに広がっていても、平均構造が正しく指定されていれば係数の推定値は偏りを持たず、不均一分散で困るのは推定値そのものより、その精度の見積もりのほうです。

通常の標準誤差が誤る仕組み

推定値の精度は$\hat{\boldsymbol{\beta}}$の分散共分散行列で表され、$\hat{\boldsymbol{\beta}} – \boldsymbol{\beta} = (\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\top\boldsymbol{\varepsilon}$の分散をとると次の式が得られます。

$$\mathrm{Var}(\hat{\boldsymbol{\beta}}\mid\mathbf{X}) = (\mathbf{X}^\top\mathbf{X})^{-1}\,\mathbf{X}^\top\boldsymbol{\Omega}\mathbf{X}\,(\mathbf{X}^\top\mathbf{X})^{-1} \tag{2}$$

式(2)は、係数の分散が両側の$(\mathbf{X}^\top\mathbf{X})^{-1}$と、誤差のばらつきを説明変数で重み付けた中央の$\mathbf{X}^\top\boldsymbol{\Omega}\mathbf{X}$の積で決まることを表しています。2枚のパンで具を挟んだ形に見えるため、両側をパン(bread)、中央を具(meat)と呼び、全体をサンドイッチ型の分散と呼びます。

$$\boldsymbol{\Omega} = \sigma^2\mathbf{I} \;\Rightarrow\; \mathrm{Var}(\hat{\boldsymbol{\beta}}\mid\mathbf{X}) = \sigma^2(\mathbf{X}^\top\mathbf{X})^{-1} \tag{3}$$

式(3)は、等分散を仮定すると中央の具が$\sigma^2\mathbf{X}^\top\mathbf{X}$になってパンの片方と打ち消し合い、統計ソフトが既定で出す分散の式に縮むことを示しています。通常の標準誤差は、この$\sigma^2$を残差平方和から求めた1つの値で置き換えたもので、観測ごとのばらつきの違いを使いません。

したがって、誤差の分散が大きい観測と、説明変数が平均から遠く$\mathbf{X}^\top\mathbf{X}$への寄与が大きい観測が重なると、平均した$\sigma^2$では中央の具を小さく見積もり、傾きの標準誤差は小さすぎる方向に誤ります。逆に、分散の大きい観測が説明変数の平均付近に集まる場合は大きすぎる方向に誤るため、通常の標準誤差がどちらへ外れるかは、分散の変わり方と説明変数の分布の組み合わせで決まります。

HC0からHC3までのサンドイッチ推定量

個々の残差の二乗は1つの観測から得た荒い量でも、中央の具は$n$個の観測の和なので、標本が大きくなれば和全体としては安定します。White(1980)はこの性質を使い、$\boldsymbol{\Omega}$の形を指定しなくても、中央の具を観測ごとの残差の二乗で一致推定できることを示しました。

$$\widehat{\mathrm{Var}}_{\mathrm{HC}}(\hat{\boldsymbol{\beta}}) = (\mathbf{X}^\top\mathbf{X})^{-1}\left(\sum_{i=1}^{n}\omega_i\,\mathbf{x}_i\mathbf{x}_i^\top\right)(\mathbf{X}^\top\mathbf{X})^{-1} \tag{4}$$

ここで$\mathbf{x}_i$は$i$番目の観測の説明変数を並べた列ベクトル、$e_i$はその残差、$h_{ii}$はてこ比(ハット行列の対角成分)、$\omega_i$は観測ごとの重みです。式(4)は、式(2)の$\boldsymbol{\Omega}$を対角成分$\omega_i$だけの行列で置き換えたもので、HC0は$\omega_i = e_i^2$、HC1は$e_i^2 n(n-k)^{-1}$、HC2は$e_i^2(1-h_{ii})^{-1}$、HC3は$e_i^2(1-h_{ii})^{-2}$を使います。

4つの推定量の違いは残差の縮みの補正の仕方にあり、最小二乗の残差は当てはめの影響でばらつきが縮み、その縮み方はてこ比$h_{ii}$の大きい観測ほど強いので、HC0は小標本で分散を過小評価しやすくなります。MacKinnonとWhite(1985)は割り戻し方の異なるHC1、HC2、HC3を比べ、小標本ではHC3を使った検定が名目の有意水準に近いことを報告しました。

その後、LongとErvin(2000)はシミュレーションで4種類を比較し、標本サイズが250未満ではHC3を使うよう提案しています。HC0からHC3の数値の動き方を医療データで比べた例は、【医療統計版】ロバスト標準誤差(1/5):不等分散でHC0からHC3までにあります。

ばらつきが9倍に広がる100例で比べる

数値で確かめるため、説明変数$x$を0から10の一様乱数で100個発生させ、真の切片2、真の傾き0.8の直線に、標準偏差が$0.5+0.4x$の正規誤差を加えたランダムに生成したデータセットを用意しました。誤差の標準偏差は$x=0$で0.5、$x=10$で4.5になるため、右端の散らばりは左端の9倍という設定です。

このデータに直線を当てはめ、同じ当てはめ直線に対する式(3)の通常の標準誤差と、式(4)のHC0からHC3の4種類を並べました。

set.seed(42)
n <- 100
x <- runif(n, 0, 10)
y <- 2 + 0.8 * x + rnorm(n, 0, 0.5 + 0.4 * x)
fit <- lm(y ~ x)
hc_se <- function(fit) {
  X <- model.matrix(fit); e <- residuals(fit); h <- hatvalues(fit)
  n <- nrow(X); k <- ncol(X); bread <- solve(crossprod(X))
  w <- list(HC0 = e^2, HC1 = e^2 * n / (n - k), HC2 = e^2 / (1 - h), HC3 = e^2 / (1 - h)^2)
  se <- sapply(w, function(wi) sqrt(diag(bread %*% crossprod(X * sqrt(wi)) %*% bread)))
  cbind(classical = sqrt(diag(vcov(fit))), se)
}
print(round(hc_se(fit), 4))
#>             classical    HC0    HC1    HC2    HC3
#> (Intercept)    0.5638 0.3007 0.3037 0.3041 0.3076
#> x              0.0933 0.0870 0.0879 0.0881 0.0891

この出力で、傾きでは通常の0.0933に対してHC3が0.0891と差は0.0042にとどまる一方、切片では通常の0.5638に対してHC3が0.3076と、ほぼ半分になっていました。

切片だけが大きく動いた背景には、切片が$x=0$での直線の高さを表し、その付近の観測は誤差の標準偏差が0.5前後と小さいのに、通常の標準誤差がこの精度の高い領域にも全体で平均した大きな$\sigma^2$を当てはめていることがあります。一方、傾きの差はこの1組では小さかったものの、分散の大きい観測がてこ比の大きい右端に集まる設計なので、同じ生成方法で繰り返すと通常の標準誤差は傾きの区間を狭くしがちです。

この傾きの結果から不均一分散が無害だったと読むのは早計で、ロバスト標準誤差との差は係数ごとに異なるので、関心のある係数それぞれについて両者を並べて確認します。

plot(x, residuals(fit), pch = 19, col = "grey40", xlab = "x", ylab = "Residual", main = "Residuals vs x")
abline(h = 0, lty = 2)
説明変数xに対して残差を描いた散布図で、xが大きくなるほど残差が0の上下に広く散らばる扇形を示しています
図1 100例の残差を説明変数に対して描いた図です。残差の平均は全範囲で0の周りにありますが、右へ行くほど上下の広がりが大きくなっています。

図1のように、残差の中心が0の水平線に沿ったまま幅だけが右へ広がる扇形は、平均構造は保たれていて分散だけが変わっている典型的な見え方で、ここで比べたロバスト標準誤差が意味を持つのはこの形の場合です。

2,000回の繰り返しで見る第1種の過誤率

標準誤差の良し悪しは1組では判定できないので、同じ生成方法で標本サイズを20、50、200の3通りに変え、それぞれ2,000回データを作り直して、傾きの95%信頼区間が真の値0.8を含む割合を数えました。比較のため、誤差の標準偏差を2.5で一定にした等分散の条件も同じ回数だけ作っています。

sim_cover <- function(n, hetero, R = 2000) {
  hits <- matrix(NA, R, 5)
  for (r in seq_len(R)) {
    xs <- runif(n, 0, 10)
    sd_s <- if (hetero) 0.5 + 0.4 * xs else rep(2.5, n)
    ys <- 2 + 0.8 * xs + rnorm(n, 0, sd_s)
    f <- lm(ys ~ xs)
    hits[r, ] <- abs(coef(f)[2] - 0.8) <= qt(0.975, n - 2) * hc_se(f)[2, ]
  }
  colMeans(hits)
}
grid <- expand.grid(hetero = c(TRUE, FALSE), n = c(20, 50, 200))
cover <- t(mapply(sim_cover, n = grid$n, hetero = grid$hetero))
colnames(cover) <- colnames(hc_se(fit))
print(data.frame(grid, round(1 - cover[, c(1, 2, 5)], 4)))
#>   hetero   n classical    HC0    HC3
#> 1   TRUE  20    0.0670 0.0945 0.0605
#> 2  FALSE  20    0.0485 0.0795 0.0470
#> 3   TRUE  50    0.0630 0.0640 0.0480
#> 4  FALSE  50    0.0575 0.0690 0.0545
#> 5   TRUE 200    0.0555 0.0435 0.0410
#> 6  FALSE 200    0.0480 0.0550 0.0490

真の傾き0.8を帰無仮説に置いた検定は信頼区間が0.8を含まない時に棄却されるので、1から被覆割合を引いた値がそのまま有意水準5%の検定の第1種の過誤率になります。列heteroがTRUEの行が不均一分散、FALSEの行が等分散の条件です。

不均一分散で標本サイズ20の行を見ると、通常の標準誤差の第1種の過誤率は6.70%、HC0は9.45%、HC3は6.05%で、補正のないHC0が名目の5%から最も離れていました。標本サイズ50になるとHC3は4.80%まで名目に近づいた一方、通常の標準誤差は6.30%、HC0は6.40%と、5%を上回ったままでした。

等分散の条件に目を移しても、HC0は標本サイズ20で7.95%と高めに出ており、HC3は4.70%で通常の標準誤差の4.85%とほぼ同じでした。

もっとも、2,000回の繰り返しから求めた割合には偶然の揺れがあり、真の値が5%の時の揺れの標準誤差は$\sqrt{0.05\times0.95\div2000}$で約0.5ポイントです。標本サイズ200のHC3が4.10%と5%を下回ったのもこの揺れの2個分弱に当たり、200例の行に見える小さな差は偶然の揺れの範囲に収まっています。

het <- cover[grid$hetero, c(1, 2, 5)]
cols <- c("black", "darkorange", "steelblue")
matplot(c(20, 50, 200), het, type = "b", log = "x", pch = 19, lty = 1, col = cols, xlab = "Sample size", ylab = "Coverage of 95% CI", main = "Heteroscedastic errors", ylim = c(0.89, 0.97))
abline(h = 0.95, lty = 2)
legend("bottomright", legend = c("Classical", "HC0", "HC3"), col = cols, lty = 1, pch = 19)
不均一分散の条件で、標本サイズ20、50、200における95%信頼区間の被覆割合を通常の標準誤差、HC0、HC3の3本の折れ線で比べた図です
図2 不均一分散の条件で、傾きの95%信頼区間が真の値を含んだ割合です。破線は名目の95%で、標本サイズ20ではHC0が大きく下回り、HC3が最も破線に近くなっています。

図2で3本の線を比べると、標本サイズが小さい左端ほど推定量による差が開き、200例では3本とも破線の近くに集まって、標本サイズとともに3本が収束していく様子が分かります。

ロバスト標準誤差では直らない平均構造の誤り

説明変数とともに残差が広がって見える残差プロットは、本当は曲がった関係を直線で当てはめた時にも現れます。この場合は係数の推定値そのものが目的の量を表していないので、標準誤差をHC3に替えても、誤った直線の傾きに対する区間が正しく計算されるだけです。

そこで、不均一分散に気づいた時に先に確認するのは、残差の平均が説明変数の範囲全体で0の周りにあるかどうかです。図1のように平均が0の周りにあって幅だけが広がるならロバスト標準誤差が適した場面で、残差の平均が弓なりに曲がっているなら、二乗項や変数変換で平均構造を直す作業が先に来ます。

さらに、ここまでのロバスト標準誤差が扱うのは、観測が互いに独立でばらつきだけが観測ごとに異なる状況です。同じ施設や同じ人から複数の観測が得られて誤差に相関がある時は、クラスターを単位にしたサンドイッチ推定量が必要になり、その影響の大きさは【医療統計版】ロバスト標準誤差(2/5):施設単位で区間が2.7倍に広がるで扱っています。

論文や報告書での扱われ方

Zeileis(2004)はRのsandwichパッケージで、HC0からHC4までを同じ関数で計算する実装を示しています。統計ソフトごとに既定の種類が異なるため、報告の際に「ロバスト標準誤差」とだけ書くと読者は計算を再現できず、HC1かHC3かといった種類まで書いておく必要があります。

この種類の明記に加えて、LongとErvin(2000)は、不均一分散の検定を先に行い、有意になった時だけロバスト標準誤差に切り替える進め方について、小標本では検定の検出力が低く、等分散の確認として頼れない点を指摘しています。

そのうえで、今回の切片のように係数によって差の大きさが異なる場合は、主要な係数について両方の標準誤差を補足表に載せておくと、標準誤差の種類を替えても結論がどの程度変わらないかを判断する材料になります。

標準誤差の種類を解析前に決める

今回のシミュレーションでは、等分散の条件でもHC3の第1種の過誤率が4.70%から5.45%の範囲に収まり、HC3へ切り替えて失うものは小さいものでした。この観察はLongとErvin(2000)が標本サイズ250未満でHC3を勧めた提案とも整合するので、観測が独立でその規模の標本なら、等分散が疑わしいかどうかにかかわらず、解析計画の段階でHC3を主解析の標準誤差に指定しておきます。

逆に、通常の標準誤差とHC0からHC3を全部計算し、p値が0.05を下回った種類を報告する進め方では、どれか1つの推定量で棄却されれば棄却とみなすので、棄却域が各推定量の棄却域を合わせた広さに広がり、どれか1つを単独で使った場合より第1種の過誤率が高くなります。また、てこ比の極端に大きい観測が少数含まれる設計ではHC3でも補正が足りない場合があるので、極端な点があればCribari-Neto(2004)がてこ比に応じて補正を強めたHC4と並べて、結論が動くかを確かめます。

標準誤差の種類やモデルの平均構造の決め方は、残差の形、標本サイズ、てこ比、観測の独立性で変わります。Dr.データサイエンスでは、こうした解析方針のご相談を承っています。

参考文献

  1. White H. A heteroskedasticity-consistent covariance matrix estimator and a direct test for heteroskedasticity. Econometrica. 1980;48(4):817-838.
  2. MacKinnon JG, White H. Some heteroskedasticity-consistent covariance matrix estimators with improved finite sample properties. Journal of Econometrics. 1985;29(3):305-325.
  3. Long JS, Ervin LH. Using heteroscedasticity consistent standard errors in the linear regression model. The American Statistician. 2000;54(3):217-224.
  4. Cribari-Neto F. Asymptotic inference under heteroskedasticity of unknown form. Computational Statistics & Data Analysis. 2004;45(2):215-233.
  5. Zeileis A. Econometric computing with HC and HAC covariance matrix estimators. Journal of Statistical Software. 2004;11(10):1-17.

Popular Articles