Top 5 This Week

関連記事

負の二項回帰:過分散がある時

- 本サイト運営者のサービスの紹介 -
Dr.データサイエンス|医療統計解析の代行・相談

欠席日数、来店回数、不具合の件数のような回数データを回帰で扱う時、ポアソン回帰を当てはめて率比とp値を報告する場面は多くありますが、ある学校の生徒146人の欠席日数を集計すると、平均が16.46日なのに分散は264.2と、平均の約16倍に達していました。ポアソン回帰は分散と平均が等しいことを前提にしているため、このデータでそのまま当てはめると、係数の点推定は使えても標準誤差と信頼区間は信用できない値になります。

この状況で見直す対象は、平均の構造よりも分散の仮定の方です。回数データの回帰の基本形はポアソン回帰:回数データの回帰で扱っており、過分散がある時は、その基本形の平均の構造を残したまま、分散の仮定だけを負の二項回帰か準ポアソン回帰のものへ置き換えます。

回数データで分散が平均を上回る時

ポアソン分布では、平均が$\mu$なら分散も$\mu$になり、平均が決まれば散らばりの大きさも自動的に決まります。回帰の形にすると、説明変数で条件づけた各個人の回数について「条件付き分散=条件付き平均」を仮定していることになり、この関係が成り立たず分散が平均を上回る状態を過分散と呼びます。

過分散が生じる典型的な場面は、モデルに入っていない個人差が回数の起こりやすさを左右している時で、たとえば欠席日数では、同じ民族、性別、学年、学習区分の生徒の間でも、体調や家庭の事情によって欠席の起こりやすさが大きく異なり、ほとんど休まない生徒と長期に休む生徒が混ざります。また、1回の出来事が次の出来事を呼ぶ連鎖がある時も、回数は平均の周りに独立に散らばらず、分散が膨らみます。

ここで注意したいのは、冒頭の分散264.2が説明変数で条件づける前の値だという点です。周辺の分散が大きくても、説明変数が個人差の大部分を説明していれば条件付き分散は平均に近づく可能性があるため、過分散の判断は回帰を当てはめた後の残差で行います。

過分散がポアソン回帰の標準誤差を小さくする理由

ポアソン回帰の係数の推定値は、平均の構造さえ正しく指定されていれば、分散の仮定が外れていても一致性を保ちます。一方、標準誤差は分散=平均という仮定から計算されるので、実際の散らばりが平均の13倍あるようなデータでは、推定値の不確かさを実際よりずっと小さく見積もります。

その結果として、信頼区間は狭くなり、検定統計量は大きくなって、p値は本来よりも小さく出ます。説明変数の効果が実際にはゼロに近い場合でも有意と判定されやすくなるため、過分散を確かめずにポアソン回帰の標準誤差とp値をそのまま報告するのは不適切です。

この偏りは、変数選択の場面でも効いてきます。標準誤差が過小なまま有意かどうかで変数を残すと、偶然の変動で有意になった変数がモデルに残り、別の標本では再現しない関連を報告することにつながります。

分散比で過分散の程度を確かめる

過分散の大きさを見る簡単な量として、ポアソン回帰のPearsonカイ二乗統計量を残差の自由度で割った分散比があります。Pearson残差は観測値と予測値の差を予測値の平方根で割った量で、分散=平均が成り立っていれば、その二乗和は残差の自由度に近い値をとり、分散比はおおよそ1になります。

この分散比が1を大きく上回れば、ポアソンの仮定より散らばりが大きいと判断できます。CameronとTrivedi(1990)は、分散が平均の関数として膨らむ形を仮定し、回帰に基づいて過分散を検定する方法を提案しており、分散比はその検定に先立って過分散の大きさをつかむ記述的な量として使えます。

もっとも、分散比が1をわずかに上回る程度なら、標本の変動でも起こります。今回のquineデータのように分散比が13を超える場合は判断に迷う余地がありませんが、1.2や1.5といった値では、残差の自由度、外れ値の有無、平均の構造の指定誤りも合わせて確かめる必要があります。

負の二項分布と準ポアソンの分散の形

過分散を表すモデルとしてよく使われるのが、負の二項回帰と準ポアソン回帰です。負の二項回帰は、個人ごとの起こりやすさがガンマ分布に従ってばらつくと考えたポアソン分布の混合として導かれ、その分散は次の式で表されます。

$$\mathrm{Var}(Y) = \mu + \frac{\mu^2}{\theta} \tag{1}$$

式(1)は、負の二項分布の分散がポアソン分布の分散$\mu$に、平均の二乗に比例する上乗せ$\mu^2/\theta$を加えた形になることを表しています。ここで$Y$は回数、$\mu$はその平均、$\theta$は散らばりの大きさを決める正のパラメータで、$\theta$が大きくなるほど上乗せ分が小さくなり、ポアソン分布に近づきます。

これに対して準ポアソン回帰は、分散を$\phi\mu$と置き、ポアソンの分散を一定の倍率$\phi$で膨らませます。Ver HoefとBoveng(2007)は、両者の重みづけの違いに注目し、負の二項回帰は平均の大きい観測ほど相対的に軽く扱い、準ポアソン回帰は平均に比例した重みを保つことを、ゼニガタアザラシの個体数データで比べています。

この違いから、平均の範囲が広いデータでは、分散が平均に比例して増えるのか、平均の二乗に比例して増えるのかでモデルの選択が変わります。Ver HoefとBoveng(2007)は、平均を区切った区間ごとに残差の二乗の平均を平均に対してプロットし、どちらの関係に近いかを見る方法を挙げています。

quineデータで3つのモデルを比べる

ここではMASSパッケージのquineデータセットを使います。オーストラリアの学校の生徒146人について、1年間の欠席日数(Days)と、民族(Eth:アボリジニかどうか)、性別(Sex)、学年(Age)、学習区分(Lrn)が記録されており、VenablesとRipley(2002)の教科書でも負の二項回帰の例として扱われています。

set.seed(42)
library(MASS)
data(quine)
form <- Days ~ Eth + Sex + Age + Lrn
fit_pois <- glm(form, family = poisson, data = quine)
c(mean = mean(quine$Days), var = var(quine$Days))
sum(residuals(fit_pois, type = "pearson")^2) / df.residual(fit_pois)
#>     mean      var
#>  16.4589 264.1673
#> [1] 13.16684

出力の1行目は欠席日数の平均と分散で、分散は平均の約16倍です。2行目は4つの説明変数で調整したポアソン回帰の分散比で、Pearsonカイ二乗統計量1830.19を残差の自由度139で割った13.17となり、説明変数で条件づけた後も散らばりはポアソンの仮定の13倍あることが分かります。

この分散比を見ると、説明変数を入れても過分散が解消していないことが読み取れます。周辺の比16.05から条件付きの13.17への低下はわずかで、欠席日数の散らばりの大部分が、民族、性別、学年、学習区分では説明できない個人差に由来していると考えられます。

続いて、同じ説明変数でポアソン回帰、準ポアソン回帰、負の二項回帰を当てはめ、民族の係数を並べます。表の列は係数、標準誤差、率比、率比の95%信頼区間の下限と上限で、区間は係数±1.96×標準誤差を指数変換したWald型です。

options(show.signif.stars = FALSE)
fit_qp <- glm(form, family = quasipoisson, data = quine)
fit_nb <- glm.nb(form, data = quine)
eth_ci <- function(fit) {
  est <- coef(summary(fit))["EthN", 1:2]
  z <- qnorm(0.975)
  rr <- exp(est[1] + c(0, -z, z) * est[2])
  round(c(est, RR = rr[1], lower = rr[2], upper = rr[3]), 3)
}
rbind(poisson = eth_ci(fit_pois), quasi = eth_ci(fit_qp), negbin = eth_ci(fit_nb))
round(c(theta = fit_nb$theta, AIC_pois = AIC(fit_pois), AIC_nb = AIC(fit_nb)), 2)
#>         Estimate Std. Error    RR lower upper
#> poisson   -0.534      0.042 0.586 0.540 0.637
#> quasi     -0.534      0.152 0.586 0.435 0.790
#> negbin    -0.569      0.153 0.566 0.419 0.764
#>    theta AIC_pois   AIC_nb
#>     1.27  2299.18  1109.15 

係数は同じでも信頼区間の幅が変わる

表の1行目と2行目を比べると、ポアソン回帰と準ポアソン回帰の係数は-0.534で一致し、率比0.586も同じです。準ポアソン回帰は平均の構造をポアソン回帰と共有し、分散の倍率だけを推定するため、点推定は変わらず、標準誤差だけが分散比の平方根、約3.6倍に広がって0.042から0.152になります。

負の二項回帰では、重みづけが変わるために係数も-0.569とわずかに動き、率比は0.566、標準誤差は0.153でした。率比の解釈はどのモデルでも同じで、他の変数を揃えた時、アボリジニではない生徒の欠席日数はアボリジニの生徒の約0.57〜0.59倍と推定されます。

区間の幅に目を移すと、ポアソン回帰の95%信頼区間は0.540〜0.637と狭いのに対し、準ポアソン回帰では0.435〜0.790、負の二項回帰では0.419〜0.764と広がり、率比が0.8近くまでありうるという読み方に変わります。また、この例では3つのモデルとも率比が1を下回る方向は揃っているものの、効果の小さい変数では、ポアソン回帰だけが有意と判定し、過分散を考慮したモデルでは区間が1をまたぐという食い違いが起こりえます。

なお、quineは観察データで、家庭環境や地域など記録されていない要因が欠席日数と民族の両方に関わっている可能性があるため、ここで推定した率比は民族そのものの影響ではなく、4つの変数で調整した後の関連の大きさとして読みます。

AICと図で分布の形を確かめる

負の二項回帰の$\theta$は1.27と推定されました。式(1)に当てはめると、平均16日前後の生徒では上乗せ分$\mu^2/\theta$がおよそ210になり、ポアソンの分散16を大きく上回るため、散らばりの大部分が個人差に由来する形になっています。

この差はAICにも現れ、ポアソン回帰の2299.2に対して負の二項回帰は1109.2で、約1190下がりました。AICは尤度に基づく量なので、尤度を持たない準ポアソン回帰とは比べられず、分散比と分散の形を手がかりに判断します。

days <- 0:max(quine$Days)
bin <- cut(days, breaks = seq(-0.5, max(days) + 5, by = 5))
obs_bin <- tapply(as.numeric(table(factor(quine$Days, levels = days))), bin, sum)
pois_bin <- tapply(146 * dpois(days, lambda = mean(quine$Days)), bin, sum)
nb_bin <- tapply(146 * dnbinom(days, size = fit_nb$theta, mu = mean(quine$Days)), bin, sum)
mids <- seq(2, by = 5, length.out = length(obs_bin))
plot(mids, obs_bin, type = "h", lwd = 12, col = "grey70", lend = 1,
     ylim = c(0, max(obs_bin, pois_bin, nb_bin) * 1.1),
     xlab = "Days absent (5-day bins)", ylab = "Number of students",
     main = "Observed days absent vs Poisson and negative binomial")
lines(mids, pois_bin, type = "b", pch = 16, col = "firebrick", lwd = 2)
lines(mids, nb_bin, type = "b", pch = 17, col = "steelblue", lwd = 2)
legend("topright", legend = c("Observed", "Poisson (mean)", sprintf("Neg. binomial (theta = %.2f)", fit_nb$theta)),
       col = c("grey70", "firebrick", "steelblue"), lwd = c(12, 2, 2), pch = c(NA, 16, 17), bty = "n")
quineデータの欠席日数を5日幅で集計したヒストグラムに、全体平均のポアソン分布と推定したθの負の二項分布の理論度数を重ねた図です。ポアソン分布は15日前後に鋭い山を作りますが、負の二項分布は0日付近から右に長く裾を引く観測の形に沿っています。
図1 quineデータの欠席日数(灰色)と、全体平均を使ったポアソン分布(赤)、推定したθを使った負の二項分布(青)の理論度数です。ポアソン分布は平均の周りに度数を集めすぎ、少ない欠席と長い欠席の両方を説明できていません。

図1を見ると、ポアソン分布は平均16日の周りに度数を集中させ、欠席が0〜4日の生徒や50日を超える生徒をほとんど想定していません。一方、負の二項分布は少ない欠席に度数を置きつつ右に長い裾を持ち、観測の形におおむね沿っており、AICの差が分布の形のどこから生じているかが読み取れます。

ただし、この図は説明変数を入れない周辺分布の比較です。回帰モデルの当てはまりを評価するには、説明変数で条件づけた予測値と残差で確かめる必要があり、図1は過分散の様子を直感的に把握するための補助として使います。

論文や報告書ではどう扱われているか

負の二項回帰の推定法は、Lawless(1987)が最尤推定と混合ポアソンモデルとしての性質を整理しており、Hilbe(2011)の教科書は分散比の確認から負の二項回帰の当てはめ、報告までを体系的に扱っています。これらの文献に共通するのは、回数データの回帰では分散の仮定を確かめた結果を報告し、過分散があれば分散を表すモデルに切り替えるという順序です。

2つのモデルの選び方について、Ver HoefとBoveng(2007)は、両者の分散の形が異なる以上、データの平均と分散の関係を見て選ぶべきだと論じています。このため報告では、ポアソン回帰の分散比、選んだモデルとその理由、負の二項回帰なら$\theta$、準ポアソン回帰なら尺度パラメータ$\phi$、そして率比と95%信頼区間を揃えて書くと、読者が結果の不確かさを評価できます。

こうした報告の考え方を医学研究の文脈に当てはめた例は【医療統計版】過分散と負の二項回帰:分散が大きいカウントデータにまとめています。また、ポアソン、負の二項、準ポアソンがリンク関数を共有し分散の仮定だけが異なる点は、一般化線形モデルの考え方:リンク関数とは何かの枠組みで整理できます。

過分散を確かめてからモデルを選ぶ

回数データを回帰で扱う時は、ポアソン回帰を当てはめた後に分散比を計算し、1を大きく上回れば負の二項回帰か準ポアソン回帰を使って、率比と95%信頼区間を報告する進め方を推奨します。判断に迷うのは分散比が1.5前後の時ですが、その場合も過分散を考慮したモデルで区間を求めておけば、ポアソン回帰との違いが小さいことを確かめた上で結果を報告できます。

その上で、負の二項回帰と準ポアソン回帰の選択は、分散が平均の二乗に沿って増えるか、平均に比例して増えるかで決まり、平均の範囲が狭いデータでは両者の結果は近くなります。逆に、0回の観測が負の二項分布の想定よりも多い場合や、同じ個人を繰り返し数えている場合は、分散の仮定を変えるだけでは足りず、データの生成の仕組みに合わせてモデルの形から見直す必要があります。

また、欠席が1日もない生徒のように0の回数が大半を占めるデータでは、負の二項分布でも0の多さを表しきれないことがあります。観測された0の割合と、当てはめた負の二項分布から計算される0の割合を比べ、観測の方が明らかに多い時は、0を生む過程を別に扱うゼロ過剰モデルやハードルモデルなどを検討します。

参考文献

  1. Cameron AC, Trivedi PK. Regression-based tests for overdispersion in the Poisson model. Journal of Econometrics. 1990;46(3):347-364.
  2. Ver Hoef JM, Boveng PL. Quasi-Poisson vs. negative binomial regression: how should we model overdispersed count data? Ecology. 2007;88(11):2766-2772.
  3. Lawless JF. Negative binomial and mixed Poisson regression. Canadian Journal of Statistics. 1987;15(3):209-225.
  4. Venables WN, Ripley BD. Modern Applied Statistics with S. 4th ed. New York: Springer; 2002.
  5. Hilbe JM. Negative Binomial Regression. 2nd ed. Cambridge: Cambridge University Press; 2011.

Popular Articles