Top 5 This Week

関連記事

事後検定とは何か:分散分析の後に何をするか

- 本サイト運営者のサービスの紹介 -
Dr.データサイエンス|医療統計解析の代行・相談

対照と2種類の処理の3群で植物の乾燥重量を比べ、一元配置分散分析でp=0.016という結果が出た場面を考えます。報告に必要なのは「どの処理とどの処理の間に差があり、その差はどの程度か」という情報ですが、分散分析の表には群の組ごとの比較が載っておらず、この後に行う比較が事後検定(post hoc test)と呼ばれ、どの方法を選ぶかは比較の目的によって決まります。

分散分析のF検定が答える範囲

一元配置分散分析のF検定が検定している帰無仮説は「どの群の母平均も等しい」という1つの命題で、有意になった時に導けるのは、少なくとも1つの組で母平均が異なるという範囲までです。3群なら比べる組は3つあり、そのうちどれが差を生んでいるのか、差の向きと大きさはどうかは、F値とp値からは読み取れず、分散分析そのものの仕組みは一元配置分散分析とは何か:3群以上を一度に比べるで扱っています。

この限界について、Tukey(1949)は分散分析の後で個々の平均を比べる手続きを論じ、全体の検定だけでは研究者が知りたい群の間の違いが分からないことを出発の動機に置いていました。有意なF検定の後に群ごとの差がどう見えるかは分散分析が有意でも群ごとの差は分からないでも具体例で確かめています。

そこで必要になるのが、組ごとの差を推定し、その不確かさを複数の比較を通して管理する手続きです。組ごとに2群のt検定を繰り返すと、1回ごとの有意水準を5%にしても、比較全体で少なくとも1つ誤って有意とする確率は5%を超えるため、比較の数に応じた調整が加わり、この誤りの増え方の詳細は多重比較とは何か:検定を繰り返すと誤りが増えるにまとめています。

事後検定と計画比較を分けて考える

比較の仕方には、データを見る前に少数の比較を決めておく計画比較と、結果を見てからあらゆる組を調べる事後検定があります。たとえば「新しい処理2つがそれぞれ対照より重量を増やすか」を研究計画の段階で決めていれば、比べる組は対照との2つに限られ、それ以外の組は主要な解析に入りません。

一方、どの組に差がありそうかを結果から探す場合は、データを見た後で比較を選んでいるため、見た目の差が大きい組ほど選ばれやすく、この選択の影響を打ち消すには、ありうる全部の組を比べる前提で誤りを管理する方法が必要になります。そのため、事後検定の方法は比較の範囲を広く取ります。

この区別は、同じデータでも比較の範囲によって調整の強さが変わるという点で、結果の読み方に直接影響します。比較の数が少ないほど1つ当たりの調整は小さく済むので、計画比較として対照との比較だけを事前に定めておけば、同じ差でも検出しやすくなります。

なお、計画比較として扱えるのは、比較の組と検定の方法が解析計画書や事前登録の記録に残っている場合に限られます。結果を見た後で「対照との比較を最初から予定していた」と位置づけ直すと、計画比較の利点である調整の小ささが、選択の影響を受けた比較にそのまま当てはめられてしまうため、記録のない比較は事後検定の側に置いて扱います。

比較の目的で方法を決める

群のあらゆる組を比べたい場合は、Tukey(1949)の方法が標準的な選択になります。各群の例数が揃っていて分散が等しいと仮定できる時、Tukey法はあらゆる対比較について同時に95%を保つ信頼区間を与え、例数が揃わない場合にはKramer(1956)が拡張したTukey–Kramer法が使われ、個々の計算はTukey法:全ての組を比べるで扱っています。

これに対して、比べたいのが対照群と各処理群の差だけなら、Dunnett(1955)の方法が対応します。対照との比較に絞ることで比べる組の数がTukey法より少なくなるため、同じデータでも対照との差に対する調整済みp値は小さくなり、信頼区間も狭くなり、対照との比較の詳細はDunnett法:対照群と比べるにあります。

さらに、群ごとの分散が大きく異なる場合や例数が大きく偏る場合には、等分散を前提にするTukey法の誤り率が名目どおりに保たれないことがあります。GamesとHowell(1976)はモンテカルロ実験で不等分散・不等例数での対比較の手続きを比べ、各群の分散を別々に推定するGames–Howell法を提案しており、群ごとのばらつきが揃わないデータではこの方法が候補になります。

こうした選び方を一般化すると、比較の範囲(全部の組か、対照との比較か)と、分散と例数の条件(揃っているか)の2つで方法がほぼ決まります。目的別の整理は多重比較の選び方:目的別の整理にまとめており、Bonferroni法やHolm法のように比較の構造を使わない汎用の補正との使い分けもそちらで比べています。

Tukey法の統計量の形

各群の例数がnで揃っている時、群iと群jの比較に使うTukey法の統計量は次の式で表されます。

$$q = \frac{\bar{x}_i – \bar{x}_j}{\sqrt{\mathrm{MSE}/n}} \tag{1}$$

ここで$\bar{x}_i$と$\bar{x}_j$は2群の標本平均、MSEは分散分析表の残差平均平方、nは1群当たりの例数です。

式(1)は、2群の平均の差を、全群から集めた誤差の大きさで割った量を表しています。分母のMSEは比べる2群だけでなく全群のデータから推定するため、群が増えるほど誤差の推定は安定します。

このqは、2標本のt統計量と同じ基準では判定されず、「群の数がk個ある時、最大の平均と最小の平均の差がどこまで開くか」を表すスチューデント化範囲の分布と比べられます。そのため群の数が増えるほど棄却に必要な値は大きくなり、その分だけ全組の比較を同時に守る調整が入る点が、Tukey法の要点です。

全体の検定が有意でない時に事後検定をしない慣習

分散分析が有意でなければ事後検定を行わず、有意な時だけ対比較に進むという手順は、教科書や解析の手引きでよく見かけます。もっとも、Tukey法やDunnett法はそれ自体で比較全体の誤り率を管理するように作られており、その保証はF検定の結果に依存していないため、F検定を関門として前に置く統計学的な必要はありません。

逆に、F検定を関門にすると、事前に決めた対照との比較があるのに全体の検定が有意でないという理由で比較を報告しない、という判断が生じます。F検定は全部の群の違いをまとめて見ているので、2つの処理のうち1つだけが対照と異なる場面では検出力が落ちることがあり、本来の研究目的である対照との比較が埋もれます。

したがって、事後検定を行うかどうかはF検定の結果で決めるのではなく、研究計画で定めた比較の目的で決めます。全部の組を比べる計画ならTukey法、対照との比較ならDunnett法を、F検定の有意性にかかわらず実施して報告するのが筋の通った手順です。

PlantGrowthで4つの方法を並べる

ここではR本体に含まれるPlantGrowthデータセットを使います。対照(ctrl)と2種類の処理(trt1、trt2)の3群に各10個体ずつ、合計30個体の乾燥重量が記録されています。

群ごとの平均と分散分析

このデータについて、群ごとの平均重量を求め、群を説明変数にした一元配置分散分析を当てはめました。

options(show.signif.stars = FALSE)
# 3群(ctrl, trt1, trt2)各10個体の乾燥重量
tapply(PlantGrowth$weight, PlantGrowth$group, mean)
fit <- aov(weight ~ group, data = PlantGrowth)
summary(fit)
#>  ctrl  trt1  trt2
#> 5.032 4.661 5.526
#>             Df Sum Sq Mean Sq F value Pr(>F)
#> group        2  3.766  1.8832   4.846 0.0159
#> Residuals   27 10.492  0.3886               

この出力では、平均は対照が5.032、trt1が4.661、trt2が5.526で、F値は4.846、p値は0.016でした。残差平均平方0.389は式(1)のMSEに当たり、この表から分かるのは3群の平均がどれも等しいとは考えにくいという点までで、どの組が異なるかはまだ分かりません。

Tukey法による全組の比較

続いて、3つの組の差について、Tukey法で95%同時信頼区間と調整済みp値を求め、区間を図にしました。

# 全組の比較:Tukey法の差、95%同時信頼区間、調整済みp値
tukey <- TukeyHSD(fit, conf.level = 0.95)
tukey
par(mar = c(4.5, 7, 3, 1))
plot(tukey, las = 1)
#>   Tukey multiple comparisons of means
#>     95% family-wise confidence level
#> Fit: aov(formula = weight ~ group, data = PlantGrowth)
#> $group
#>             diff        lwr       upr     p adj
#> trt1-ctrl -0.371 -1.0622161 0.3202161 0.3908711
#> trt2-ctrl  0.494 -0.1972161 1.1852161 0.1979960
#> trt2-trt1  0.865  0.1737839 1.5562161 0.0120064
PlantGrowthデータの3つの組について、Tukey法による平均の差と95%同時信頼区間を横棒で並べ、0の縦線を引いた図です。trt2とtrt1の組だけ区間が0をまたいでいません。
図1 Tukey法による3つの組の平均の差と95%同時信頼区間です。0の線をまたがないのはtrt2−trt1の区間だけで、対照との2つの比較は0を含んでいます。

この出力で調整済みp値が0.05を下回ったのはtrt2とtrt1の組だけで、差は0.865、95%同時信頼区間は0.174から1.556でした。対照との比較はtrt1で−0.371(区間−1.062〜0.320)、trt2で0.494(区間−0.197〜1.185)となり、どちらも区間が0を含むため、このデータからは対照との差の向きを定められません。

ここで読み違えやすいのは、有意でない2つの比較を「対照と差がない」と読む点です。trt2と対照の区間は上限が1.185まで広がっており、対照の平均5.032に対して2割を超える増加とも両立しているので、差がないと判断できるほど区間は狭くありません。

Dunnett法と補正なしのt検定との比較

次に、比較を対照との2つに絞ったDunnett法と、組ごとのt検定を補正なしとHolm法で行った結果を求めました。

library(multcomp)
# 対照群ctrlとの比較:Dunnett法
dunnett <- glht(fit, linfct = mcp(group = "Dunnett"))
summary(dunnett)
#> 	 Simultaneous Tests for General Linear Hypotheses
#> Multiple Comparisons of Means: Dunnett Contrasts
#> Fit: aov(formula = weight ~ group, data = PlantGrowth)
#> Linear Hypotheses:
#>                  Estimate Std. Error t value Pr(>|t|)
#> trt1 - ctrl == 0  -0.3710     0.2788  -1.331    0.323
#> trt2 - ctrl == 0   0.4940     0.2788   1.772    0.153
#> (Adjusted p values reported -- single-step method)
# 補正なしの対ごとのt検定とHolm法
pairwise.t.test(PlantGrowth$weight, PlantGrowth$group, p.adjust.method = "none")
pairwise.t.test(PlantGrowth$weight, PlantGrowth$group, p.adjust.method = "holm")
#> 	Pairwise comparisons using t tests with pooled SD
#> data:  PlantGrowth$weight and PlantGrowth$group
#>      ctrl   trt1
#> trt1 0.1944 -
#> trt2 0.0877 0.0045
#> P value adjustment method: none
#> 	Pairwise comparisons using t tests with pooled SD
#> data:  PlantGrowth$weight and PlantGrowth$group
#>      ctrl  trt1
#> trt1 0.194 -
#> trt2 0.175 0.013
#> P value adjustment method: holm

その結果を見ると、Dunnett法では比べる組が3つから2つに減り、その分だけ調整が緩くなるため、trt2と対照の比較の調整済みp値は0.153と、Tukey法の0.198より小さくなりました。比較の目的を対照との差に限定すると、同じデータでも対照との比較の感度が上がることがこの差に表れています。

これと並べると、補正なしのt検定はtrt2とtrt1で0.0045、trt2と対照で0.088となり、調整した方法のどれよりも小さな値でしたが、補正なしの値は1つの比較だけを行った場合の誤り率に基づくため、結果を見て3つの組を調べる事後検定として使うと、比較全体の誤り率は5%を超えます。Holm法では0.013と0.175となり、trt2とtrt1の組だけが0.05を下回るという結論はTukey法と一致しました。

このように方法ごとにp値が異なる以上、4つの結果を見比べてから都合のよい方法を選ぶと、結果を見て比較を選ぶ場合と同じく比較全体の誤り率を名目の水準に保てなくなるため、そうした報告の仕方は不適切です。

論文や報告書での事後検定の扱い

報告では、使った方法の名前と、それを選んだ理由になる比較の範囲を書き、調整済みp値か同時信頼区間を添えます。BenderとLange(2001)は、多重性の調整が必要かどうかは研究が確認的か探索的か、主要な比較が事前に定められているかによって決まると整理しており、比較の範囲を書かずに「事後検定で有意」とだけ報告すると、その判断の根拠が読者に伝わりません。

また、図1のように差と同時信頼区間を並べて示すと、有意かどうかだけでなく差の大きさと推定の精度が同時に伝わります。p値の一覧だけでは、trt2と対照の比較のように区間が広く結論を出せない組と、差がほとんどないと言える組の区別がつかないため、区間を報告に含める意味は大きくなります。

さらに、等分散を仮定したかどうかも報告に入れます。群ごとの標準偏差を並べた記述統計を添え、分散が大きく異なる場合にGames–Howell法を用いたなら、その判断の根拠となった値も一緒に示すことで、読者が方法の選択を検証できます。

加えて、探索的に全組を調べた結果は、確認された差としてではなく次の研究で検証する候補として記述します。PlantGrowthの例でtrt2とtrt1の差が調整後も0.05を下回ったことは、この30個体の範囲での観察で、事前に立てた仮説の確認とは位置づけが異なるため、報告では比較を決めた時点が計画段階か結果を見た後かを明記しておくと、読者が結果の重みを判断しやすくなります。

事後検定を選ぶ時の判断

分散分析の後に何をするかは、F検定の結果ではなく、研究計画で定めた比較の目的で決まります。全部の組を比べるならTukey法、対照との比較ならDunnett法、分散や例数が揃わなければGames–Howell法を選び、調整済みp値と同時信頼区間を報告する、という順で考えると、PlantGrowthの例のように方法によって結論が変わる場面でも判断の根拠を説明できます。

反対に、補正なしの対ごとのt検定を事後検定として使うことと、複数の方法を試して有利な結果を選ぶことは、どちらも比較全体の誤り率を保てなくなるため不適切です。自分の研究データで比較の範囲や方法の選び方を相談したい場合は、Dr.データサイエンスで解析計画の段階から検討しています。

参考文献

  1. Tukey JW. Comparing individual means in the analysis of variance. Biometrics. 1949;5(2):99-114.
  2. Dunnett CW. A multiple comparison procedure for comparing several treatments with a control. Journal of the American Statistical Association. 1955;50(272):1096-1121.
  3. Kramer CY. Extension of multiple range tests to group means with unequal numbers of replications. Biometrics. 1956;12(3):307-310.
  4. Games PA, Howell JF. Pairwise multiple comparison procedures with unequal N’s and/or variances: a Monte Carlo study. Journal of Educational Statistics. 1976;1(2):113-125.
  5. Bender R, Lange S. Adjusting for multiple testing—when and how? Journal of Clinical Epidemiology. 2001;54(4):343-349.

Popular Articles