Top 5 This Week

関連記事

検定の繰り返しと中間解析:途中で見てはいけない理由

- 本サイト運営者のサービスの紹介 -
Dr.データサイエンス|医療統計解析の代行・相談

2群の平均を比べる実験で、各群20人分のデータが集まった時点で一度t検定を行い、有意でなければ40人、60人と追加しながら検定を繰り返す進め方があります。オンラインの比較実験で毎日の集計を見ながら止める時期を決める場合も、データが増えるたびに同じ仮説を検定し直すという点で同じ構造をもちます。

この進め方では、1回ごとの検定は有意水準5%で正しく計算されていても、どこかの時点で有意になる確率は5%を超えます。そこで途中で結果を見る研究では、見る回数と時点を事前に決め、各回の判定基準を厳しくして全体の第1種の過誤を5%に保つ設計が使われてきました。

途中で検定を繰り返すと過誤は約0.14まで増える

真の差がない2群でも、1回の検定は5%の確率で有意になります。Armitageら(1969)は、データが蓄積するたびに有意水準5%の検定を繰り返す場合を計算し、正規分布に従うデータで5回検定すると、どこかの時点で有意になる確率が約0.14まで上がることを報告しました。

もっとも、増え方は検定の回数に比例するほど大きくはなりません。20人時点のデータは40人時点のデータに含まれるため、隣り合う時点の検定統計量は強く相関し、互いに独立な検定を5回行う場合より過誤の上がり方は緩やかになります。

この約0.14という値を名目の5%と比べると、有意になった時点で止めて「p<0.05」とだけ報告する研究は、実際には差がなくても14%前後の確率で起こる出来事を、5%の珍しさとして伝えています。p値はp値とは何か:帰無仮説のもとでの珍しさで扱った帰無仮説のもとでの珍しさを表すため、止め方を報告しない限り、その珍しさの基準そのものが読者から見えなくなります。

有意になった時点で止める規則の偏り

止める規則そのものがデータに依存する点が、この問題の中心にあります。事前に各群100人と決めて最後に1回だけ検定するなら有意になる確率は5%ですが、途中の結果を見て「有意なら止める、そうでなければ続ける」と決めると、検定結果が有意側に寄るように例数が選ばれていきます。

この偏りを実験の場面で検討したのがSimmonsら(2011)で、各群の人数を途中の検定結果に応じて増やす柔軟性だけで、偽陽性の割合が名目の5%を上回ることを確かめました。また、こうした途中の確認が論文に書かれない場合、読者は報告されたp値から過誤の増え方を見積もる手段をもちません。

こうした問題のうち、例数を後から増やす場面は有意差が出るまで例数を増やす問題で、解析方法を結果に合わせて変える場面はp-hackingとは何か:結果を見てから解析を変えないで扱っています。一方、中間解析は途中で見ること自体を禁じる考え方とは異なり、見る回数と基準を事前に決めることで、全体の過誤を計画の段階から管理する枠組みです。

各回の有意水準を一定に下げるPocockの方法

途中で見る回数と時点を事前に固定した設計を群逐次法(group sequential method)と呼びます。Pocock(1977)は、等間隔にK回の解析を行う時、各回に同じ名目有意水準を用いて全体の第1種の過誤を所定の値に保つ方法を導き、K=5、全体の有意水準0.05の場合の名目有意水準は0.016になります。

この0.016を標準正規分布の境界に直すと約2.41に当たり、5回のどの時点でも検定統計量の絶対値が2.41を超えた時に限って有意と判定します。1回の検定で使う1.96よりかなり厳しい基準を毎回課すことで、5回全体で有意になる確率を0.05付近に抑える仕組みです。

ただし、Pocockの境界は最終回でも0.016のままなので、途中で止めずに最後まで進んだ場合、最終解析は単独の検定より厳しい基準で判定されます。たとえば最終解析でp=0.03を得ても計画どおりなら有意とは判定されず、最終結果を重視する研究ではこの性質が検出力の低下として効いてきます。

初めに厳しく最後に緩めるO’Brien–Flemingの境界

O’BrienとFleming(1979)は、初期の解析ほど境界を高く置き、最終解析では通常の検定に近い基準を使う方法を提案しました。k回目の解析での境界は次のように書けます。

$$c_k = c\sqrt{\frac{K}{k}} \tag{1}$$

式(1)は、k回目の境界が、全体の中でどれだけ早い段階の解析かを表す比K/kの平方根に比例して高くなることを表しています。

$K$は事前に決めた解析の総回数、$k$は何回目の解析か、$c_k$は$k$回目の検定統計量の絶対値と比べる境界、$c$は全体の第1種の過誤が0.05になるように決める定数です。

この式でK=5とすると、全体を0.05に保つ定数はc≒2.04になり、各回の境界は1回目が4.562、2回目が3.226、3回目が2.634、4回目が2.281、5回目が2.040です。そのため、各群20人の時点で有意と判定されるには検定統計量の絶対値が4.5を超える極端な差が必要で、最終回の2.04は単独の検定で使う1.96とほとんど変わりません。

この境界の形は、例数の少ない初期の段階ほど差の推定値が偶然で大きく振れやすいことと対応しています。初期の境界を高く置けば少数例の偶然による早期の中止を防げるうえ、計画どおり最後まで進んだ場合の基準が単独の検定に近く保たれるため、最終解析を重視する研究ではO’Brien–Fleming型の方が扱いやすくなります。

回数と時点を柔軟にするα消費関数

PocockやO’Brien–Flemingの方法は、等間隔の時点で決まった回数だけ解析することを前提にしています。しかし実際には、データの集まり方が予定どおりに進まず、解析の時点が前後したり、回数を変える必要が生じたりする場面があります。

この制約に対して、LanとDeMets(1983)は、全体の有意水準αを、集まった情報の割合に応じてどれだけ使ってよいかを関数として事前に決めるα消費関数を提案しました。各解析の境界はその時点までに消費したαから計算されるため、解析の回数や時点を事前に固定しなくても、全体の第1種の過誤をαに保てます。

もっとも、柔軟になるのは解析の時点と回数に限られ、消費関数そのものはデータを見る前に決めておく必要があります。また、途中の結果を見てから解析時点を早めたり遅らせたりすると、時点の選び方がデータに依存し、Simmonsら(2011)が論じた柔軟性と同じ問題が戻ってきます。

この情報の割合の数え方や、消費関数を臨床試験の計画にどう組み込むかについては、【医療統計版】中間解析:情報時点と有意水準の消費が研究の文脈に沿って扱っています。一般的な仕組みとしては、事前に決めた関数がαの使い方を縛っている限り、時点の柔軟性と全体の過誤の管理は両立します。

乱数で生成したデータで3通りの止め方を比べる

ここまでの境界が実際に全体の過誤を5%付近に保つかを、乱数で生成したデータで確かめます。真の差がない2群を標準正規分布から各群100人ずつ生成し、各群20、40、60、80、100人の5時点でWelchのt検定を行う手順を5,000回繰り返しました。

# 差のない2群を各群100人分つくり、5時点で検定する
set.seed(42)
n_sim <- 5000
looks <- c(20, 40, 60, 80, 100)
p_mat <- matrix(NA_real_, nrow = n_sim, ncol = 5)
t_mat <- matrix(NA_real_, nrow = n_sim, ncol = 5)
for (s in seq_len(n_sim)) {
  group_a <- rnorm(100)
  group_b <- rnorm(100)
  for (k in 1:5) {
    res <- t.test(group_a[1:looks[k]], group_b[1:looks[k]])
    p_mat[s, k] <- res[["p.value"]]
    t_mat[s, k] <- res[["statistic"]]
  }
}

この設定では、どの時点で有意になってもそれは第1種の過誤です。そこで、毎回p<0.05で止める方法、毎回Pocockの名目有意水準0.016を使う方法、t統計量の絶対値が式(1)の境界2.04×√(5/k)を超えた時に止める方法の3通りについて、各時点までに一度でも有意になった割合を求めました。

# 各時点までに一度でも有意になった累積割合
cum_rate <- function(hit) colMeans(t(apply(hit, 1, cummax)))
obf_bound <- 2.04 * sqrt(5 / 1:5)
naive_cum <- cum_rate(p_mat < 0.05)
pocock_cum <- cum_rate(p_mat < 0.0158)
obf_cum <- cum_rate(abs(t_mat) > matrix(obf_bound, n_sim, 5, byrow = TRUE))
round(obf_bound, 3)
round(rbind(naive = naive_cum, pocock = pocock_cum, obf = obf_cum), 4)
mean(p_mat[, 5] < 0.05)
#> [1] 4.562 3.226 2.634 2.281 2.040
#>          [,1]   [,2]   [,3]   [,4]   [,5]
#> naive  0.0494 0.0824 0.1076 0.1268 0.1440
#> pocock 0.0162 0.0270 0.0356 0.0416 0.0478
#> obf    0.0000 0.0020 0.0098 0.0266 0.0510
#> [1] 0.0508

得られた出力のうち、1行目は式(1)の境界で、続く表の各行が時点ごとの累積割合です。毎回p<0.05で判定する方法は1回目の0.049から5回目の0.144まで増えてArmitageら(1969)の約0.14とよく合いますが、Pocockの方法は0.0478、O’Brien–Fleming型は0.051で5回目を終えています。

なお、最後の行の0.051は、5回目の各群100人のデータで1回だけ検定した場合の割合で、名目の5%と揃っています。5,000回の繰り返しでは割合に乱数による揺らぎが伴うため、0.048と0.051の差を2つの境界の優劣として読むのは誤りで、どちらも全体の過誤を1回だけの検定と同程度に保っていると読むのが結果に見合った解釈です。

読み違えやすい点として、境界の2.04や2.41はもともと正規分布に従う統計量について導かれた値で、ここでは各群20人からのt統計量へそのまま当てはめています。少ない例数のt統計量は裾が重いぶん境界を超えやすくなりますが、今回の結果ではO’Brien–Fleming型の最初の時点の割合は0.0000で、全体の割合も0.05付近にとどまっていました。

図で見る累積の過誤の増え方

3通りの累積割合を時点ごとに並べると、過誤の使い方の違いが形として見えてきます。次のコードは、上で求めた3本の累積割合と0.05の水平線を1枚に描いたものです。

# 図1:3通りの累積割合と0.05の線
plot(1:5, naive_cum, type = "b", pch = 16, ylim = c(0, 0.168),
     xlab = "Look (n per group: 20, 40, 60, 80, 100)", ylab = "Cumulative proportion significant",
     main = "Type I error under repeated looks (no true difference)")
lines(1:5, pocock_cum, type = "b", pch = 17, lty = 2)
lines(1:5, obf_cum, type = "b", pch = 15, lty = 3)
abline(h = 0.05, col = "grey50")
legend("topleft", legend = c("p < 0.05 every look", "Pocock (0.0158)", "O'Brien-Fleming", "0.05"),
       pch = c(16, 17, 15, NA), lty = c(1, 2, 3, 1), col = c(1, 1, 1, "grey50"), bty = "n")
真の差がない2群を5時点で検定した時、各時点までに有意になった累積割合を3通りの判定方法で比べた折れ線図です。毎回p<0.05で判定する実線は5回目に約0.14まで上がり、Pocockの方法とO'Brien–Fleming型の境界は5回目に0.05の線付近で止まっています。
図1 毎回p<0.05で判定すると累積の過誤は5回目に0.144まで増えますが、Pocockの方法(破線)は少しずつ、O’Brien–Fleming型(点線)は後半にまとめて過誤を使い、どちらも5回目に0.05付近へ到達します。

図1の実線は、1回目こそ0.05の線上にありますが、2回目以降は線を大きく上回って増え続けます。見る回数を増やすほど過誤が積み上がる様子は、Armitageら(1969)が計算した構造を、t検定を使った5,000回の繰り返しでもそのまま再現しています。

一方、2つの境界の折れ線は増え方の形が異なります。Pocockの方法は1回目から0.016と過誤を少しずつ使っていくのに対し、O’Brien–Fleming型は3回目まで0.0098にとどまり、4回目と5回目でまとめて増えて最終的に0.05付近へ到達します。

この形の差は、途中で止める見込みと最終解析の強さのどちらを重く見るかという設計上の選択に対応します。早い段階で大きな差があれば止めたい研究ではPocock型の方が早期に有意判定を出しやすく、最後まで進む前提で最終解析の基準を単独の検定に近く保ちたい研究ではO’Brien–Fleming型が向いています。

論文や報告書ではどう扱われているか

群逐次法の考え方は、臨床試験の中間解析を背景に発展してきました。Armitageら(1969)が繰り返し検定による過誤の増加を示し、Pocock(1977)とO’BrienとFleming(1979)が事前に回数を決めた境界を、LanとDeMets(1983)が回数と時点を柔軟にする消費関数を提案したという流れは、4本とも臨床試験の設計を題材にしています。

また、Simmonsら(2011)は心理学の研究報告を対象に、データ収集の止め方を報告しないことが偽陽性を見えなくすると論じ、データを集める前に収集の終了規則を決めて報告することを研究者側の要件として挙げています。そのため、途中で結果を見たかどうか、見たなら何回、どの時点で、どの境界を使ったかは、分野を問わず結果の解釈に欠かせない情報になります。

こうした臨床試験での中止判断や多重性の扱いは、【医療統計版】中間解析と多重性:試験を途中で止める判断が研究の文脈で説明しています。さらに、検定の回数が増えると過誤が膨らむという点では、複数の評価項目や群比較について同じ現象を扱った多重検定はなぜ問題か:検定を繰り返すと起こることと考え方が共通しています。

途中で結果を見る予定がある研究での判断

途中で結果を見る予定がある研究では、見る回数、時点、各回の境界またはα消費関数をデータを見る前に決め、計画書や事前登録へ記録しておくと、最終的な有意判定がどの程度の過誤を伴うかを読者が確認できます。境界の形は、早期中止を重く見るか最終解析を重く見るか、解析時点が予定どおりに進むかどうかで選び、その選択の理由も計画の段階で書き残しておくと後から説明がつきます。

逆に、有意になるまでデータを追加して検定を繰り返すことや、途中で結果を見たことを報告しないことは、今回の例のように第1種の過誤を約3倍に膨らませたまま5%として伝える結果につながるため不適切です。途中で一度見てしまった場合でも、その事実と時点を報告に書けば、読者は過誤の増え方を見積もれます。

さらに、有意判定だけで結果を読まず、止めた時点の差の大きさと信頼区間を併せて報告すると、p値と効果量:小さな差でも有意になる仕組みで扱った効果の大きさの読み取りにもつながります。自分のデータで中間解析の回数や境界をどう設計するかを検討したい場合は、Dr.データサイエンスで解析計画のご相談を承っています。

参考文献

  1. Armitage P, McPherson CK, Rowe BC. Repeated significance tests on accumulating data. Journal of the Royal Statistical Society Series A. 1969;132(2):235-244.
  2. Pocock SJ. Group sequential methods in the design and analysis of clinical trials. Biometrika. 1977;64(2):191-199.
  3. O’Brien PC, Fleming TR. A multiple testing procedure for clinical trials. Biometrics. 1979;35(3):549-556.
  4. Lan KKG, DeMets DL. Discrete sequential boundaries for clinical trials. Biometrika. 1983;70(3):659-663.
  5. Simmons JP, Nelson LD, Simonsohn U. False-positive psychology: undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science. 2011;22(11):1359-1366.

Popular Articles