同じ治療について複数の無作為化比較試験が出そろっているのに、どの試験をどう集計するかで結論の向きが変わってしまう、という状況があります。システマティックレビューが個々の試験より強い科学的根拠として扱われるのは、取り込む研究の範囲と統合の方法を結果が見える前に確定させているという前提が守られている場合に限られます。
そのため、レビューの作業は文献検索から始まるのではなく、どの集団のどの治療について、どの結果指標で比べるのかを言葉で確定させる段階から始まります。ここでは、レビュー全体の流れをたどりながら、PICOで適格基準を書き下ろす作業と、プロトコルを解析の前に登録する仕組みが、最終的な統合推定値の性質にどう効いてくるかを扱います。
レビューの各段階が縛り合う順序
システマティックレビューは、研究目的の設定、適格基準の確定、検索式の作成、研究の選択とデータ抽出、バイアスリスクの評価、統合、報告という順に進みます。Page MJら（2021）が示したPRISMA 2020の報告項目もこの並びに沿って構成されており、報告段階で求められる情報は、作業の各段階で何をどう決めたかの記録にあたります。
この並びでは、検索式は適格基準の言い換えであり、統合の対象となる研究は検索と選択の結果として決まります。後ろの段階ほど前の段階の決定に縛られるため、最初に置いた研究目的が曖昧なまま進むと、どこで線を引いたのかを後から説明できなくなります。
実際、レビューの作業量の大半は検索と選択に費やされますが、結果の妥当性を左右する判断はその手前で済んでいます。8本の試験を統合して得た推定値が何を表すかは、その8本がどの基準で選ばれたかによって決まります。
PICOから適格基準への翻訳
PICOは、対象集団、介入、比較対照、アウトカムの4要素で研究目的を分解する枠組みで、レビューでは適格基準そのものとして使われます。2型糖尿病の成人を対象にSGLT2阻害薬と標準治療を比べ、心血管イベントの発生を主要アウトカムに置くと定めれば、対象年齢の下限、併用薬の扱い、追跡期間の下限といった線引きが具体的な除外条件へ落ちていきます。
ただし、4要素を並べただけでは適格基準として機能しません。心血管イベントという語ひとつでも、心血管死だけを数えるのか、非致死性心筋梗塞と脳卒中を含めた複合アウトカムを数えるのかで、取り込める試験の数も統合される効果の大きさも変わるため、測定方法と評価時点まで書き下ろしておく必要があります。
さらに、効果指標をリスク比にするか平均差にするか、追跡期間の異なる試験をどう扱うかは、アウトカムの測定尺度が確定して初めて決められます。アウトカムの定義の細かさが統合段階の判断まで決めるので、PICOの段階で尺度まで書いておくと、結果を見てから統合方法を選び直す余地が小さくなります。
枠組みの選び方が変える研究の集合
質問の枠組みはPICOだけではなく、研究デザインを加えたPICOS、質的研究向けのSPIDERなども使われます。Methley AMら（2014）は、質的研究のレビューを対象に同じ主題を3つの枠組みで検索し、SPIDERは検索の特異度が高い一方で関連文献を取りこぼし、PICOは感度が高い代わりに選別の作業量が増えることを報告しています。
ここでいう取りこぼしが偶然だけで決まっているなら統合推定値は動きませんが、効果の小さい試験ほど掲載誌が限られて検索に引っかかりにくいといった構造があると、取りこぼしは一方向の偏りとして残ります。感度と特異度のどちらを優先するかは、この偏りが残るかどうかに直接効いてきます。
そのため、無作為化比較試験を集めるレビューでも、検索の感度を優先して広く拾い、選別の労力で精度を確保する方針を勧めます。検索を最初から絞って作業量を軽くする設計は、どの研究がどの段階で落ちたのかを後から確認できない点で不利であり、除外理由を記録として残せる選択段階へ判断を寄せた方が、レビューの再現性は保ちやすくなります。
解析の前に固定しておく判断
レビュープロトコルに何を書いておくかは、報告ガイドラインの側で具体的に決まっています。Moher Dら（2015）のPRISMA-P 2015は、適格基準、検索戦略、データ抽出の手順、バイアスリスクの評価方法、統合の方法、サブグループ解析と感度分析の計画を挙げており、これらはどれも、データが集まった後では結果を見ながら選べてしまう種類の判断です。
なかでも、サブグループ解析と感度分析は事後の裁量が入りやすい部分です。年齢層や重症度で分けた解析をいくつも試し、差がついた層だけを報告すれば、多重性が調整されないまま強い主張だけが残るため、分割の軸と数をプロトコルの段階で限定しておく意味があります。
もっとも、事前に固定するのは判断の枠組みであって、データを見たうえでの変更が避けられない場面もあります。想定していた効果指標を報告している試験が数本しかないと分かった場合のように計画の修正が必要になった時は、変更内容と理由を記録し、当初の計画に沿った解析も併せて示すことで、変更が結論を作っていないかを読者が確かめられます。
プロトコル登録が残す日付つきの記録
Booth Aら（2011）は、システマティックレビューのプロトコルを開始前に国際登録する仕組みとしてPROSPEROを紹介し、重複したレビューの発見と、事後的な計画変更の抑制を目的として挙げています。登録は内容の質を査読する手続きではなく、いつ何を決めていたのかを日付つきで外部に残す記録として働きます。
この記録が効いてくるのは、レビューを読む側が、報告されたアウトカムと当初計画のアウトカムを突き合わせられるからです。プロトコルが公開されていなければ、主要アウトカムが差のついた指標へ置き換えられていても読者には判別できず、報告された信頼区間の解釈は書き手の申告に依存することになります。
なお、計画と報告の食い違いは、レビューが集める材料となる個々の試験の側でも起きます。Chan AWら（2004）は、無作為化比較試験のプロトコルと公表論文を照合し、報告されたアウトカムがプロトコルと食い違う例が多いこと、そして有意な結果ほど完全に報告されやすいことを示しています。
結果を見てから選ぶ操作が持つ向き
Page MJら（2014）は、無作為化比較試験を対象としたレビューにおいて、アウトカムや解析結果を選択的に取り込み報告する操作が統合推定値を動かすことを、方法論研究として扱っています。ここで効いてくるのは、その動きの向きが偶然ではなく一定だという性質です。
この操作の内訳を見ると、複数の候補の中から最も治療に有利な値を取り出す規則は、候補が偶然だけで決まっている場合でも最大値を選ぶため、統合推定値を治療に有利な側へ押し上げる一方、報告される標準誤差にはその選択が反映されません。向きが一定になる理由は、選択の規則そのものがこの形をしている点にあります。
そこで、統合の計算式そのものを書いておくと、どこに選択が入り込むのかが見えます。個々の試験$i$の効果推定値を$\hat{\theta}_i$、その標準誤差を$\widehat{\mathrm{se}}_i$と書くと、固定効果モデルによる統合推定値は次の形になります。
$$\hat{\theta} = \frac{\sum_{i=1}^{k} w_i \hat{\theta}_i}{\sum_{i=1}^{k} w_i}, \qquad w_i = \frac{1}{\widehat{\mathrm{se}}_i^{2}} \tag{1}$$
式(1)は、各試験の推定値を標準誤差の2乗の逆数で重みづけて平均する計算を表します。$w_i$は試験$i$に与えられる重みで、$k$は統合の対象となった試験数です。
この式には、どの試験を$i$に含めるのか、各試験のどの測定値を$\hat{\theta}_i$として使うのかを決める項が入っていません。統合の方法をどれだけ丁寧に選んでも、入力の選び方が結果に依存していれば偏りはそのまま残るため、適格基準とアウトカム定義を固定する作業が計算式の選択より前に来ます。
Rで確かめる選択の偏り
ランダムに生成したデータセットで、この押し上げの大きさを見ておきます。1群60例の試験を8本、それぞれが3つの候補アウトカムを測定している状況を設定し、真の効果を0に置いたうえで、プロトコルで定めた第1アウトカムだけを統合する経路と、試験ごとに最も治療に有利なアウトカムを選ぶ経路を4,000回ずつ比べました。
あわせて、適格基準の境界にある4本の試験を、結果が治療に有利な時だけ取り込む経路も置いています。統合には式(1)の逆分散重みを用いており、この設定での1試験あたりの標準誤差は0.1826、事前指定の経路での統合標準誤差は0.0645になります。
set.seed(42)
n_rep <- 4000; k_eligible <- 8; n_per_arm <- 60
sd_outcome <- 1.0; n_outcome <- 3; k_borderline <- 4
se_trial <- sd_outcome * sqrt(2 / n_per_arm) # 1試験あたり 0.1826
pool_fixed <- function(estimate, se) {
weight <- 1 / se^2
c(estimate = sum(weight * estimate) / sum(weight),
se = sqrt(1 / sum(weight)))
}ここで置いた3つの経路の違いは、統合に入る値をどう選ぶかだけです。事前指定の経路は各試験の第1アウトカムだけを使い、事後選択の経路は各試験で最も治療に有利だったアウトカムを使い、適格基準を動かす経路は境界例のうち結果が正だったものを加えます。
simulate_review <- function(delta) { # delta は真の効果
est <- matrix(rnorm(k_eligible * n_outcome, mean = delta, sd = se_trial),
nrow = k_eligible, ncol = n_outcome)
prespecified <- est[, 1]
outcome_pick <- apply(est, 1, max)
borderline <- rnorm(k_borderline, mean = delta, sd = se_trial)
drift_set <- c(prespecified, borderline[borderline > 0])
c(pool_fixed(prespecified, rep(se_trial, k_eligible)),
pool_fixed(outcome_pick, rep(se_trial, k_eligible)),
pool_fixed(drift_set, rep(se_trial, length(drift_set))),
n_drift = length(drift_set))
}
null_runs <- t(replicate(n_rep, simulate_review(0)))
colnames(null_runs) <- c("pre_est", "pre_se", "pick_est", "pick_se",
"drift_est", "drift_se", "n_drift")
summarise <- function(est, se) c(mean = mean(est), sd = sd(est),
reject = mean(abs(est / se) > qnorm(0.975)))
round(rbind(prespecified = summarise(null_runs[, 1], null_runs[, 2]),
outcome_pick = summarise(null_runs[, 3], null_runs[, 4]),
scope_drift = summarise(null_runs[, 5], null_runs[, 6])), 4)#> mean sd reject
#> prespecified 0.0003 0.0639 0.0462
#> outcome_pick 0.1540 0.0481 0.7125
#> scope_drift 0.0281 0.0556 0.0717この3つを4,000回繰り返すと、事前指定の経路では統合推定値の平均が0.0003と真の値0の近くに収まり、両側5%検定の棄却率も0.0462で名目水準の近傍にありました。一方、試験ごとに最も有利なアウトカムを選ぶ経路では平均が0.1540まで上がり、棄却率は0.7125に達しています。
0.1540という押し上げの大きさは、解析的にも追えます。1試験あたりの標準誤差0.1826に対して、互いに独立な標準正規変量3個の最大値の期待値を掛けた分だけ、推定値が正の側へ押し上げられます。
$$\mathbb{E}\left[\max(Z_1, Z_2, Z_3)\right] = \frac{3}{2\sqrt{\pi}} \approx 0.8463 \tag{2}$$
式(2)は、平均0、分散1の互いに独立な3つの確率変数$Z_1$、$Z_2$、$Z_3$の最大値が、平均しておよそ標準偏差の0.85倍になることを表します。
式(2)の値と比べると、シミュレーションで観測された押し上げ幅は標準誤差の0.8435倍で、解析的な0.8463と小数第2位まで一致しました。選択が生む偏りの大きさが計算で追えるという点は、これが個々のレビューの偶然ではなく、操作の規則から決まる系統的な偏りだという確認になります。
これに対し、結果が良い時だけ境界例を取り込む経路では、推定値の平均は0.0281と小さい一方、棄却率は0.0717と名目の5%を上回りました。取り込まれる試験数が平均9.99本へ増えることで報告される標準誤差が0.0580まで下がり、区間は狭くなりながら中心が正へ動くため、95%信頼区間の被覆確率は0.9283へ低下します。
dens <- lapply(list(null_runs[, 1], null_runs[, 5], null_runs[, 3]), density)
plot(dens[[1]], main = "Pooled effect under a true effect of zero",
xlab = "Pooled mean difference", ylab = "Density", lwd = 2,
xlim = range(sapply(dens, function(d) d$x)),
ylim = c(0, max(sapply(dens, function(d) d$y)) * 1.15))
for (j in 2:3) lines(dens[[j]], lwd = 2, lty = j + 1)
abline(v = 0, col = "grey40")
一方、図1に描いた3本の密度は、位置だけでなく幅も変わります。事前指定の経路の実測標準偏差0.0639に対して、最良アウトカム選択は0.0481、結果依存の適格判定は0.0556と、分布が正へ動きながら幅はむしろ縮んでおり、報告された標準誤差や信頼区間の幅を見ても、この移動が起きたかどうかは判別できません。
報告段階で確かめられる情報
PRISMA 2020が求める記載の中には、選択の過程を外から検証するための項目が含まれています。検索から最終的な組み入れまでの各段階で何件が残り何件が除外されたかを示す流れ図、除外理由の一覧、プロトコルからの逸脱とその理由は、どれも読者が選択の妥当性を判断するための材料です。
この突き合わせでは、登録番号とともにプロトコルが公開されていれば、報告された主要アウトカムと登録時の主要アウトカムを直接比べられますが、登録がない場合に確認できるのは、最終稿の内部で記述が整合しているかどうかにとどまります。事前登録があるかどうかで、外から検証できる範囲がここまで変わります。
したがって、レビューを計画する側には、検索を始める前にプロトコルを登録し、変更が生じた場合は登録記録を更新したうえで本文にも理由を書くという進め方を勧めます。登録を後回しにして検索結果を眺めてから適格基準を確定させる順序は、本人に意図がなくても、今回のシミュレーションで見た向きの偏りを避けられない点で推奨できません。
統合の前に決めておく範囲
レビューの信頼性を支えているのは、統合に使うモデルの精緻さよりも、統合に入る研究とアウトカムをどの時点で確定させたかという順序です。真の効果が0の設定でも、アウトカムを結果から選ぶだけで統合推定値が標準誤差の0.85倍ほど動き、棄却率が0.05から0.71へ上がるという結果は、統合手法を変えても取り戻せない部分がどこにあるかを示しています。
そのうえで、自分のレビューを設計する時に確かめられるのは、PICOの各要素が除外条件の文へ変換できているか、主要アウトカムの測定尺度と評価時点が一つに定まっているか、サブグループ解析の軸と数が事前に限定されているか、そしてそれらが検索開始前の日付で外部に記録されているか、という点です。ここが揃っていれば、検索や選択の途中で判断に迷った場面も、記録に基づいて説明できます。
実際のレビューでは、想定される試験数、報告されている効果指標のばらつき、異質性の評価方法、そして統合後に予定する感度分析まで含めて計画を組み立てることになります。Dr.データサイエンスでは、こうしたレビューの解析計画についての相談を承っています。
参考文献
- Page MJ, McKenzie JE, Bossuyt PM, et al. The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ. 2021;372:n71.
- Moher D, Shamseer L, Clarke M, et al. Preferred reporting items for systematic review and meta-analysis protocols (PRISMA-P) 2015 statement. Systematic Reviews. 2015;4:1.
- Booth A, Clarke M, Ghersi D, Moher D, Petticrew M, Stewart L. An international registry of systematic-review protocols. Lancet. 2011;377(9760):108-109.
- Page MJ, McKenzie JE, Kirkham J, et al. Bias due to selective inclusion and reporting of outcomes and analyses in systematic reviews of randomised trials of healthcare interventions. Cochrane Database of Systematic Reviews. 2014;2014(10):MR000035.
- Chan AW, Hróbjartsson A, Haahr MT, Gøtzsche PC, Altman DG. Empirical evidence for selective reporting of outcomes in randomized trials: comparison of protocols to published articles. JAMA. 2004;291(20):2457-2465.
- Methley AM, Campbell S, Chew-Graham C, McNally R, Cheraghi-Sohi S. PICO, PICOS and SPIDER: a comparison study of specificity and sensitivity in three search tools for qualitative systematic reviews. BMC Health Services Research. 2014;14:579.
