2群の平均を比べる実験で、各群30人を集めて検定したところ、p値が0.05を上回って有意差が出なかった場面では、観察された平均の差と標準偏差を検出力の計算式へ入れ直し、「検出力が低かったので有意にならなかった」と報告書に書く進め方が見られます。この計算は事後的な検出力(post hoc power、observed power)と呼ばれ、統計ソフトの出力に含まれることもあるため、結果の説明として使われやすい量です。
一方、観察された効果を真の効果とみなして計算した検出力は、手元のp値を別の目盛りに書き換えた値にすぎず、有意でなかった理由について新しい情報を加えません。有意でない結果をどう読むかは、効果の推定値と信頼区間、そして計画時に決めた効果の大きさに対する検出力で判断します。
事後的な検出力が計算している量
検出力は、ある大きさの真の効果が存在する時に、計画した例数と有意水準で検定が有意になる確率です。計画段階では、意味があると考える効果の大きさを研究目的から決め、その効果に対して検出力が80%前後になる例数を求めており、この手順の考え方は必要なサンプルサイズの決め方:4つの要素と検出力80%の意味:なぜ80%なのかで扱っています。
これに対して、事後的な検出力は、データから得た効果の推定値を、あたかも真の効果であるかのように検出力の式へ代入した値です。計画時の検出力が「意味のある効果が存在するなら見つけられるか」を表すのに対し、事後的な検出力は「観察された差がそのまま真の差だったとしたら、同じ例数でもう一度実験した時に有意になる確率」を表しており、入力の段階で既に手元のデータに依存しています。
この依存の仕方は、事後的な検出力の性質を決めています。推定値には標本ごとのばらつきがあるため、その推定値から計算した検出力も、真の検出力とは別の値をとり、しかも推定値とp値はどちらも同じ検定統計量から計算されるので、事後的な検出力はp値と一対一に対応する量になります。
観察された検定統計量から決まる式
説明を簡単にするため、標準誤差が既知とみなせるz検定を考えます。両側5%の検定では、検定統計量の絶対値が1.96を超えた時に有意と判定するので、観察された統計量を$z$とすると、事後的な検出力は次の式で求められます。
$$\text{Power}_{\text{obs}} = \Phi(|z| – 1.96) + \Phi(-|z| – 1.96) \tag{1}$$
ここで$\Phi$は標準正規分布の累積分布関数、$|z|$は観察された検定統計量の絶対値、1.96は両側5%の棄却限界です。
この式(1)は、真の効果が観察された効果と等しい時、新しい検定統計量が$|z|$を中心に標準正規分布でばらつき、そのうち棄却限界の外側に出る割合を足し合わせたものです。右辺に入る観察値は$|z|$だけで、両側p値も$|z|$だけから決まるので、p値が分かれば事後的な検出力は計算し直さなくても決まります。
p値と一対一に対応する性質
式(1)へ具体的な値を入れると、この対応がはっきりします。p値が0.01、0.05、0.2、0.5の時、事後的な検出力はそれぞれ0.731、0.500、0.249、0.104になり、p値が大きいほど検出力は単調に小さくなります。
この単調な関係について、HoenigとHeisey(2001)は、観察された効果に基づく検出力がp値の一対一の関数で、p値以上の情報を持たないことを示しています。有意でなかった結果に「検出力が低かった」と付け加えても、それは「p値が大きかった」を言い換えているだけで、有意でなかった原因については何も加えていません。
さらに、同じ論文は、この関係から生じる矛盾も指摘しています。p値が小さいほど事後的な検出力は高くなるため、有意でない2つの研究を比べると、p値が小さく帰無仮説に不利な研究の方が「検出力が高かったのに有意にならなかった」ことになり、帰無仮説を支持する根拠が強いという逆向きの解釈が生まれます。

p値0.05で検出力50%になる理由
図1の曲線が0.05の位置で0.5を通るのは、偶然の値ではありません。p値がちょうど0.05の時は$|z|=1.96$なので、式(1)の第1項は$\Phi(0)=0.5$になり、第2項は$\Phi(-3.92)$でほぼ0になります。
この計算を見ると、有意でない結果の事後的な検出力は必ず50%未満になります。p値が0.05を上回れば$|z|$は1.96を下回り、第1項は0.5より小さくなるので、有意でなかった研究で事後的な検出力を計算すると、データの内容にかかわらず「検出力不足」という結論が出ます。
したがって、有意でなかったという事実を先に知っていれば、事後的な検出力が低いことは計算する前から分かっています。結果を見てから計算した検出力で「検出力不足のため有意にならなかった」と述べる説明は、有意にならなかったことを理由として有意にならなかったことを説明しており、論理が循環しています。
推定値から計算した検出力のばらつき
p値との対応とは別に、事後的な検出力は真の検出力の推定値としても役に立ちません。観察された効果は標本ごとに大きく動く推定値で、例数が少ない研究ほどその動きは大きくなるため、推定値を代入した検出力も同じように動きます。
この点を確かめるため、真の効果を標準化差0.3、各群30人とした2群比較のデータを乱数で2,000回生成し、各回でt検定を行いました。この設計での真の検出力は0.207で、2,000回のうち有意になった割合も0.202と、真の値に近い値になりました。
一方、各回の観察された効果から計算した事後的な検出力は、中央値が0.207でしたが、2.5%点は0.051、97.5%点は0.877でした。同じ真の効果、同じ例数の実験であっても、事後的な検出力は5%程度から90%近くまで散らばり、1回の研究で得た値から真の検出力を読み取ることは難しくなります。
また、有意でなかった回だけを取り出すと、事後的な検出力の最大値は0.5でした。この最大値は図1で見た上限と一致しており、有意でない研究の事後的な検出力は、真の検出力がいくつであっても0.5を超えません。

「検出力が低かった」という説明の誤り
ここまでの性質をまとめて当てはめると、有意でない結果に事後的な検出力を添える報告の問題が見えてきます。観察された効果で検出力を計算し、「検出力が低かったので有意にならなかった」と説明することは、p値の言い換えを原因の説明のように見せており、不適切です。
もっとも、有意でなかった研究で検出力が本当に不足していた可能性はあり、それを評価するには、研究を始める前に意味があると決めた効果の大きさに対して検出力を計算します。たとえば研究目的から決めた効果の大きさが標準化差0.3なら、各群30人の設計の検出力は後のコードの出力のとおり0.207にとどまり、この値は計画の時点で分かる研究計画の弱さとして報告でき、例数不足がもたらす結果は例数が足りないと何が起こるか:検出力不足の結果で扱っています。
この区別は、効果の大きさをどこから持ってくるかの違いです。研究目的から決めた効果の大きさは手元のデータと独立に定まるので、それに対する検出力は「この設計でその効果を見つけられたか」という研究の性能を表しますが、観察された効果を使った瞬間にこの独立性は失われます。
論文や報告書ではどう扱われているか
方法論の文献では、事後的な検出力を結果の解釈に使うことへの批判が繰り返されています。GoodmanとBerlin(1994)は、研究が終わった後に検出力を持ち出しても結果の解釈には役立たず、有意でない結果は信頼区間で解釈するべきだと論じました。
また、同じ立場から、Lenth(2001)は例数設計の実務指針の中で、観察された効果に基づく事後的な検出力の計算を避けるよう述べています。また、Zhangら(2019)も、事後的な検出力がp値から決まる量であり、研究結果について追加の情報を与えないことを整理しています。
この文献群に共通するのは、検出力を計画の道具として位置づける考え方です。結果が出た後に必要なのは、効果がどの範囲にありそうかという推定の情報なので、報告書では点推定値と95%信頼区間を示したうえで、計画時の効果の大きさと検出力を研究方法の一部として記載する形が文献の主張に沿っています。
実際の報告の場面で、査読者や共同研究者から観察された効果に基づく検出力の提示を求められることもあります。その場合は、その値がp値と一対一に対応して新しい情報を持たないことを説明したうえで、効果の推定値と信頼区間、計画時に検出力を計算した時の効果の大きさと標準偏差の根拠を示すと、求められている「結果がどれだけ確かか」という問いに答えられます。
式とシミュレーションをRで確認する
最初に、p値が0.01、0.05、0.2、0.5の4通りについて、両側p値に対応する観察された$|z|$を式(1)に入れて事後的な検出力を求めました。
# 式(1):観察された|z|から事後的な検出力を求める
obs_power <- function(p, alpha = 0.05) {
z_obs <- qnorm(1 - p / 2)
z_crit <- qnorm(1 - alpha / 2)
pnorm(z_obs - z_crit) + pnorm(-z_obs - z_crit)
}
p_values <- c(0.01, 0.05, 0.2, 0.5)
round(obs_power(p_values), 3)
#> [1] 0.731 0.500 0.249 0.104
この出力の4つの値は、入力したp値の順に並んでいます。0.05に対応する2番目の値が0.500になっている点が図1の通過点にあたり、残りの値もp値だけを入力として決まっているので、同じp値なら例数や効果の単位が異なる研究でも同じ事後的な検出力が返ります。
さらに、真の効果0.3、各群30人の2群比較を2,000回生成するシミュレーションです。真の検出力と、有意になった割合、各回の事後的な検出力の分位点、有意でなかった回の最大値を計算しました。
# 真の効果0.3、各群30人のデータを2,000回生成する
set.seed(42)
n_per_group <- 30; d_true <- 0.3; n_rep <- 2000
true_power <- power.t.test(n = n_per_group, delta = d_true, sd = 1)$power
round(true_power, 3)
sim_p <- replicate(n_rep, {
control <- rnorm(n_per_group, mean = 0)
treated <- rnorm(n_per_group, mean = d_true)
t.test(treated, control, var.equal = TRUE)$p.value
})
post_power <- obs_power(sim_p)
round(quantile(post_power, probs = c(0.025, 0.5, 0.975)), 3)
round(mean(sim_p < 0.05), 3)
round(max(post_power[sim_p >= 0.05]), 3)
#> [1] 0.207
#> 2.5% 50% 97.5%
#> 0.051 0.207 0.877
#> [1] 0.202
#> [1] 0.5
この出力で、1行目の0.207が理論上の真の検出力で、4行目の0.202が2,000回のうち有意になった割合です。この2つが近いことから、シミュレーションが設計どおりに動いていると確認でき、そのうえで2行目と3行目の分位点を見ると、事後的な検出力の95%が0.051から0.877の幅に広がっています。
ここで読み違えやすいのは、中央値0.207が真の検出力と一致している点です。この一致は2,000回の実験を集めた時の中心の位置を表しており、1回の研究で得た事後的な検出力が真の値に近いことを保証するものではなく、個々の値は図2のように広く散らばります。
この図1と図2は、式(1)の計算とシミュレーションの結果を描いたもので、描画のコードは次のとおりです。
p_grid <- seq(0.001, 1, length.out = 500)
plot(p_grid, obs_power(p_grid), type = "l", lwd = 2, xlim = c(0, 1), ylim = c(0, 1),
xlab = "Two-sided p-value", ylab = "Post hoc power")
abline(v = 0.05, h = 0.5, lty = 2, col = "gray50")
points(0.05, obs_power(0.05), pch = 19)
hist(post_power, breaks = 40, xlim = c(0, 1), main = "", xlab = "Post hoc power", col = "gray85")
abline(v = true_power, lwd = 2, col = "firebrick")
legend("topright", legend = "True power", lwd = 2, col = "firebrick", bty = "n")
有意でない結果を読む時の判断
有意差が出なかった研究で検討するべきなのは、効果の推定値と95%信頼区間が、研究目的にとって意味のある効果の大きさをどこまで含んでいるかです。信頼区間が意味のある効果を広く含んでいれば、このデータからは効果の有無を判断できないと報告し、区間が意味のある効果を含まないほど狭ければ、その大きさの効果は考えにくいと述べられます。
この区間による読み方は計画にも使え、GoodmanとBerlin(1994)は、検出力の代わりに、計画した例数で得られる信頼区間の幅を前もって示す方法を提案しています。各群30人、標準偏差1の比較なら平均差の95%信頼区間の半幅はおよそ$1.96\sqrt{2/30}$≒0.51で、標準化差0.3の効果は区間の幅に埋もれてしまうことが、データを集める前に分かります。
同じ効果を検出力80%で検出するには、t検定の例数計算で各群176人が必要になり、各群30人の設計とは6倍近い開きがあります。こうした計算を研究の前に示しておけば、有意でなかった時に検出力を持ち出して説明する必要はなく、区間の幅と計画の前提を並べて結果を読めます。
また、読み手にとっても、計画の前提が結果の前に示されていれば、有意でなかった理由を研究者が後から付けた説明と区別でき、研究の弱さを正しく評価できます。
そのうえで検出力に触れるなら、計画時に決めた効果の大きさに対する値を、研究方法の記述として示します。観察された効果から計算した検出力はp値と同じ情報しか持たないため、報告に加える意味がなく、有意でなかった結果の書き方そのものは有意差がなかった時の書き方で扱っています。
参考文献
- Hoenig JM, Heisey DM. The abuse of power: the pervasive fallacy of power calculations for data analysis. The American Statistician. 2001;55(1):19-24.
- Goodman SN, Berlin JA. The use of predicted confidence intervals when planning experiments and the misuse of power when interpreting results. Annals of Internal Medicine. 1994;121(3):200-206.
- Lenth RV. Some practical guidelines for effective sample size determination. The American Statistician. 2001;55(3):187-193.
- Zhang Y, Hedo R, Rivera A, Rull R, Richardson S, Tu XM. Post hoc power analysis: is it an informative and meaningful analysis? General Psychiatry. 2019;32(4):e100069.


