Top 5 This Week

関連記事

仮説を先に決める:探索的な解析を頼むときの伝え方

- 本サイト運営者のサービスの紹介 -
Dr.データサイエンス|医療統計解析の代行・相談

電子カルテから抽出したデータが手元にあり、評価項目は決まっていても、どの要因との関連を確かめるかを決めないまま統計家に解析を頼む場面があります。その時に添える「何か関連が出るか見てほしい」という一文は短いものの、どの結果を仮説として扱うかを、結果が出た後に決める余地を依頼の時点で残します。

この余地で問題になるのは探索そのものではなく、探索で得た結果を論文の中で確かめた結果のように書くことであり、Kerr(1998)はこの書き方に名前を付けて論じました。そのため依頼文には、確かめたい仮説と、仮説を作るための探索とを、解析が始まる前に分けて書いておく必要があります。

「何か関連が出るか見てほしい」という依頼で起きること

大学病院の精神科の医師が、うつ病で通院する患者約300例の電子カルテ由来のデータを持っている研究を例にします。データには睡眠の指標、血液検査の値、受診の間隔などが含まれ、医師はこれらと6か月後の寛解との関連について、統計家に「何か関連が出るか見てほしい」と頼もうとしています。

この依頼のままでは、睡眠の指標や血液検査の項目を1つずつ寛解と結び付けるたびに調べる関連が増え、その数は依頼文のどこにも記録されません。しかも、どの関連を研究の主題として扱うかは、解析の結果を見た後に決まることになります。

この整理を図にしたのが図1で、上の広い口に既存データで調べられる多くの関連を置き、解析の前に決める段階を通して、1つの確かめたい仮説と探索の一覧という2つの出口に分けています。依頼の時点でこの分け方をしておかないと出口は1つしかなく、有意になった結果がそのまま仮説の出口から出ていきます。

既存データで調べられる多くの関連を上の口に置いた漏斗が、解析前の決定を経て、1つの確かめたい仮説の箱と、探索と明記して数を報告する探索の一覧の箱に分かれる模式図
図1 既存データで調べられる多くの関連を、解析の前に「1つの確かめたい仮説」と「探索の一覧」に分ける流れを、この研究の例で整理した図です。

なお、既存の電子カルテのデータで多くの関連を調べること自体は、新しい仮説を得る手段として価値があります。この依頼で欠けているのは、探索で得た結果と確かめるために立てた仮説の区別を、依頼の時点で記録しておくことです。

結果を知った後に立てた仮説

Kerr(1998)は、結果に基づいて、あるいは結果を踏まえて立てた事後の仮説を、研究報告の中で事前の仮説であるかのように示すことを、結果を知った後に仮説を立てること(HARKing)と呼びました。Kerrはその形をいくつか挙げたうえで、少なくとも一部の形が広く行われ、同時に広く望ましくないとも見なされていることが分かる調査データを紹介し、HARKingをしてはならない理由と抑止の提案を論じています。

この研究に当てはめると、探索の中で睡眠の指標の1つが有意になった後に、論文の序論へ「睡眠が寛解を予測する」という仮説を書き、方法の節でもその仮説を検証する解析として記述する形が、HARKingの典型になります。読者はこの論文を、睡眠についての仮説を先に立てて確かめた研究として読むため、多くの関連の中から偶然に選ばれた結果であった可能性を評価する手がかりを失います。

ここで、p値は帰無仮説を正しいと置いた時の結果の起こりやすさを表す値で、その計算は確かめる仮説を前もって1つ決めている状況を前提にしています。検定の仮定は帰無仮説:検定が何を仮定しているかで説明していますが、多くの関連から有意になったものを選んで1つの仮説として書くと、この前提が崩れていることが論文の読者からは見えなくなります。

確かめたい仮説を1つ決めて書く

依頼文に仮説として書ける形になるのは、比べる群、評価項目、時点が決まった時です。冒頭の研究で、睡眠薬の使用の有無で患者を2群に分け、6か月後の寛解を比べる形に絞ると、論文で確かめた結果として示す比較が解析の前に固定され、結果を見た後で入れ替えられなくなります。

この絞り込みは、臨床疑問を研究で答えられる形に整える作業と同じ構造をしており、対象、比べる要因、評価項目を言葉にする整理の仕方は臨床疑問とPICO:答えられる形に整えるで扱っています。もっとも、どの比較を確かめたい仮説に選ぶかは研究の目的と臨床上の関心で決まるため、統計家ではなく研究者が決める事項です。

一方、仮説を1つに絞っても、睡眠の指標や血液検査の値への関心は依頼文から消えず、探索の一覧へ移ります。統計家の側も、比較の軸にする変数と結果とする時点が決まっていれば、残りの変数を探索の一覧として別に扱う準備を解析の前に整えられます。

探索の一覧は仮説と分けて並べる

ASAの倫理指針(2022)は、統計の実務に携わる人の原則の中で、この分け方に直接関わる記述を置いています。原則Bは、事前の目的と事後の目的、計画した統計の方法と計画していない方法について透明であることを挙げ、多重比較を行ったことと関連する調整を開示するよう述べています。

さらに原則Cは、探索と検証の段階に合った方法を使い、それぞれの結果を区別して、関係者が結果を理解し使えるようにすることを定めています。依頼文の中で仮説と探索を別の欄に書いておけば、統計家は計画した解析と計画していない解析を最初から区別して扱え、この2つの原則が示す透明性を解析の記録として残せます。

この研究の探索の一覧には、睡眠の指標、血液検査の値、受診の間隔と6か月後の寛解の関連が入り、睡眠薬の使用の有無という仮説とは別の欄に置かれます。一覧の項目を名前で書いておくと、後で調べた関連の数を数える時の基準になり、解析の途中で追加した関連も一覧との差として記録できます。

また、仮説の比較を性別や年齢層で分けて見る解析も、事前に決めていなければ探索の側に入る性質のもので、その扱いはサブグループ解析:交互作用検定で異質性を評価するで説明しています。主解析と同じ表に並べると探索であることが見えにくくなるため、依頼文の段階で一覧の側に書いておくと、報告の時にも区別が保たれます。

探索の結果を報告する時の書き方

探索の一覧から関連が見つかった場合に論文の方法と考察で必要になるのは、その解析が探索として行われたこと、調べた関連の数、仮説を作る段階の結果であることの記述です。この研究で睡眠の指標の1つに関連が見られた時も、それは次の研究で確かめる仮説の候補として扱われ、序論に事前の仮説として置かれることはありません。

この中でも調べた関連の数は、読者が有意な結果1つの重みを判断する材料になり、数が書かれていないと、1つだけ調べて有意になった結果と多くの中から選ばれた結果とを読者は区別できません。そのため、依頼の時点で一覧を作っておくことは、報告の段階で数を正しく書くための準備にもなります。

ただし、有意水準の置き方や多重性の調整の方法は、結果を見る前に決めておく別の事項です。どの調整を選ぶ場合でも、探索であることと調べた数が書かれていなければ、読者はその調整が妥当かどうかを確かめられないという関係は変わりません。

依頼の前に仮説と探索を分けて伝える

探索の結果を区別して示せるかは解析の前の記録で決まるため、依頼の前に確かめたい仮説を1つ書き、ほかの関心は探索の一覧に並べ、探索の結果は調べた関連の数とともに報告すると統計家と合意しておくことを推奨します。一方、仮説を決めずに「何か関連が出るか見てほしい」と頼み、有意になった結果だけを最初から立てていた仮説のように論文に書く進め方は、偶然の結果を確かめられた結果として報告する形になるため、避けるべきです。

この合意の場で統計家が先に確認するのは、仮説の比較に使う変数がデータの中でどう定義されているかと、探索の一覧の範囲がどこまでかという点です。睡眠薬の使用の有無が処方記録から作れるのか、6か月後の寛解がどの評価で判定されているのかが決まると、主解析の方法と調整する変数の候補を相談する段階へ進めます。

解析の柔軟さが偽陽性を大きく増やすことを示したシミュレーション

Simmonsら(2011)は、心理学の研究者が偽陽性の割合を5%以下に抑えることを建前として支持していても、データの収集、解析、報告に柔軟さがあると実際の偽陽性の割合は大きく高まり、多くの場合、効果がないことを正しく示すより効果があるという誤った証拠を得る方が起こりやすいと報告しました。この結果はコンピュータのシミュレーションと2つの実験から得られたもので、著者らは解決策として、著者への6つの要件と査読者への4つの指針からなる開示の方法を提案しています。

この論文は心理学の研究を対象にしたもので、医学研究や統計家への依頼を調べたものではありません。それでも、どの解析を行ったかが開示されていなければ、報告された有意な結果がどれほどの柔軟さの中から選ばれたかを読者が判断できないという構造は、冒頭の精神科の研究の探索にもそのまま当てはまります。

そのため、探索の一覧と調べた関連の数を開示することは、読者が探索の結果を読むための前提になり、依頼の段階で一覧を作ることは、その開示の材料を解析の前に揃えておくことにあたります。Simmonsらが著者への要件として開示を据えた点は、依頼文に報告の仕方の欄を置く理由とも重なります。

仮説と探索を書き分けた依頼文の例

次の例は、統計家への依頼文のうち、仮説と探索を書き分ける部分だけを、この記事の精神科の研究で埋めたものです。依頼文の全体の構成ではなく、この部分を既存の依頼文に差し込む形を想定しており、結果の数値は含めていません。

【確かめたい仮説】
比べる群:睡眠薬の使用あり・なし
評価項目:寛解
時点:6か月後
調整する変数の候補:年齢、性別、初診時の重症度(統計家と相談して決める)
主解析の方法:統計家と相談して決める

【探索の一覧(仮説を作る目的)】
・睡眠の指標と6か月後の寛解の関連
・血液検査の値と6か月後の寛解の関連
・受診の間隔と6か月後の寛解の関連

【報告の仕方】
探索の結果は探索と明記し、調べた関連の数を書く。
探索で見つかった関連は、次の研究で確かめる仮説として位置づける。

この例のうち研究ごとに変わるのは確かめたい仮説の欄の比べる群、評価項目、時点で、これらは研究の目的と、データの中で群と評価項目がどう定義できるかによって決まります。調整する変数と主解析の方法を統計家と相談して決める形にしているのは、変数の選び方がデータの欠測や記録の仕方に左右されるためで、研究者が候補を挙げて統計家と決める分担になっています。

一方、探索の欄に何を入れるかは、手元のデータにどの変数が記録されているかと、仮説を作りたい範囲がどこまでかで決まり、項目が増えるほど報告の欄に書く関連の数も増えます。報告の仕方の欄は研究による差が小さく、探索を探索と明記することと数を書くことは、どの研究でもそのまま残る部分です。

確かめたい比較を1つに言えない時の頼み方

依頼文を書く段階で判断が必要になるのは、手元のデータで確かめたい比較を1つに言えるかどうかです。言えない場合は、研究全体が探索であると依頼文と論文の両方に明記して頼むことも選択肢になり、その場合も調べた関連の数を報告する扱いは変わりません。

また、仮説と探索の書き分けは、共同研究者の統計家や所属機関の生物統計の相談窓口に依頼文の段階で見てもらうと、データの定義と照らした確認を解析の前に済ませられます。外部の相談先の一つとしては、Dr.データサイエンスでも、依頼文を書く段階からの相談を受け付けています。

参考文献

  1. Kerr NL. HARKing: hypothesizing after the results are known. Pers Soc Psychol Rev. 1998;2(3):196-217.
  2. American Statistical Association. Ethical Guidelines for Statistical Practice. Approved by the ASA Board of Directors, February 1, 2022.
  3. Simmons JP, Nelson LD, Simonsohn U. False-positive psychology: undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychol Sci. 2011;22(11):1359-1366.

Popular Articles