同じ600人を2人が陰性・陽性に分類したとき、判定が479人で一致していれば観察一致率は79.8%ですが、この数字だけでは、両者が同じ基準で判定できたのか、陰性が多いため自然に一致したのかを分けられません。さらに、基準状態に対する診断精度と判定者同士の一致度は、似た交差表を使っても推定対象が異なるため、Cohenのκと重み付きκは交差表や周辺分布とともに解釈します。
基準との対応と判定者間の対応
診断精度では、評価する判定と基準状態（reference standard）を対応させ、感度や特異度を計算します。STARD 2015でも、評価対象となる検査と基準状態を区別して報告することが求められており、基準状態が定まらなければ感度や特異度の意味も定まりません。
一方、一致度で比べるのは、同じ対象に対する2人の判定です。どちらか一方を正解と置かないため、κが高くても両者が基準状態を正しく分類できたとは限らず、κを診断精度や正解率として読むのは誤りです。
この区別を600人のランダムに生成したデータセットで確かめると、判定者Aの感度は86.9%、特異度は89.4%で、判定者Bはそれぞれ80.7%、94.1%でした。これらは各判定者と基準状態の対応ですが、後で計算するκ=0.525は判定者AとBの対応を表しており、感度の差からκの方向を一意には決められません。
Cohenのκが補正する偶然一致
Cohen（1960）が提案したκは、観察された一致率から、2人の周辺比率が独立に組み合わさるときの期待一致率を差し引きます。2人の判定者と名義尺度のカテゴリを対象とし、同じ対象を両者が独立に評価した交差表が計算の基礎です。
$$
\kappa=\frac{p_o-p_e}{1-p_e}\tag{1}
$$
式(1)の$p_o$は観察一致率、$p_e$は両判定者の周辺比率から求める期待一致率です。分子は偶然一致を超えた一致、分母は偶然一致を除いた後に残る最大の改善幅を表します。
今回の2×2表は、両者が陰性の357人と陽性の122人が対角セルに入り、観察一致率は$(357+122)/600=0.798$でした。これに対して期待一致率は0.575なので、式(1)からκは0.525となり、2,000回の対象者単位ブートストラップによる95%パーセンタイル区間は0.449〜0.597です。
κを単独で評価しない理由
観察一致率が同じ程度ならκも同じ程度になる、と考えてしまいがちですが、周辺分布が変われば期待一致率も変わります。FeinsteinとCicchetti（1990）は、高い観察一致率と低いκが同時に生じる問題を示しており、この性質はκの値だけを見ても判別できません。
実際、感度と特異度をともに0.90にそろえたランダム生成では、基準陽性割合が0.50のとき観察一致率0.822、κ=0.645でした。基準陽性割合を0.05に変えた条件でも観察一致率は0.822でしたが、期待一致率が0.757まで上がり、κは0.269へ動きました。
そのため、一般的な境界値だけで「良好」「不良」と判定する方法では情報が不足します。κと95%信頼区間に加えて、交差表、観察一致率、各判定者のカテゴリ頻度を並べ、どの不一致が研究上重要かを先に確かめます。
また、κの95%信頼区間は、対象者数だけでなく各カテゴリの人数にも左右されます。陽性が少ない研究では少数の判定変更でκが大きく動く場合があるため、点推定値の大小だけで再現性を確定せず、区間の幅と交差表の疎なセルを合わせて確認します。
名義尺度と順序尺度の選択
陰性・陽性や病型A・B・Cのように、カテゴリ間の距離を定義しない場合は、全ての不一致を同じ重さで扱う通常のκが対応します。病型AからBへの不一致をAからCより軽いとみなす医学的根拠がなければ、カテゴリ名の並びだけを理由に重みを付けるべきではありません。
これに対して、重症度0〜3のような順序カテゴリでは、0対1と0対3を同じ不一致として数えると、判定の隔たりが失われます。Cohen（1968）の重み付きκは、カテゴリ対ごとに一致の重みを置き、近い不一致と遠い不一致を区別します。
ただし、重み付きκの値は交差表だけで決まらず、線形重みか二乗重みかによって変わります。距離の意味を研究計画の段階で説明できないときは、値が高くなる重みを結果後に選ばず、非重み付きκと交差表を中心に示す方が解釈しやすいでしょう。
重み付きκに入る重み
重み付きκでは、観察一致と期待一致の双方に同じ重み行列を使います。完全一致の重みを1とし、カテゴリ$i$と$j$の隔たりに応じた重み$w_{ij}$を置くと、計算は次の形になります。
$$
\kappa_w=\frac{p_{o,w}-p_{e,w}}{1-p_{e,w}}\tag{2}
$$
式(2)の$p_{o,w}$は重み付き観察一致率、$p_{e,w}$は周辺比率から得る重み付き期待一致率です。どの不一致にどれだけ部分点を与えるかが、この2つの量へ同時に反映されます。
500人を重症度0〜3に分類した例では、完全一致率は54.6%、非重み付きκは0.384でした。線形重みでは重み付き観察一致率が0.821、κが0.522、二乗重みではそれぞれ0.921、0.652となり、同じ交差表から異なる値が得られています。
この差は、二乗重みが隣接カテゴリの不一致へ線形重みより大きな部分点を与えた結果です。したがって、重み付きκを報告するときは「weighted kappa」だけで済ませず、線形重みか二乗重みか、カテゴリの順序と重みの定義を明記する必要があります。
交差表から見える不一致の形
κは交差表全体を1つの値へ要約するため、どちらの判定者が高いカテゴリを付けやすいか、特定のカテゴリ対へ不一致が集中しているかは残りません。数値を解釈する前に、対角セルとその周囲の分布を見ることが欠かせません。
図1の右では、対角セルだけでなく隣接セルにも人数が集まっています。この形なら重み付きκは距離を反映しますが、たとえば判定者Bが一貫して判定者Aより1段階高く付ける偏りがあっても、重みの付け方によっては比較的高い値になり得ます。
一方、左の2値判定では距離を段階化できないため、45人と76人の不一致は両方とも重み0として扱います。どちら向きの不一致が多いかはκから消えるので、交差表の非対角セルを残すことが結果の再検討にもつながります。
さらに、κは不一致の方向を相殺して要約するため、判定者Aが一貫して高いカテゴリを付ける系統的な差を単独では表せません。そこで、順序カテゴリでは判定差の分布や高低の方向も併記し、単なる偶発的な不一致と判定者間の系統的な差を区別します。
Rによる計算の再現
計算にはbase Rとstatsを使い、外部データは読み込んでいません。2値判定の交差表から観察一致率、期待一致率、κを求める中心部分は次のコードです。
counts <- matrix(c(357, 76, 45, 122), nrow = 2)
proportions <- counts / sum(counts)
observed <- sum(diag(proportions))
expected <- sum(rowSums(proportions) * colSums(proportions))
kappa <- (observed - expected) / (1 - expected)
round(c(observed = observed, expected = expected, kappa = kappa), 3)#> observed expected kappa
#> 0.798 0.575 0.525出力のobservedは実際の一致割合、expectedは周辺比率だけから見込まれる一致割合です。ここでkappaだけを抜き出すと、期待一致率が0.575と大きいことや、不一致の方向が見えなくなる点に注意が必要です。
また、図1は同じ解析スクリプト内の交差表から、base Rのimage()で作成しました。掲載図を再現する部分は次のとおりで、セル内の数字は各組み合わせの人数です。
draw_table <- function(counts, title, labels) {
proportions <- counts / sum(counts)
image(seq_len(nrow(counts)), seq_len(ncol(counts)), proportions,
col = hcl.colors(20, "Blues 3", rev = TRUE), axes = FALSE,
xlab = "Rater A", ylab = "Rater B", main = title)
axis(1, at = seq_along(labels), labels = labels)
axis(2, at = seq_along(labels), labels = labels)
text(row(counts), col(counts), labels = counts)
box()
}この図で色の濃さは各表の中の割合を示すため、左右の色を絶対人数として比較するものではありません。読み取る対象は、対角セルへの集中と、順序カテゴリで対角線から何段離れたセルに不一致が出ているかです。
研究報告に残す情報
Kottnerら（2011）のGRRASは、一致度・信頼性研究について、対象者、判定者、測定過程、統計手法を再現できるように報告する指針です。κを示す場合も、誰が何を、どのカテゴリ定義で、互いの判定を知らずに評価したかという設計情報が値の解釈を支えます。
さらに、結果には対象者数、交差表または各カテゴリの頻度、観察一致率、κ、95%信頼区間を含め、重み付きκなら重みの方式も必要であり、今回の例なら線形重み付きκ=0.522、95%パーセンタイル区間0.463〜0.574と記載できます。
また、判定者の選び方によって推定する一致度の範囲が変わるため、特定の2人だけを比較したκは、その2人の組合せに対する値であり、同じ資格を持つ判定者全体へ自動的に一般化できないため、経験年数や訓練方法も対象者の選択基準とともに記載すると良いでしょう。
同じ判定者が期間を空けて再判定する研究では、判定者間一致ではなく判定者内一致を推定します。前回の判定を記憶していれば一致が高くなる可能性があるため、再判定までの間隔、症例順の変更、前回結果の遮蔽を方法に残します。
de Vetら（2006）が整理したように、測定値がどれだけ近いかという一致と、測定誤差があっても対象者を区別できるかという信頼性は、目的が同じではありません。ここで扱うκはカテゴリ判定の一致を表すため、連続測定値の一致や判定者が3人以上の場合へ数値をそのまま拡張しないことも、解析方法の記載に含まれます。
研究目的に沿った読み方
診断精度を知りたい研究では基準状態との対応を計算し、2人の判定の再現性を知りたい研究では判定者間の交差表を作ります。この入口を混ぜないことが、感度・特異度とκを正しく使い分ける条件です。
そのうえで、名義尺度には通常のκ、順序尺度で不一致の距離に実質的な意味がある場合には事前に定めた重み付きκを選びます。値の大きさだけで結論を出さず、周辺分布、不一致の方向、95%信頼区間と一緒に読めば、同じκでも研究上の意味が異なる理由を説明できます。
参考文献
- Cohen J. A coefficient of agreement for nominal scales. Educational and Psychological Measurement. 1960;20(1):37-46.
- Cohen J. Weighted kappa: nominal scale agreement with provision for scaled disagreement or partial credit. Psychological Bulletin. 1968;70(4):213-220.
- Feinstein AR, Cicchetti DV. High agreement but low kappa: I. The problems of two paradoxes. Journal of Clinical Epidemiology. 1990;43(6):543-549.
- de Vet HCW, Terwee CB, Knol DL, Bouter LM. When to use agreement versus reliability measures. Journal of Clinical Epidemiology. 2006;59(10):1033-1039.
- Kottner J, Audigé L, Brorson S, et al. Guidelines for Reporting Reliability and Agreement Studies (GRRAS) were proposed. Journal of Clinical Epidemiology. 2011;64(1):96-106.
- Bossuyt PM, Reitsma JB, Bruns DE, et al. STARD 2015: An Updated List of Essential Items for Reporting Diagnostic Accuracy Studies. Radiology. 2015;277(3):826-832.
