14. 多項ロジスティック回帰：多クラス分類の統計モデル

概要と動機：多クラス応答変数のモデリング

多クラス分類の問題では、応答変数$Y$が3つ以上の名義カテゴリをとります。消費者によるブランドA・B・Cの選択、就業形態の区分（会社員・自営業・無職）などがその例です。2値ロジスティック回帰が$Y \in \{0, 1\}$の2クラス問題を対象とするのに対し、多項ロジスティック回帰は名義尺度の多クラス応答変数を直接モデル化します。

応答変数が$J$個のカテゴリをとるとき、各カテゴリの出現頻度ベクトル$(n_1, \ldots, n_J)$は多項分布に従います。各カテゴリの確率を$\pi_k$とすると、確率質量関数は$\prod_{k=1}^{J} \pi_k^{n_k}$に比例し、$\sum_{k=1}^{J} \pi_k = 1$が成立します。

一般化線形モデルの枠組みにおいて、多項ロジットモデルは多項分布を確率分布として採用します。核心的なアイデアは、1つの基準カテゴリ$J$をあらかじめ固定し、各クラス$j$（$j = 1, \ldots, J-1$）の選択確率と基準カテゴリ$J$の選択確率との対数オッズ比を線形予測子でモデル化することです。この枠組みにより、すべてのクラスを同時に一貫した確率として表現できます。対数オッズ比の具体的な数式は次節で確立します。

2値ロジスティック回帰の一対多拡張では、「クラス$j$対それ以外」という$J-1$本の独立した2値モデルを当てはめます。各モデルは独立に推定されるため、$J-1$個の予測確率の和が1になる保証がなく、確率の整合性が失われます。この問題がすべてのクラスを同時推定する多項ロジットモデルを用いる主要な動機です。

多項ロジットモデルの定式化

$J$番目のカテゴリを基準カテゴリとして固定します。クラス$j$（$j = 1, \ldots, J-1$）の基準カテゴリに対する対数オッズは、$p+1$次元の共変量ベクトル$\mathbf{x}$（切片を含む）とパラメータベクトル$\boldsymbol{\beta}_j$を用いて次式で定義されます：

$$\log \frac{P(Y=j \mid \mathbf{x})}{P(Y=J \mid \mathbf{x})} = \eta_j = \mathbf{x}’\boldsymbol{\beta}_j, \quad j = 1, \ldots, J-1$$

線形予測子$\eta_j$は各クラス固有のパラメータベクトル$\boldsymbol{\beta}_j$と共変量の内積として定まります。各クラスの予測確率はソフトマックス変換によって次のように表されます：

$$P(Y=j \mid \mathbf{x}) = \frac{\exp(\mathbf{x}’\boldsymbol{\beta}_j)}{1 + \sum_{k=1}^{J-1} \exp(\mathbf{x}’\boldsymbol{\beta}_k)}, \quad j = 1, \ldots, J-1$$
$$P(Y=J \mid \mathbf{x}) = \frac{1}{1 + \sum_{k=1}^{J-1} \exp(\mathbf{x}’\boldsymbol{\beta}_k)}$$

ソフトマックス関数は各確率が非負であることと$\sum_{j=1}^{J} P(Y=j \mid \mathbf{x}) = 1$が常に成立することを保証します。基準カテゴリの選択は係数値$\boldsymbol{\beta}_j$の数値に影響しますが、予測確率は変化しません。係数の解釈は常に基準カテゴリ相対の効果として行います。

識別可能性の確保のため、基準カテゴリのパラメータベクトルを$\boldsymbol{\beta}_J = \mathbf{0}$に固定します。この制約がなければ全$\boldsymbol{\beta}_j$に同一ベクトルを加算しても対数尤度が変わらず、パラメータが一意に定まりません。

仮定：応答変数が名義尺度であること、すなわちカテゴリ間に自然な順序が存在しないことが前提です。カテゴリ間に意味ある序列がある場合は順序ロジットモデルが適切です。

限界：基準カテゴリを変更すると係数値$\boldsymbol{\beta}_j$の数値が変化します。各係数が表す効果は絶対的な大きさではなく、基準カテゴリとの相対的な差として解釈しなければなりません。

（Fig1. 1つの連続説明変数に対する3クラスの予測確率曲線（ソフトマックス変換）。3本の曲線の和は任意の$x$で常に1となる。）

最尤推定とパラメータ推定

$N$個の独立な観測$(\mathbf{x}_i, y_i)$（$i = 1, \ldots, N$）のもとで、多項分布の対数尤度関数は次のように定式化されます：

$$\ell(\boldsymbol{\beta}) = \sum_{i=1}^{N} \sum_{j=1}^{J} \mathbf{1}(y_i = j) \log P(Y = j \mid \mathbf{x}_i)$$

ここで$\boldsymbol{\beta} = (\boldsymbol{\beta}_1, \ldots, \boldsymbol{\beta}_{J-1})$は全$( J-1)(p+1)$個のパラメータを結合したベクトルです。

スコアベクトルは各$\boldsymbol{\beta}_j$に関する$\ell$の偏微分であり、$\partial \ell / \partial \boldsymbol{\beta}_j = \sum_{i=1}^{N} \mathbf{x}_i [\mathbf{1}(y_i = j) – P(Y=j \mid \mathbf{x}_i)]$という観測クラス指示値と予測確率の残差の和の構造をとります。観測情報行列はブロック行列構造をもち、$(j,k)$ブロックは$\sum_i P(Y=j \mid \mathbf{x}_i)[\mathbf{1}(j=k) – P(Y=k \mid \mathbf{x}_i)] \mathbf{x}_i\mathbf{x}_i’$で与えられます。

パラメータ推定にはNewton-Raphson法が広く用いられます。更新式は$\boldsymbol{\beta}^{(t+1)} = \boldsymbol{\beta}^{(t)} + \mathcal{I}(\boldsymbol{\beta}^{(t)})^{-1} \nabla \ell(\boldsymbol{\beta}^{(t)})$であり、勾配ノルムまたは対数尤度の変化量が指定した収束閾値を下回るまで反復されます。パラメータ総数は$(J-1)(p+1)$であり、クラス数と共変量数の増加に伴って急速に拡大します。

限界：線形分離可能なデータでは完全分離が生じ、一部の$\hat{\beta}_{jk}$が発散します。この場合はリッジ正則化などを導入して推定を安定化させる必要があります。小標本・多クラス設定では$(J-1)(p+1)$個のパラメータを精度よく推定するための情報量が不足し、過適合のリスクが高まります。

相対リスク比の解釈

各クラス$j$の共変量$k$に対する係数$\hat{\beta}_{jk}$から、相対リスク比はRRRと略記され、次式で定義されます：

$$\text{RRR}_{jk} = \exp(\hat{\beta}_{jk})$$

RRRは、共変量$k$が1単位増加したときの、基準カテゴリ$J$に対するクラス$j$の選択確率比の変化率を表します。Wald検定に基づく95%信頼区間は次式で構成されます：

$$\exp\!\left(\hat{\beta}_{jk} \pm 1.96 \times \widehat{\mathrm{SE}}(\hat{\beta}_{jk})\right)$$

ここで$\widehat{\mathrm{SE}}$は観測情報行列の逆行列の対角要素の平方根から求まります。

消費者のブランド選択を例に解釈を示します。価格が1単位上昇したときにRRR = 0.72であれば、ブランドAに対するブランドBの選択確率比が約28%低下することを意味します。年齢のようなカテゴリ変数はダミーコーディングされ、各ダミー変数のRRRは参照カテゴリに対する当該カテゴリの選択確率比として解釈します。

RRRはオッズ比とは異なる概念です。オッズ比は他のカテゴリを無視した2クラス間の比較であるのに対し、RRRは全クラスの確率が$\sum_{j=1}^{J} P(Y=j \mid \mathbf{x}) = 1$を満たす中での相対的変化率です。また、RRRは限界効果とも異なります。特定の共変量変化がクラス$j$の選択確率に与える絶対的な変化量は、他の全クラスの現在の確率値に依存するため、RRRのみから直接算出することはできません。

（Fig2. RRR（相対リスク比）の点推定と95%信頼区間：仮想ブランド選択データ。垂直破線はRRR = 1（効果なし）を示す。）

IIA仮定：定義・検定・問題

多項ロジットモデルはIIA仮定を前提とします。IIAはIndependence of Irrelevant Alternativesの略称です。IIA仮定は、任意の2クラス$j$と$k$の確率比が、モデルに含まれるその他の選択肢の集合によらず一定であることを要請します：

$$\frac{P(Y=j \mid \mathbf{x})}{P(Y=k \mid \mathbf{x})} = \frac{\exp(\mathbf{x}’\boldsymbol{\beta}_j)}{\exp(\mathbf{x}’\boldsymbol{\beta}_k)} = \exp\!\left(\mathbf{x}'(\boldsymbol{\beta}_j – \boldsymbol{\beta}_k)\right)$$

この比はクラス$j$と$k$以外のパラメータに依存しないため、第三の選択肢の追加・削除によって変化しません。

IIA仮定の問題は、red bus/blue bus問題で明確に示されます。自動車（Car）とRedバスの2択で各々の選択確率が0.50であるとします。そこにBlueバスを追加した場合、IIA仮定のもとでは3選択肢の確率が均等に1/3ずつとなります。しかし直感的には、RedバスとBlueバスは代替性が高いため、Carの確率は0.50を維持し、Redバスの確率が0.25に半減すると考えられます。IIA仮定はこの直感と相反する予測を生じさせます。

IIA仮定の妥当性は、選択肢が質的に大きく異なる場合（例：交通手段と食品の選択）には比較的成立しやすく、代替性の高い選択肢が並立する場合（同一メーカーの類似ブランドなど）には成立しにくくなります。

Hausman-McFadden検定では、全選択肢モデルの推定量と特定の選択肢を除いた制限モデルの推定量の差を用いたχ²統計量によってIIA仮定を検定します。帰無仮説はIIA仮定の成立であり、検定統計量がパラメータ差の自由度をもつχ²分布の棄却域を超えた場合に帰無仮説が棄却されます。

仮定：任意の2選択肢間の確率比が、その他の選択肢の追加・削除によって変化しないこと（IIA仮定）。

限界：消費者行動・交通手段選択・競合ブランドの選択など、代替性の高い選択肢が存在する実問題ではIIA仮定が成立しないケースが多くあります。消費者選好が選択肢間で独立でない場合（同一メーカーの類似ブランドが競合する状況など）は、nested logitや混合ロジットへの移行が必要です。また、Hausman-McFadden検定は有限標本での検出力が低く、棄却できなかったことはIIA仮定の支持とは言えません。

（Fig3. IIA仮定の問題：red bus/blue bus問題。左はCar vs Red Busの2択（各0.50）、中央はIIA仮定下での3択予測（各1/3）、右は直感的な3択（Car: 0.50, Red Bus: 0.25, Blue Bus: 0.25）。）

モデル適合診断とモデル選択

多項ロジットの逸脱度は、飽和モデルとの対数尤度の差として定義されます：

$$D = -2(\ell_{\text{model}} – \ell_{\text{saturated}})$$

$D$が小さいほどモデルが飽和モデルに近く、適合が良好であることを示します。飽和モデルは各観測に固有のパラメータをもつ完全当てはめモデルです。

McFaddenの疑似$R^2$は次式で定義されます：

$$\tilde{R}^2 = 1 – \frac{\ell_{\text{model}}}{\ell_{\text{null}}}$$

ここで$\ell_{\text{null}}$は切片のみのモデルの対数尤度です。実用上、$\tilde{R}^2 \in [0.2, 0.4]$が許容される当てはまりの目安とされます。ただし、これはOLSの決定係数$R^2$とは異なる尺度であり、両者を直接比較することはできません。

AIC（赤池情報量規準）およびBICのパラメータ数は$k = (J-1)(p+1)$です：

$$\text{AIC} = -2\ell_{\text{model}} + 2k, \quad \text{BIC} = -2\ell_{\text{model}} + k\log N$$

ネストモデル間の尤度比検定では、$-2(\ell_{\text{restricted}} – \ell_{\text{full}})$がパラメータ差の自由度をもつχ²分布に漸近的に従うことを利用します。予測精度の観点からは、多クラス混同行列・正答率・マクロF1値が情報量規準と補完的な評価指標として用いられます。

限界：クラス数$J$の増加とともにパラメータ数$k$が急増し、AICペナルティの増大によってモデル選択が困難になります。また、疑似$R^2$はOLSの$R^2$と同じスケールをもたず、モデル間の横断的比較には使用できません。

比較モデルと拡張：nested logitへの動機

多項ロジットはクラス数$J$の増加とともにパラメータ数が$(J-1) \times p$のオーダーで増大します。クラス数が大きい場合や各クラスの観測数が少ない場合には推定精度が低下します。実務でのモデル選択は、応答変数の尺度・IIA仮定の妥当性・標本規模・解釈可能性の必要度を総合的に評価して行います。

順序ロジットは応答変数に自然な順序がある場合（例：満足度「低・中・高」）を扱います。平行性仮定（比例オッズ仮定）のもとで単一の切片セットを推定するため、多項ロジットよりパラメータ数が少なく効率的ですが、名義尺度データには適用できません。

nested logitは多項ロジットのIIA仮定を部分的に緩和する拡張です。選択肢をグループに分割し、グループ内ではIIA仮定を維持しながら、グループ間の相関は共通値パラメータによって柔軟にモデル化します。red bus/blue busの例では、RedバスとBlueバスを同一グループに割り当てることで、直感的な確率配分が得られます。

線形判別分析は各クラス内の共変量が多変量正規分布に従い、クラス間で共分散行列が等しいことを仮定します。多項ロジットは分布の仮定を必要とせず、確率出力が直接得られる点で解釈が容易ですが、正規性・等共分散性が成立する状況では線形判別分析が統計的に効率的な場合があります。

一対多ロジスティック回帰は$J-1$本の独立した2値モデルを当てはめますが、各クラスの予測確率の和が1になる保証がなく、確率の整合性が失われます。多項ロジットはすべてのクラスを同時推定するため、この整合性が保たれます。ただし、$J$が大きくなるほど推定効率の差は顕著になります。