21. 主成分回帰：次元削減と回帰の融合

主成分回帰とは何か

説明変数間に強い線形依存関係が存在する多重共線性の状態では、最小二乗法の正規方程式

$$
(X^TX)\hat{\beta} = X^Ty
$$

において $X^TX$ の行列式が0に近づき、逆行列 $(X^TX)^{-1}$ の計算が数値的に不安定となります。結果として、回帰係数の推定量 $\hat{\beta}=(X^TX)^{-1}X^Ty$ は分散が著しく膨らみ、データの微小な変動に対して係数値が大幅に変動します。推定の精度は名目上は確保されても、個々の係数が意味をなさない状況が生じます。

主成分回帰（以下PCR）は、この問題を二段階の手順で解決します。第一段階では、主成分分析（以下PCA）によって $p$ 個の説明変数を $k$（$k \leq p$）個の直交する主成分スコアに変換します。第二段階では、縮約されたスコア行列 $Z_k$ を新たな説明変数として最小二乗法を適用します。スコアの直交性によって第二段階の回帰で多重共線性は生じず、係数推定が安定します。次元削減によって情報の一部は失われますが、係数の不安定性を抑制することでバイアス・分散トレードオフ上の改善が期待できます。

主成分分析の数理的基礎

データ行列 $X \in \mathbb{R}^{n \times p}$ を列方向に中心化・スケール調整した後、標本共分散行列 $S = \frac{1}{n-1}X^TX$ を構成します。この対称半正定値行列のスペクトル分解は

$$
S = P\Lambda P^T
$$

で与えられます。$P = [p_1, p_2, \ldots, p_p] \in \mathbb{R}^{p \times p}$ は正規直交基底を列とするローディング行列であり、$\Lambda = \mathrm{diag}(\lambda_1, \lambda_2, \ldots, \lambda_p)$ は固有値を降順に並べた対角行列です（$\lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_p \geq 0$）。各固有値 $\lambda_j$ は第 $j$ 主成分が担うデータの分散量と対応します。

主成分スコア行列は

$$
Z = XP \in \mathbb{R}^{n \times p}
$$

と定義されます。$Z$ の列ベクトルは互いに直交しており（$Z^TZ = \Lambda$）、第 $j$ 列のスコアベクトル $z_j = Xp_j$ は元の変数空間を線形変換したものです。第 $j$ 主成分の寄与率および上位 $k$ 成分の累積寄与率はそれぞれ

$$
r_j = \frac{\lambda_j}{\sum_{i=1}^p \lambda_i}, \qquad R_k = \sum_{j=1}^k r_j
$$

で定義されます。$R_k$ は選択した $k$ 個の成分が全変数の分散をどの程度説明しているかを示す指標です。

PCAを適用する前に、説明変数の中心化と標準化（分散を1に揃えるスケール調整）が必要です。スケール調整を省略した場合、測定単位や変動の絶対値が大きい変数が主成分方向を支配し、分散構造の推定が特定変数に引きずられる形で歪む恐れがあります。

主成分スコアへの回帰と係数の逆変換

PCAで得られた上位 $k$ 個の主成分を列方向に並べたローディング部分行列 $P_k = [p_1, \ldots, p_k] \in \mathbb{R}^{p \times k}$ に対し、縮約スコア行列 $Z_k = XP_k \in \mathbb{R}^{n \times k}$ を構成します。目的変数 $y$ に対するモデルは

$$
y = Z_k\gamma + \varepsilon
$$

と定式化されます。$Z_k$ の列は互いに直交するため、$Z_k^TZ_k = P_k^TX^TXP_k$ は対角行列となり、条件数が低い安定した行列となります。これがスコア空間でのOLS適用を数値的に正当化する根拠です。最小二乗推定量は

$$
\hat{\gamma} = (Z_k^TZ_k)^{-1}Z_k^Ty
$$

で与えられます。この $k$ 次元の係数ベクトル $\hat{\gamma}$ を元の $p$ 次元変数空間へ逆変換すると

$$
\hat{\beta}_{PCR} = P_k\hat{\gamma} \in \mathbb{R}^p
$$

が得られます。逆変換によってすべての元変数に対して係数が定義されますが、各 $\hat{\beta}_{PCR,j}$ を「変数 $j$ が $y$ に与える偏効果」として直接解釈することは適切ではありません。主成分は複数の元変数の線形結合であり、個別変数の効果は混合された形でのみ表現されます。新観測値 $x_{new}$ に対する予測値は

$$
\hat{y}_{new} = x_{new}^T P_k\hat{\gamma}
$$

と展開でき、全変数を用いた線形結合として表現されます。

誤差項 $\varepsilon$ については、線形性・均一分散・独立性・正規性からなる古典的仮定を前提とします。これらの仮定が成立する場合に限り、$\hat{\gamma}$ に対するガウス・マルコフの定理による最良線形不偏推定量の保証と、$t$ 検定・$F$ 検定に基づく推測統計的検定が成立します。

成分数の選択：スクリープロットとクロスバリデーション

保持する成分数 $k$ の決定はPCRの予測性能を左右する最重要事項です。実務では以下の複数の基準が組み合わせて用いられます。

スクリープロットによる視覚的基準では、固有値 $\lambda_j$ を成分番号順にプロットし、減衰が急激に緩やかになる屈曲点（肘部）を目視で特定します。肘部以降の成分は全体の分散への寄与が小さいと判断されます。累積寄与率による閾値基準では、$R_k \geq 0.80$（または 0.90）を満たす最小の $k$ を採用します。

（Fig1. 主成分のスクリープロットと累積寄与率）

累積寄与率はあくまで $X$ の分散構造を反映した指標であり、目的変数 $y$ の予測性能とは原理的に独立です。$R_k$ が高い値であっても予測誤差が改善しない場合があり、この基準単独での適用には本質的な限界があります。

クロスバリデーションによる選択では、$q$ 分割交差検証によってk成分PCRの予測誤差を評価します。交差検証二乗平均平方根誤差は

$$
\text{RMSECV}(k) = \sqrt{\frac{1}{n}\sum_{i=1}^n \left(y_i – \hat{y}_{-i}(k)\right)^2}
$$

と定義されます。$\hat{y}_{-i}(k)$ は第 $i$ 観測値を除いた $k$ 成分PCRによる第 $i$ 観測値の予測値です。$\text{RMSECV}(k)$ が最小となる $k$ を選択することで、バイアス・分散トレードオフに沿った最適化が可能となります。$k$ が小さいほど高バイアス・低分散の特性を持ち、$k$ が大きいほど低バイアス・高分散の傾向を示します。

（Fig2. 保持する主成分数とテストMSEの関係（バイアス・分散トレードオフ））

PCRの仮定と限界

PCRが有効に機能するためには二つの仮定が必要です。第一に、多重共線性の構造が主成分によって捕捉可能であるという仮定です。すなわち、$X$ の列空間内で分散が大きい主成分方向が、目的変数との関連性においても支配的であることが暗黙に前提とされています。第二に、説明変数と目的変数の関係が線形であるという仮定です。

PCRの本質的な限界は、PCAが目的変数 $y$ の情報を一切使用しない教師なし次元削減である点にあります。PCAは $X$ の分散を最大化する方向を主成分として抽出しますが、その方向が $y$ との共分散を最大化する方向と一致する保証はありません。$y$ の予測に有効な信号が小さな固有値に対応する主成分（捨てられた方向）に存在する可能性があり、この場合PCRは重要な予測情報を意図的に除去する結果となります。

主成分係数の実務的解釈も困難を伴います。逆変換で得られる $\hat{\beta}_{PCR}$ の各要素は複数の元変数の混合であり、個別変数の説明変数としての寄与を分離して解釈することは適切ではありません。変数の重要度評価や意思決定への直接的な応用が制限されます。

さらに、PCRは変数スケールに高い感度を持ちます。標準化の方法や対象変数の選択が変わると主成分方向が変化し、分析結果が変わります。PCAは非確率的な線形変換であり、主成分スコアに付随する統計的不確実性の定量化も容易ではありません。

金融工学への応用：株式リターンの因子分析

金融パネルデータでは、多数の銘柄リターンが市場全体の動きに追従するため、説明変数間に構造的な多重共線性が生じやすい特性があります。PCRは、高相関を持つ複数の株式リターンを説明変数として、ポートフォリオの超過リターンを予測するモデルに適用されます。

実証研究において、第1主成分は市場全体のリターン変動を反映する市場因子に対応することが多く観察されています。第2・第3主成分以降には業種ごとのセクター因子やバリュー・グロースのスタイル因子に対応する構造が現れ、裁定価格理論の因子モデルが想定する因子構造との対応が指摘されています。PCRの手順では、これらの因子に対応する主成分スコアを選択した上で、超過リターン $y$ に対してOLS回帰を適用し予測モデルを構築します。

ただし、金融分野では固有の限界が顕在化します。第1主成分が市場因子を反映することは、その成分が個別ポートフォリオの超過リターンの有効な予測子となることを保証しません。$X$ の分散を最大説明する主成分が $y$ の予測に無効である場合、重要な予測信号が下位成分に埋もれるリスクがあります。また、金融リターンの非定常性・構造変化・ボラティリティクラスタリングは、PCRが前提とする線形・定常構造と摩擦を生じさせます。これらの性質に対してはより柔軟な時系列モデルの補完的な活用が必要です。

OLS・リッジ回帰・PLSとの比較

PCRとリッジ回帰はいずれも多重共線性に対応する手法ですが、係数縮小のメカニズムが根本的に異なります。固有値分解の観点から見ると、リッジ回帰は固有値 $\lambda_j$ に対応する主成分方向の係数を連続的に

$$
\frac{\lambda_j}{\lambda_j + \alpha}
$$

の比率で縮小します（$\alpha$ は正則化パラメータ）。小さな固有値に対応する成分も完全に除去されることなく、縮小率を高めながら残存します。一方、PCRは上位 $k$ 個の成分のみを保持し残りを離散的に0とします。リッジ回帰は全成分の情報を連続的に活用する滑らかな縮小を実現しますが、PCRの離散的截断は実装が単純で成分数という解釈可能なハイパーパラメータで制御できます。

部分最小二乗法は次元削減に際して $X$ と $y$ の共分散を最大化する潜在成分を逐次的に抽出します。目的変数の情報を直接活用する点でPCRと構造的に異なり、$y$ との関連性を優先した成分抽出が可能です。多重共線性かつ予測精度を主目的とする場合、部分最小二乗法はPCRより少ない潜在成分数で同等の予測性能を達成することがあります。

Lassoは正則化によって係数の一部を正確に0とするスパース推定を実現します。変数選択が内在化されており解釈性が求められる場面で有効ですが、強い多重共線性下では選択される変数が不安定になる傾向があります。

PCRが他手法に予測性能で劣る典型的なシナリオは、多重共線性が軽微な状況と説明変数・目的変数間の関係が非線形の状況です。前者ではOLSが十分に安定した推定を与え、後者ではPCRの線形仮定自体が適用条件を外れます。

（Fig3. 多重共線性の強度別にみたPCR・リッジ回帰・OLSの予測誤差比較）

以下の表にPCR・OLS・リッジ回帰・部分最小二乗法の主要特性を整理します。