残差の定義と種類
回帰モデル $y_i = \mathbf{x}_i’\boldsymbol{\beta} + \varepsilon_i$ において、パラメータ $\boldsymbol{\beta}$ を最小二乗法で推定した後に得られる生残差は次の式で定義されます。
$$e_i = y_i – \hat{y}_i$$
$y_i$ は実測値、$\hat{y}_i$ は回帰モデルによる予測値です。残差ベクトル $\mathbf{e}$ を行列で表すと、
$$\mathbf{e} = (\mathbf{I} – \mathbf{H})\mathbf{y}$$
と書けます。ここで帽子行列は $\mathbf{H} = \mathbf{X}(\mathbf{X}’\mathbf{X})^{-1}\mathbf{X}’$ であり、その対角成分 $h_{ii}$ は第 $i$ 観測値のレバレッジを表します。レバレッジは、その観測値が説明変数空間において他の観測値からどれほど離れているかを示す指標です。
残差 $e_i$ は真の誤差 $\varepsilon_i$ の推定量ですが、誤差そのものとは異なります。真の誤差が独立・同一分布に従う前提のもとでも、残差の分散は均一ではなく $\sigma^2(1 – h_{ii})$ となり、観測値ごとに異なります。この不均一性が、残差を直接スケール比較する際の問題となります。
スケール依存性を除去するために標準化残差が使われます。
$$r_i = \frac{e_i}{s\sqrt{1 – h_{ii}}}$$
$s$ は残差の標準誤差であり、分母に $\sqrt{1 – h_{ii}}$ を含めることで、各観測値のレバレッジの差異が補正されます。外部スチューデント化残差（削除残差）は、第 $i$ 観測値を除いたサブセットで推定した標準誤差を分母とする指標であり、影響点が存在する場合に内部スチューデント化残差より適切な診断を与えます。内部スチューデント化残差は計算コストが低い一方で、影響点によって標準誤差推定が歪む可能性があるため、両者の選択はデータの性質に依存します。
残差はモデルの正しさに依存する推定値であり、誤差の直接観測値ではありません。真の関係が非線形であるにもかかわらず線形モデルを当てはめた場合、残差は誤差の偏った推定値となり、診断の解釈が誤方向を示す可能性があります。また、小サンプルでは $h_{ii}$ の推定精度が低く、標準化の効果が不安定になるため、解釈には慎重さが求められます。
残差vs予測値プロット：線形性と等分散性の視覚診断
残差vs予測値プロットは、横軸に予測値 $\hat{y}_i$、縦軸に残差 $e_i$（または標準化残差 $r_i$）をとった散布図です。このプロットは、線形性・等分散性・外れ値の有無を同時に検査するための基本的な残差診断ツールです。
均一分散かつ線形性が成立している場合、残差は $y = 0$ の水平線を中心としてランダムに散布され、予測値の大小によるパターンは現れません。点群が水平バンド内に無構造に分布していることが仮定充足の理想的な状態です。
これに対し、残差の広がりが予測値とともに拡大または縮小する場合にはファネル形状が現れ、不均一分散の典型的なパターンを示します。残差の絶対値が予測値の増加に伴って大きくなる場合は、誤差の分散が応答変数のスケールに依存している可能性を示唆します。また、残差が予測値に対してU字または逆U字の曲線的パターンを描く場合は、モデルに含まれるべき非線形項が見落とされていることを示します。外れ値の検出では、標準化残差の絶対値が3以上となる観測値を目安として注目します。
小サンプルでは偶然のパターンが仮定違反のように見える場合があり、真の仮定違反との区別が困難です。また複数の仮定が同時に破れていると、残差パターンが複合的となり単独の原因を特定することが難しくなります。
（Fig1. 仮定充足・非線形性・不均一分散の残差vs予測値プロット比較（3パターン））
QQプロットによる正規性診断
OLS推定量の不偏性は誤差の正規性に依存しませんが、信頼区間の構成やt検定・F検定の正確性は誤差の正規性を必要とします。QQプロットは残差の経験分位点を理論分位点と対照することで正規性を視覚的に評価する手法です。第 $i$ 順序統計量に対応する標準正規分位点は、
$$\Phi^{-1}\!\left(\frac{i – 0.5}{n}\right)$$
と定義されます。$\Phi$ は標準正規分布の累積分布関数であり、残差が正規分布に従う場合、QQプロット上の点群は45度の参照線に沿って並びます。45度線からの乖離は正規性からの逸脱を示し、乖離の方向が分布の特徴を表します。
重裾分布（裾が厚い分布）のパターンでは、両裾の点が45度参照線の外側（上昇方向）に乖離します。具体的には、左端の点が参照線より下方に外れ、右端の点が参照線より上方にはみ出す形状をとります。これは正規分布と比べて極端な値が多く発生していることを意味し、t分布など正規より裾が厚い分布で生成したデータがこのパターンを示します。
軽裾分布（裾が薄い分布）のパターンでは、両裾の点が45度参照線の内側（下方偏差）に収まります。左端の点が参照線より上方に位置し、右端の点が参照線より下方に位置する逆S字型の形状となり、正規分布と比べて極端な値が少ないことを意味します。一様分布や切断正規分布など正規より裾が薄い分布はこのパターンを生じさせます。
右歪み分布のパターンでは、右裾の点が参照線の上方（外側）に大きく乖離し、左裾の点は参照線の下方（内側）に収まります。分布が右方向に引っ張られており、大きな値が多く発生していることを示します。対数正規分布から生成したデータがこのパターンの典型例です。
左歪み分布のパターンでは、左裾の点が参照線の上方（外側）に逸れ、右裾の点が参照線の下方（内側）に収まります。これは分布が左方向に引っ張られていることを示し、データに上限が存在する場合や下限に値が集中する状況で現れます。右歪みとは対称の形状で、右歪みのQQプロットを水平方向に反転させたパターンとして把握できます。
Shapiro-Wilk検定などの形式的検定は正規性を定量的に評価しますが、小サンプルでは検出力が低く、大サンプルでは実質的に問題のない微小な逸脱も有意とされることがあります。QQプロットと形式的検定は補完的に用いることが適切です。中心極限定理により大サンプルでは多少の非正規性は許容されますが、QQプロットの解釈は読み手の経験に依存するという限界があります。また、外れ値が存在する場合はQQプロットおよび正規性検定の双方が大きく歪み、正規性の評価精度が低下します。
（Fig2. QQプロットによる残差の正規性診断：正規・重裾・右歪みの3パターン）
スケール・ロケーションプロットと均一分散性の評価
スケール・ロケーションプロットは、不均一分散の検出において残差vs予測値プロットを補完する診断ツールです。横軸に予測値 $\hat{y}_i$、縦軸に標準化残差の絶対値の平方根をとります。
$$\sqrt{|r_i|}$$
二乗根をとる目的は、残差の正負の非対称性を排除し、分散の変動をより安定的に可視化することです。均一分散仮定が成立している場合、点群は水平に分布し、LOWESS（局所加重散布図平滑化）スムーザーによる傾向線も水平に近い形をとります。これが等分散性の理想的なパターンです。
右上がりの傾向線は、予測値が大きい観測値ほど残差の変動が大きいことを示し、分散が拡大していることの視覚的証拠となります。この場合、応答変数に対数変換を施すか、加重最小二乗法を用いることが対処の方向性となります。逆に右下がりの傾向線は予測値が大きいほど分散が縮小する状況を示します。
形式的な検定としてはBreusch-Pagan検定やWhite検定が用いられます。Breusch-Pagan検定は分散が説明変数の線形関数として変化するという仮定のもとで感度が高く、White検定は仮定が少なく汎用性が高い一方で検出力が低い場面もあります。視覚的診断と形式的検定を相補的に用いることで、不均一分散の方向と強度を把握できます。
U字型の分散変動パターンは、スケール・ロケーションプロット上での視覚的検出が困難です。また小サンプルではLOWESSスムーザーが不安定になるため、傾向線の解釈に注意が必要です。
| プロット名 | 横軸 | 縦軸 | 検出する仮定違反 | 理想的パターン |
|---|---|---|---|---|
| 残差vs予測値プロット | 予測値 $\hat{y}_i$ | 残差 $e_i$（または $r_i$） | 非線形性、不均一分散、外れ値 | $y=0$ 周りのランダム散布 |
| QQプロット | 理論分位点 $\Phi^{-1}((i-0.5)/n)$ | 残差の順序統計量 | 正規性からの逸脱（裾の厚さ、歪み） | 45度参照線上に沿う直線状の点群 |
| スケール・ロケーションプロット | 予測値 $\hat{y}_i$ | $\sqrt{|r_i|}$ | 不均一分散（分散の拡大・縮小傾向） | 水平な傾向線 |
| Cook距離バープロット | 観測番号 | Cook距離 $D_i$ | 影響点（推定量全体への強い影響） | すべてのバーが閾値以下 |
Cook距離とレバレッジ：影響観測値の定量的検出
個々の観測値がモデル推定に与える影響を定量化するために、レバレッジとCook距離が用いられます。これらの指標は、高レバレッジ点・外れ値・影響点という三概念を区別するための基礎となります。
レバレッジ $h_{ii}$ は帽子行列の対角成分であり、説明変数空間における第 $i$ 観測値の極端さを表します。高レバレッジの目安として $h_{ii} > 2p/n$（$p$ はパラメータ数、$n$ はサンプルサイズ）がよく使われます。高レバレッジ点は必ずしも推定を歪めるわけではなく、残差が小さければ影響は限定的です。
Cook距離は、第 $i$ 観測値を除外したときの推定量の変化量を一括評価する指標です。削除推定量 $\hat{\boldsymbol{\beta}}_{(i)}$ と全体推定量 $\hat{\boldsymbol{\beta}}$ の差を用いた定義式は、
$$D_i = \frac{(\hat{\boldsymbol{\beta}}_{(i)} – \hat{\boldsymbol{\beta}})’\mathbf{X}’\mathbf{X}(\hat{\boldsymbol{\beta}}_{(i)} – \hat{\boldsymbol{\beta}})}{p s^2}$$
であり、計算上は標準化残差とレバレッジを用いた簡便式に変換できます。
$$D_i = \frac{r_i^2}{p} \cdot \frac{h_{ii}}{1 – h_{ii}}$$
この式は、Cook距離がレバレッジ（位置の極端さ）と標準化残差二乗（残差の大きさ）の積として構造化されていることを示します。Cook距離の閾値として $D_i > 1$ は推定量全体への強い影響を示す厳格な基準であり、$D_i > 4/n$ はスクリーニング的な目安として広く使われます。DFFITSは第 $i$ 観測値を除外したときの予測値の変化量を標準化した指標であり、Cook距離が推定量全体への影響を評価するのに対して予測値への局所的影響を評価します。
高レバレッジ点・外れ値・影響点の三概念は独立しており、組み合わせで出現します。高レバレッジを持ちながら残差が小さい観測値は、回帰直線をその方向に引き寄せるため影響点となりますが、残差のみの診断では検出されません。複数の影響点が共存する場合にはマスキング効果が生じ、各点のCook距離が閾値を超えないまま互いの影響を隠し合うことがあります。影響点の対処（除外・ロバスト回帰・追加調査）には統計的根拠に加えて実質科学的な根拠が必要です。削除統計量の計算コストが大きいデータでは近似式の使用が現実的な選択肢となります。
（Fig3. レバレッジとCook距離の散布図：高影響点・高レバレッジ点・外れ値の分類）
| 指標名 | 定義の概要 | 一般的な閾値 | 検出対象 | 限界 |
|---|---|---|---|---|
| レバレッジ $h_{ii}$ | 帽子行列の対角成分、説明変数空間における極端さ | $h_{ii} > 2p/n$ | 高レバレッジ点（極端な説明変数値） | 残差の大きさを考慮しない |
| Cook距離 $D_i$ | 第 $i$ 観測値除外時の推定量変化量 | $D_i > 1$ または $D_i > 4/n$ | 推定量全体に強い影響を与える観測値 | マスキング効果で複数影響点の検出が困難 |
| DFFITS | 第 $i$ 観測値除外時の予測値変化の標準化 | $|DFFITS_i| > 2\sqrt{p/n}$ | 予測値への局所的影響が大きい観測値 | 予測値への影響に限定し推定量全体を評価しない |
品質管理への応用：製造工程データの診断ワークフロー
製造業における品質管理では、寸法・強度・収率といった品質特性を温度・圧力・原材料ロットなどの工程変数で予測する回帰モデルが用いられます。残差分析はこうしたモデルの妥当性を確認し、工程異常を定量的に検出するための実践的ツールとして機能します。
品質特性の測定誤差が正規分布に従うという工程管理上の一般的仮定のもとで残差診断が進められます。また、工程が統計的管理状態にあること、すなわち系統的な変動要因が除去されていることが回帰診断の前提条件となります。
診断ワークフローは次の順序で実施します。まず残差vs予測値プロットで非線形性と不均一分散の有無を確認します。次にQQプロットで誤差の正規性を評価します。続いてスケール・ロケーションプロットで分散の変動傾向を確認し、最後にCook距離によって影響観測値を検出します。この順序は、より広い仮定（線形性・等分散性）から出発し、より精細な診断（影響点）へと進む系統的な流れとなっています。
段取り替えやロット切り替えが生じると、残差に系統的なシフトやクラスタリングとして現れることがあります。工程変化点は、残差vs予測値プロットにおける予測値の水準ごとのバンドの分離、またはQQプロットにおける非正規パターンとして観察される場合があります。OLSはこの構造を誤差として吸収するため、グループ構造の見落としが診断精度を低下させます。
仮定違反が確認された場合の対処の方向性として、非線形性に対しては応答変数または説明変数の変数変換（Box-Cox変換など）、不均一分散に対しては加重最小二乗法、影響点・外れ値に対してはロバスト回帰が選択肢となります。OLSは仮定充足時に最小分散不偏推定量の性質を持ちますが、不均一分散下では加重最小二乗法が効率的であり、外れ値の影響が大きい場合にはロバスト回帰が安定した推定を与えます。診断結果の報告では、Cook距離の最大値やShapiro-Wilk検定のp値などの数値指標を明示することで、主観的判断を補います。
時系列的に収集される品質データでは残差に自己相関が生じやすく、OLSの独立性仮定が成立しません。Durbin-Watson検定がこの診断に用いられます。また機械・作業者・ロットの固定効果を無視すると残差にグループ構造が残り、診断の信頼性が低下します。
残差診断の限界と発展的手法への接続
残差診断は探索的な手法であり、仮定違反の確定的証拠ではなく示唆を与えるものです。プロットのパターンはモデルの構造的誤りの可能性を示しますが、統計的有意性の確認とは性質が異なります。残差診断はモデルを改善するための入り口であり、診断結果に基づく次の分析ステップを規定するものです。
不均一分散が検出された場合の次ステップとして、加重最小二乗法の導入または不均一分散に頑健な標準誤差の採用が主な選択肢となります。影響点・外れ値への対処としては、M推定量やMM推定量を用いるロバスト回帰が有効であり、外れ値の存在下でも安定した推定を与えます。
OLSの枠組みで対処できない問題が存在する場合、一般化線形モデルへの移行が検討されます。一般化線形モデルではピアソン残差やデビアンス残差が診断に用いられ、OLSの残差とは異なる統計的性質を持つため、解釈の読み替えが必要です。
診断を繰り返すことによるモデル改善サイクルは体系的に有効ですが、データ主導の多重検定問題を引き起こす可能性があります。診断のたびに新たな問題点を探すことは、適合過多のリスクを高めます。また高次元データでは個々の残差プロットの解釈が困難になり、診断の信頼性が低下します。残差診断の結果を慎重に評価し、必要に応じてより専門的な手法へと接続することが、モデルの信頼性を高める実践的な道筋となります。
