Top 5 This Week

関連記事

主成分分析の結果の読み方:固有値・寄与率・負荷量

- 本サイト運営者のサービスの紹介 -
Dr.データサイエンス|医療統計解析の代行・相談

アメリカ50州の犯罪統計のように互いに相関する4つの変数へ主成分分析を当てはめると、Rは標準偏差、寄与率、累積寄与率、回転行列という数字の表を返し、そこから「第1主成分は犯罪の多さを表す」と読むには、どの数字が分散の大きさで、どの数字が変数と成分の関係なのかを区別する必要があります。しかも負荷量という語は文献によって2通りの量を指し、成分の符号の向きは計算上の都合で決まるため、同じデータでも表に載る値が異なる場面が実際に起こります。

相関行列の固有値分解と記号

主成分分析の考え方は、Pearson(1901)が点の集まりに最もよく当てはまる直線と平面として、Hotelling(1933)が相関する変数群の分散を順に取り出す成分として示したもので、多変量解析という語の範囲は【医療統計版】多変量解析と多変数回帰:言葉の違いが指す中身で説明しています。ここでは結果の読み方に絞り、変数の数を$p$、標準化した観測値の相関行列を$\mathbf{R}$とすると、出力の数字はどれも次の固有値分解から計算されます。

$$\mathbf{R} = \mathbf{V}\boldsymbol{\Lambda}\mathbf{V}^\top \tag{1}$$

ここで$\mathbf{V}$は列に固有ベクトル$\mathbf{v}_k$を並べた行列で、$\boldsymbol{\Lambda}$は固有値$\lambda_1 \ge \lambda_2 \ge \dots \ge \lambda_p$を対角に並べた行列です。式(1)は、相関行列が互いに直交する$p$個の方向と、各方向に沿った分散の大きさへ分けられることを表しています。

この分解に対応して、第$k$主成分の得点は、対象$i$の標準化した観測値ベクトル$\mathbf{z}_i$と固有ベクトルの内積として求まります。

$$t_{ik} = \mathbf{v}_k^\top \mathbf{z}_i \tag{2}$$

式(2)は、各変数を固有ベクトルの成分で重みづけして足し合わせた値が主成分得点になり、その得点の分散がちょうど$\lambda_k$になることを示しています。そのため、固有値は成分が持つ分散、固有ベクトルは成分を作る重みと読み分けられ、以降に出てくる出力の数字はこの2種類の量のどちらか、またはその組み合わせに対応します。

USArrestsで標準偏差と寄与率の行を読む

例として、USArrestsデータセットを使います。アメリカ50州について、人口10万人あたりの殺人(Murder)、暴行(Assault)、強姦(Rape)の逮捕件数と、都市部人口の割合(UrbanPop)の4変数が記録されており、単位も分散の大きさも変数ごとに大きく異なるため、標準化の有無が結果を左右する様子も同じデータで確かめられます。

# 相関行列に基づく主成分分析(変数を標準化)
pca <- prcomp(USArrests, scale. = TRUE)
summary(pca)
round(eigen(cor(USArrests))$values, 3)
#> Importance of components:
#>                           PC1    PC2     PC3     PC4
#> Standard deviation     1.5749 0.9949 0.59713 0.41645
#> Proportion of Variance 0.6201 0.2474 0.08914 0.04336
#> Cumulative Proportion  0.6201 0.8675 0.95664 1.00000
#> [1] 2.480 0.990 0.357 0.173

出力の1行目にあるStandard deviationは主成分得点の標準偏差で、2乗すると固有値になり、第1主成分では$1.5749^2$が約2.480です。最後の行に並んだ2.480、0.990、0.357、0.173は相関行列を直接固有値分解した値で、標準偏差の2乗と一致しているので、主成分分析の出力が式(1)の分解そのものを別の形で返していることが分かります。

固有値と寄与率が示す分散の配分

相関行列の対角要素はどれも1なので、固有値の合計は変数の数$p$に等しく、USArrestsでは4になります。第$k$主成分の寄与率は、この合計に対する固有値の割合として定義されます。

$$\text{寄与率}_k = \frac{\lambda_k}{\sum_{j=1}^{p} \lambda_j} = \frac{\lambda_k}{p} \tag{3}$$

式(3)は、各成分が全体の分散のうちどれだけを受け持つかを、固有値の比で表したものです。第1主成分の固有値を入れると$2.480 \div 4 = 0.620$となり、出力のProportion of Varianceにある0.620と一致します。

この0.620という値から、標準化した4変数の分散の合計のうち62.0%を第1主成分の得点が担い、第2主成分の24.7%を足した累積寄与率86.8%が、2つの成分で描く散布図に残る情報の割合だと読めます。また、寄与率は分散の大きさだけで決まる量のため、第1主成分が研究目的にとって重要な軸かどうかは、寄与率の高さとは別に、後で見る負荷量の中身で判断することになります。

もう一点、寄与率は「元のデータの何%を説明したか」と言い換えられることが多いものの、ここで配分しているのは標準化した後の分散の合計です。変数を標準化するかどうかを変えると、同じUSArrestsでも寄与率は大きく変わり、その具体的な値は後の節で共分散行列に基づく結果と並べて確かめます。

残す成分数とカイザー基準の限界

固有値が1を超える成分を残すという目安は、Kaiser(1960)が因子分析の文脈で用いた基準で、標準化した変数1つ分より大きな分散を持つ成分だけを残すという考え方に基づきます。USArrestsでは第1主成分の2.480だけが1を超え、第2主成分は0.990とわずかに1を下回るため、この基準を機械的に当てはめると残す成分数は1になります。

ところが、50州の標本で0.990と1.000を区別する根拠は乏しく、次の節以降で見るように第2主成分は都市部人口の割合を中心とした解釈しやすい成分です。そのため、成分数は固有値の大きさに加えて、Cattell(1966)のスクリープロットで固有値の落ち込み方を見る方法や、Horn(1965)の平行分析のように乱数で生成したデータの固有値と比べる方法を併用し、成分の解釈が研究目的に合うかどうかも合わせて決める方が安全です。

このように境界付近に固有値がある場合、固有値1という閾値だけで成分数を決める進め方は、結論が小数第2位の違いで変わってしまうため推奨しません。USArrestsでは2成分で累積寄与率が86.8%に達し、第3主成分の固有値0.357は第2主成分の0.990から大きく落ちているので、出力の読み方としては2成分を残して解釈する判断が自然です。

固有ベクトルと負荷量の2通りの定義

JolliffeとCadima(2016)が取り上げているように、固有ベクトルの成分$v_{jk}$そのものを負荷量と呼ぶ流儀と、それに固有値の平方根を掛けた量を負荷量と呼ぶ流儀があり、Rの出力で回転行列(rotation)として返るのは前者です。このように、主成分負荷量という語は文献によって2つの異なる量を指します。

# 固有ベクトルと、それに固有値の平方根を掛けた負荷量
round(pca$rotation, 3)
loadings <- sweep(pca$rotation, MARGIN = 2, STATS = pca$sdev, FUN = "*")
round(loadings, 3)
#>             PC1    PC2    PC3    PC4
#> Murder   -0.536 -0.418  0.341  0.649
#> Assault  -0.583 -0.188  0.268 -0.743
#> UrbanPop -0.278  0.873  0.378  0.134
#> Rape     -0.543  0.167 -0.818  0.089
#>             PC1    PC2    PC3    PC4
#> Murder   -0.844 -0.416  0.204  0.270
#> Assault  -0.918 -0.187  0.160 -0.310
#> UrbanPop -0.438  0.868  0.226  0.056
#> Rape     -0.856  0.166 -0.488  0.037

2つ目の表に並ぶ後者の負荷量は、標準化した変数$z_j$と第$k$主成分の得点$t_k$との相関係数に一致します。

$$a_{jk} = v_{jk}\sqrt{\lambda_k} = \mathrm{corr}(z_j, t_k) \tag{4}$$

式(4)は、固有ベクトルの成分を成分の標準偏差で引き伸ばすと、変数と成分の相関が得られることを表しています。Murderと第1主成分では$-0.536 \times 1.5749 \approx -0.844$で、2つ目の表の値と一致します。

この2つの定義は使い道が異なり、固有ベクトルは得点の計算式に使う重みを示す時に、相関としての負荷量は-1から1の範囲で変数と成分の結びつきの強さを示す時に向きます。さらに、固有ベクトルでは列ごとの2乗和が1になる一方、相関としての負荷量では第1主成分の列で$0.844^2 + 0.918^2 + 0.438^2 + 0.856^2 \approx 2.480$と固有値に戻るので、論文に載った表がどちらの定義かは列の2乗和から見分けられます。

この違いのため、負荷量の表を読む時も自分で報告する時も、どちらの定義で計算した値なのかを表の脚注か本文で確かめる必要があります。同じUSArrestsでもAssaultの第1主成分の値は絶対値で0.583と0.918のように大きく異なり、0.583を相関と読むと、暴行の逮捕件数と第1主成分の結びつきを実際より弱く見積もることになります。

負荷量の符号と大きさから成分を解釈する

相関としての負荷量で第1主成分の列を見ると、Murder -0.844、Assault -0.918、Rape -0.856の3つの犯罪変数が絶対値0.8を超え、UrbanPopは-0.438にとどまります。4変数が同じ符号で、特に犯罪の3変数と強く結びついているので、第1主成分は犯罪の逮捕件数が全体として多いか少ないかを表す成分と読めますが、符号が負なので得点が負に大きい州ほど犯罪が多いことになります。

この負の符号について見ると、固有ベクトル$\mathbf{v}_k$が式(1)を満たすなら$-\mathbf{v}_k$も同じ固有値で式(1)を満たすため、符号は計算上の都合で決まり、ソフトウェアや計算法によっては列全体が反転して返ります。その場合も得点の符号が同時に反転するだけで、寄与率も成分の解釈も変わらないので、報告では犯罪が多いほど得点が正になるよう列全体の符号を揃えて示しても構いません。

一方、第2主成分ではUrbanPopが0.868と突出し、Murderが-0.416と逆向きに結びついています。第2主成分の得点は都市部人口の割合が高いわりに殺人が少ない州ほど正に大きくなり、第1主成分の得点と無相関になるよう作られているため、主に都市化の程度を表し、殺人とは逆向きに結びつく成分と読めます。

なお、負荷量の絶対値がいくつ以上なら成分の解釈に効いていると言えるかについて固定した閾値はなく、このデータで0.8前後と0.4前後の値がはっきり分かれているのは、変数が4つと少ないことにも助けられています。変数が多い場合は似た大きさの負荷量が並ぶこともあり、その時は符号の揃った変数群を内容でまとめ、どの変数が成分の意味を決めているかを相対的に比べて解釈することになります。

主成分得点の散布図で解釈を確かめる

負荷量から読んだ解釈が州の並びと矛盾しないかは、第1主成分と第2主成分の得点を散布図にし、相関としての負荷量を矢印で重ねた図で確かめられます。矢印は見やすさのために2.5倍に拡大して描いており、図の中の文字は英語で表記しています。

# 主成分得点の散布図に負荷量の矢印を重ねる
scores <- pca$x
plot(scores[, 1], scores[, 2], pch = 19, col = "grey50", xlim = c(-3.5, 3.5), ylim = c(-3, 3),
     xlab = "PC1 score (62.0%)", ylab = "PC2 score (24.7%)", main = "USArrests: scores and loadings")
text(scores[, 1], scores[, 2], labels = rownames(scores), cex = 0.45, pos = 3)
arrows(0, 0, loadings[, 1] * 2.5, loadings[, 2] * 2.5, col = "firebrick", length = 0.08)
text(loadings[, 1] * 2.9, loadings[, 2] * 2.9, labels = rownames(loadings), col = "firebrick", cex = 0.8)
abline(h = 0, v = 0, lty = 3, col = "grey70")
USArrestsの50州について第1主成分と第2主成分の得点を散布図にし、4変数の負荷量を赤い矢印で重ねた図です。Murder、Assault、Rapeの矢印は左向きに揃い、UrbanPopの矢印は上向きに伸びています。
図1 USArrestsの主成分得点と負荷量の矢印です。犯罪の3変数は第1主成分の負の向きに揃い、UrbanPopは第2主成分の正の向きに伸びているため、左側の州ほど犯罪が多く、上側の州ほど都市部人口の割合が高いと読めます。

図1では、犯罪変数の3本の矢印が左向きに揃い、UrbanPopの矢印が上向きに伸びています。そのため、左側に位置する州ほど犯罪の逮捕件数が多く、上側に位置する州ほど都市部人口の割合が高いと読めますが、矢印の長さは拡大して描いているので、長さそのものは負荷量の相対的な大きさとしてだけ見ます。

しかも、この散布図に表れているのは標準化した分散の86.8%で、残りの13.2%は第3・第4主成分に含まれています。図上の近さは第1・第2主成分で表した86.8%の範囲での近さなので、特定の州同士を比べる時は、第3主成分の得点や元の変数の値も合わせて確認します。

標準化しない場合の寄与率の変化

固有値と寄与率の節で触れたとおり、寄与率が配分しているのは標準化後の分散の合計で、標準化の有無による変化は、同じUSArrestsを共分散行列で分析すると分かります。

# 共分散行列に基づく寄与率と、各変数の分散
pca_raw <- prcomp(USArrests, scale. = FALSE)
round(pca_raw$sdev^2 / sum(pca_raw$sdev^2), 4)
round(apply(USArrests, MARGIN = 2, FUN = var), 1)
#> [1] 0.9655 0.0278 0.0058 0.0008
#>   Murder  Assault UrbanPop     Rape
#>     19.0   6945.2    209.5     87.7 

4変数の分散はAssaultが6,945.2、UrbanPopが209.5、Rapeが87.7、Murderが19.0で、Assaultの分散が他を桁違いに上回るため、標準化しない分析では第1主成分の寄与率が96.55%に達します。この96.6%は暴行の逮捕件数という1変数の単位の大きさを映した値で、4変数の背後に共通の軸があることを示す数字として読むと解釈を誤ります。

この単位の問題について、JolliffeとCadima(2016)は測定単位の異なる変数では標準化して相関行列に基づく分析を行う方が適切だと論じており、単位の異なる変数を共分散行列のまま分析した寄与率をデータの構造として報告する進め方は不適切です。逆に、どの変数も同じ単位で測られ、分散の大きさそのものに意味がある場合は、共分散行列を使う理由があり、その時は寄与率が大きい成分ほど元の単位で大きく変動する方向だと読めます。

論文や報告書での主成分分析の扱い

JolliffeとCadima(2016)の総説は、相関行列と共分散行列のどちらを分析するかで結果が大きく変わることと、負荷量という語が固有ベクトルとそれを尺度化した量の両方に使われていることを取り上げています。USArrestsで確かめたように、この2点が書かれていない報告では、読者は62.0%と96.55%のどちらに当たる寄与率なのか、0.583と0.918のどちらに当たる負荷量なのかを判別できません。

そのため、論文や報告書で主成分分析の結果を示す時は、分析した行列、残した成分数とその決め方、各成分の固有値と寄与率、負荷量の定義を本文か表の脚注に記載すると、結果を読む側が数値の意味を取り違えずに済みます。成分数についても、どの方法で決めたかを書いておけば、0.990のような境界上の固有値をどう扱ったかが読者に伝わります。

さらに、主成分得点を回帰モデルの説明変数に使う場合は、係数の意味が負荷量から読み取った成分の内容に依存するので、成分の解釈を示さないまま係数だけを報告すると結果を読み取れなくなります。相関の強い説明変数をどう扱うかという判断は、【医療統計版】多重共線性:VIFをどう読み、どう対処するかで研究の文脈に沿って説明しています。

出力を前にして判断すること

主成分分析の出力は、分析した行列、成分数、負荷量の定義、成分の解釈の順に読みます。寄与率も負荷量もどの行列を分解したかで値が変わるので行列を最初に確かめ、成分数を決めてから負荷量の定義を確かめれば、解釈に使う列と値の意味が定まった状態で符号と大きさを読めます。

参考文献

  1. Pearson K. On lines and planes of closest fit to systems of points in space. Philosophical Magazine. 1901;2(11):559-572.
  2. Hotelling H. Analysis of a complex of statistical variables into principal components. Journal of Educational Psychology. 1933;24(6):417-441.
  3. Jolliffe IT, Cadima J. Principal component analysis: a review and recent developments. Philosophical Transactions of the Royal Society A. 2016;374(2065):20150202.
  4. Kaiser HF. The application of electronic computers to factor analysis. Educational and Psychological Measurement. 1960;20(1):141-151.
  5. Cattell RB. The scree test for the number of factors. Multivariate Behavioral Research. 1966;1(2):245-276.
  6. Horn JL. A rationale and test for the number of factors in factor analysis. Psychometrika. 1965;30(2):179-185.

Popular Articles