1.3 統計学的手法の分類

本稿では、統計学的手法をその目的と機能に基づいて体系的に分類し解説します。この分類は、データサイエンティスがデータにアプローチする際の思考フレームワークを提供します。統計学的手法は、主に以下の主要カテゴリに分けられます。

1. 記述統計と探索的データ分析：データの基本的な特徴を要約し、可視化します。
2. 欠測データ処理：欠損値を適切に補完し、分析の信頼性を確保します。
3. 推測統計学と仮説検定：標本データから母集団の特性を推論します。
4. 因果推論：単なる仮説検定ではなく、真の因果関係を特定します。
5. 予測モデリング：変数間の関係をモデル化して、将来の値を予測します。
6. 多変量解析：複数の変数を同時に扱い、データ全体の構造を解明します。
7. 生存時間分析：特定のイベントが起こるまでの時間を分析します。
8. 時系列データ分析：時間順に並んだデータのパターンを分析し、将来を予測します。

データの要約と探索（Descriptive & Exploratory Statistics）

データ分析の最初のステップは、データを理解し、その特徴を要約することです。記述統計（Descriptive Statistics）は、データの中心傾向やばらつきを数値で表現します。また、探索的データ分析（Exploratory Data Analysis, EDA）は、グラフを用いてデータを視覚的に理解し、パターンや外れ値を発見するプロセスです。

具体例

• 平均値（Mean）：量的変数の代表値です。例えば、ある部署の従業員の平均年齢を計算することで、その部署の年齢構成を大まかに把握できます。
• 中央値（Median）：データを昇順に並べた際の中央に位置する値です。外れ値の影響を受けにくいため、所得や不動産価格のような偏ったデータ分布に適しています。
• 標準偏差（Standard Deviation）：データのばらつき度合いを示す指標です。テストの点数のばらつきが大きいか小さいかを判断するのに役立ちます。
• ヒストグラム：量的変数の分布を可視化するグラフです。顧客の年齢分布を視覚的に把握できます。
• 散布図（Scatter Plot）：2つの量的変数間の関係性を可視化するグラフです。広告費と売上の関係性を直感的に理解できます。
• 箱ひげ図（Box Plot）：データの分布、四分位範囲、中央値、外れ値を一つのグラフで要約します。特に複数のグループの分布を比較する際に有効です。

欠測データ処理（Missing Data Handling）

データ分析の実務では、欠損値は避けられない問題です。欠測データ処理は、欠損値を適切に補完し、分析結果の信頼性を確保するための重要なステップです。欠損のメカニズムを理解することが、適切な処理法を選択する鍵となります。

欠損のメカニズム：

• 完全無作為欠損（Missing Completely at Random, MCAR）：欠損が他のどの変数とも無関係に発生します。
• 無作為欠損（Missing at Random, MAR）：欠損が、観測された他の変数によって説明可能です。
• 非無作為欠損（Missing Not at Random, MNAR）：欠損が、その欠損した値自体に依存して発生します。

具体例

• 単一代入法：欠損値を平均値や最頻値で埋めます。簡便ですが、データのばらつきを過小評価する可能性があります。
• 多重代入法（Multiple Imputation）：複数の代入データセットを生成し、それぞれのデータセットで分析を行い、結果を統合します。
• ホットデッキ代入法（Hot-deck Imputation）：欠損値を持つデータと類似した、別の観測データ（ドナー）から値を借りてくる手法です。

推測統計学と仮説の検証（Inferential Statistics & Hypothesis Testing）

記述統計が手元にあるデータの要約に留まるのに対し、推測統計（Inferential Statistics）は、手元の標本データから、より大きな母集団に関する結論を導き出すことを目的とします。この中核をなすのが仮説検定（Hypothesis Testing）です。仮説検定は、帰無仮説（H₀）が正しいと仮定したとき、得られたデータが偶然発生する確率（p-value）を計算し、その確率が十分に低い場合に帰無仮説を棄却するという論理に基づきます。

具体例

• t-検定：2つのグループの平均値に統計的に有意な差があるかを検定します。新しい教育プログラムの効果を検証する際、新プログラムを受けた生徒と受けなかった生徒のテストの平均点に差があるかを見る場合などに用いられます。
• 分散分析（ANOVA）：3つ以上のグループの平均値に差があるかを検定します。例えば、異なる3つの広告デザインが商品の売上に与える影響に違いがあるかを調べる際に利用できます。
• カイ二乗検定（Chi-squared Test）：2つの質的変数間に統計的に有意な関連性があるかを検定します。性別とある商品の購入意欲に関連性があるかどうかを判断するのに適しています。
• 相関係数（Correlation Coefficient）：2つの量的変数間の線形な関係の強さと方向性を測定します。広告費と売上の相関係数が高ければ、両者に強い関連性があることを示唆します。
• ウィルコクソンの順位和検定（Wilcoxon Rank-Sum Test）：対応のない2群間の比較。t-検定のノンパラメトリック版です。
• マン・ホイットニーのU検定（Mann-Whitney U Test）：ウィルコクソン順位和検定と同等の手法です。
• クラスカル・ウォリス検定（Kruskal-Wallis Test）：3つ以上のグループ間の比較。ANOVAのノンパラメトリック版です。

因果推論（Causal Inference）

因果推論は、「AがBを引き起こす」という真の因果関係を特定するための手法です。これは、特にビジネスや社会科学において、介入の効果を評価する上で不可欠な概念です。

具体例

• ランダム化比較試験（Randomized Controlled Trial, RCT）：最も厳密な因果推論手法です。
• 傾向スコア分析（Propensity Score Analysis）：観察研究において、ランダム化ができない場合に、グループ間のバイアスを統計的に調整して因果効果を推定します。
• 操作変数法（Instrumental Variables）：交絡因子が測定できない場合に、因果関係を推定するための高度な手法です。
• 差の差法（Difference-in-Differences）：介入を受けたグループと受けなかったグループの、介入前後の結果の差を比較することで、介入の因果効果を推定します。

予測モデリング（Predictive Modeling）

予測モデリングは、1つ以上の説明変数から、目的変数の値を予測するための統計モデルを構築する手法です。この分野は、伝統的な統計学と機械学習が最も重なり合う領域であり、回帰分析がその代表例です。

具体例

• 線形回帰（Linear Regression）：量的変数を目的変数とし、説明変数との間の線形な関係をモデル化します。住宅の面積や築年数から価格を予測する際に用いられます。
• ロジスティック回帰（Logistic Regression）：目的変数が2つのカテゴリー（例：購入する/しない、生存/死亡）を持つ場合の予測に用います。顧客のデモグラフィック情報から、商品を購入するかどうかを予測するモデルを構築できます。
• 一般化線形モデル（GLM）：線形回帰を拡張し、目的変数が正規分布に従わない場合（例：カウントデータ、二値データ）にも適用できる汎用的なフレームワークです。
• 正則化手法（Regularization）：過学習を抑制し、モデルの汎化性能を向上させるために、モデルの複雑さにペナルティを課す手法です。
  • リッジ回帰（Ridge Regression）：パラメータの二乗和にペナルティを課します。
  • ラッソ回帰（Lasso Regression）：パラメータの絶対値の和にペナルティを課します。不要な変数を自動的に選択するスパースモデリングに利用されます。

多変量解析（Multivariate Analysis）

多変量解析は、複数の変数を同時に分析し、データ全体の構造や変数間の複雑な関係性を探る手法群です。単変量や二変量では捉えきれない、より深い洞察を得るために用いられます。

具体例（予測モデリング以外）

次元削減（Dimensionality Reduction）

• 主成分分析（Principal Component Analysis, PCA）：多数の相関する量的変数を、互いに無相関な少数の主成分と呼ばれる合成変数に変換します。
• 因子分析（Factor Analysis）：観測された変数から、直接観測できない潜在的な因子を推定する手法です。
• 多次元尺度構成法（Multidimensional Scaling, MDS）：個体間の類似度や非類似度の情報を、低い次元の空間に配置して可視化します。
• 非線形次元削減：非線形なデータ構造を保ちつつ次元を削減する手法です。
  • t-SNE（t-Distributed Stochastic Neighbor Embedding）：高次元データの可視化に特化し、類似したデータポイントがマップ上で近くに配置されるようにします。
  • UMAP（Uniform Manifold Approximation and Projection）：t-SNEに似ていますが、より高速で、大規模データに適しています。

クラスタリング（Clustering）

• K-means法：データを類似性に基づいて事前に定めたK個のグループ（クラスター）に分割するクラスタリング手法です。
• 階層的クラスタリング（Hierarchical Clustering）：データを階層的にグループ分けし、樹形図（デンドログラム）でその関係性を可視化します。
  • ウォード法（Ward’s Method）：クラスター内の分散を最小化するようにクラスターを結合していく手法です。
• DBSCAN（Density-Based Spatial Clustering of Applications with Noise）：密度の高い領域をクラスターとして抽出し、ノイズ（外れ値）を識別する手法です。

分類・判別と関連性の解析

• 判別分析（Discriminant Analysis）：あるグループに属する個体を、複数の変数を基に判別するためのモデルを構築します。
• 正準相関分析（Canonical Correlation Analysis）：2つの変数群（例えば、テストの点数群と家庭環境の変数群）の間に存在する相関関係を、全体として最も強く説明できる線形結合を導出します。
• サポートベクターマシン（Support Vector Machine, SVM）：分類問題において、異なるクラスのデータポイントを最もよく分離する境界（超平面）を見つけ出す機械学習モデルです。

構造方程式モデリング（Structural Equation Modeling, SEM）

• 共分散構造分析（Covariance Structure Analysis）：観測された変数間の共分散行列を説明するモデルを構築する高度な手法です。

生存時間分析（Survival Analysis）

生存時間分析は、特定のイベント（例：故障、顧客の解約、死亡）が発生するまでの時間に着目する手法です。この分析の最大の特徴は、打ち切り（censoring）データを適切に扱うことができる点です。

具体例

• カプラン・マイヤー曲線（Kaplan-Meier Curve）：ある集団の生存時間（イベント非発生時間）の確率を視覚化します。
• コックス比例ハザードモデル（Cox Proportional Hazards Model）：生存時間に影響を与える複数の変数を同時に評価します。
• ログランク検定（Log-rank Test）：2つ以上のグループの生存曲線を比較し、両者に統計的に有意な差があるかを検定します。

時系列データ分析（Time Series Analysis）

時系列データ分析は、時間順に並んだデータ（例：株価、気温、月間売上）のパターンを分析し、将来の値を予測する手法です。

具体例

• 自己回帰移動平均モデル（ARIMA）：過去のデータに基づいて、自己相関や移動平均を考慮した線形モデルです。
• 状態空間モデル（State-Space Model）：観測できない状態変数を導入して時系列データをモデリングします。
• 時系列分解（Time Series Decomposition）：時系列データをトレンド、季節性、周期、不規則変動といった複数の要素に分解します。
• 指数平滑化法（Exponential Smoothing）：過去の観測値に指数的に重みをつけて予測を行う手法です。短期的な予測に優れています。

まとめ

本稿では、統計的手法を記述、欠測データ処理、推測、因果推論、予測、多変量、時系列、生存時間といった主要カテゴリに分類し、それぞれの手法の目的と具体的な適用例を詳細に解説しました。

データ分析の目的は、単に数値を計算することではなく、データから意味のある知見を引き出すことにあるのです。そのためには、目的やデータの性質に応じて適切な手法を選択する戦略的な思考が不可欠です。

これらの分類を理解することは、データ分析の全体像を把握し、より複雑な問題に取り組むための強固な基盤となります。