Math-09.特征预处理与变换-06.缩放与距离PCA

本页讲解缩放如何影响距离与 PCA——预处理与 Math-03/10 PCA 的数学衔接。

段末注释：白化（whitening）将数据变换为近似零均值、单位协方差（各维不相关且方差为 1）；PCA 白化用主成分缩放 $1/\sqrt{\lambda_i}$。

系列入口：00.系列规划 | 前置：02 标准化、Math-03/10 PCA

1. 量纲主导距离（D1–D3）

$图 1　未缩放 vs 已缩放距离$

欧氏距离：

$$
d(\mathbf{x}, \mathbf{x}’) = |\mathbf{x} - \mathbf{x}’|_2
$$

若特征 1 单位「米」、特征 2 单位「毫米」，未缩放时特征 1 几乎决定距离（Math-03/06 范数）。

KNN、K-Means、RBF-SVM、PCA 均应先 Standard（或按业务加权）。

2. PCA 与相关矩阵（D3）

$图 2　协方差 PCA vs 相关 PCA$

对中心化 $ \tilde{X} $：

协方差 PCA：$\Sigma = \frac{1}{n-1}\tilde{X}^\top \tilde{X}$
相关 PCA：先 Standard 各列，等价于对 $R$ 做 PCA

选择	何时
协方差 PCA	同量纲、尺度有物理意义
相关 PCA	异量纲、只关心模式

3. Whitening（D4）

$$
\mathbf{z} = \Lambda^{-1/2} U^\top \mathbf{x}
$$

$U\Lambda U^\top$ 为协方差特征分解。用于：

对比学习、自监督（去相关）
GMM 前处理
视觉 patch 去相关（经典）

4. 跨领域应用（D7）

$图 3　PCA 前处理场景$

领域	预处理 + PCA	说明
基因表达	log + Standard + PCA	批次效应另用 ComBat 等
人脸/图像压缩	中心化 + PCA	Eigenface
金融因子	Standard + PCA	因子暴露
光谱	Standard + PCA	降维去噪
文本 TF-IDF	已加权，PCA 可选	稀疏高维
蛋白 MS 峰	Standard + PCA	质谱特征
推荐	用户-物品矩阵 SVD	类似 PCA 思想

5. 局限（D8）

$图 4　局限$

问题	说明
PCA 线性	非线性流形需 t-SNE/UMAP（不同目标）
白化数值	小特征值 $\lambda_i$ 放大噪声
树模型前 PCA	通常不必要，损可解释
泄漏	PCA 基向量只在 train fit

6. sklearn 示例（D12）

import numpy as np
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from sklearn.pipeline import Pipeline

X = np.random.randn(200, 10)
X[:, 0] *= 100  # 量纲差异
pipe = Pipeline([
    ("scale", StandardScaler()),
    ("pca", PCA(n_components=3)),
])
Z = pipe.fit_transform(X)
print("explained ratio:", pipe.named_steps["pca"].explained_variance_ratio_)

7. 小结

PCA 前 Standard 是异量纲数据的默认纪律。下一篇：10 Pipeline 与泄漏。

系列导航：Math-03/10 PCA | 10 Pipeline