Math-09.特征预处理与变换-00.系列规划

本页为 01.知识-02.MathMath-09 特征预处理与变换 子系列的索引与规划。衔接 Math-03 线性代数Math-08 泛化与正则Math-01 显著性检验(正态性/变换前提)。

段末注释特征预处理(feature preprocessing)在建模前对原始特征做缩放、编码、缺失处理等变换;标准化(standardization)通常指零均值单位方差的 $z$-score 变换。


一、系列定位

维度 说明
前置 Math-00 分布(偏态)、Math-03 范数/PCA、Math-02 相关
目标 选对变换、避免泄漏、理解对优化与检验的影响
与 Math-08 scaler 只在 train fit;CV Pipeline(08/06
与 Math-04 特征尺度影响条件数与 SGD(03/07
跨领域应用 各篇正文以表格给出 CV、NLP、基因组、金融、蛋白工程等例子(不链 Math 目录外文章)

二、命名规范

1
Math-09.特征预处理与变换-{篇号}.{标题}.md
篇号段 用途
00 系列规划(本文)
01 总论(预处理地图、何时变换)
02–09 缩放、偏态、编码、缺失
10–19 Pipeline、泄漏、与 ML 流程
20–29 领域特化(视觉/NLP/表格/组学)

三、篇目索引

篇号 文件名 状态 要点
00 Math-09.特征预处理与变换-00.系列规划.md 本文
01 Math-09.特征预处理与变换-01.总论.md 已完成 预处理地图、选型
02 Math-09.特征预处理与变换-02.标准化与归一化.md 已完成 z-score、MinMax、Robust
03 Math-09.特征预处理与变换-03.偏态与方差稳定变换.md 已完成 log、sqrt、Box-Cox
04 Math-09.特征预处理与变换-04.类别特征编码.md 已完成 One-Hot、Target、Ordinal
05 Math-09.特征预处理与变换-05.缺失值与异常值.md 已完成 插补、Winsorize、IQR
06 Math-09.特征预处理与变换-06.缩放与距离PCA.md 已完成 量纲、Whitening、PCA 前处理
10 Math-09.特征预处理与变换-10.Pipeline与泄漏防范.md 已完成 sklearn Pipeline、CV
20 Math-09.特征预处理与变换-20.领域特化预处理.md 已完成 ImageNet norm、Token、组学

配图:每篇 fig01–fig04 共 32 张 PNG。


四、单篇建议维度

  1. 要解决的预处理问题(D1)
  2. 公式与变换定义(D3)
  3. 跨领域应用例子(D7)
  4. 误用与泄漏(D8)
  5. sklearn / NumPy 示例(D12)

五、推荐阅读路线

1
2
3
4
5
6
Math-00/20 正态、/21 对数正态(偏态动机)
→ Math-09.特征预处理与变换-01.总论
→ 02 标准化 → 03 偏态变换 → 04 编码
→ 05 缺失/异常 → 06 缩放与 PCA
→ 10 Pipeline(配合 Math-08/06 CV)
→ 20 领域特化

存量文章数据标准化-平方根转换 可对照 03 偏态变换


六、小结

Math-09 特征预处理与变换 系列已全部发布:把「标准化/变换」从零散经验收束为可复用的 ML 数学与工程流程。

段末注释Box-Cox 变换(Box-Cox transformation)通过幂参数 $\lambda$ 将正数变量映射到更接近正态的尺度;Yeo-Johnson 扩展至含零与负数。

-------------本文结束感谢您的阅读-------------