Math-05.信息论-00.系列规划

本页为 01.知识-02.Math 下 Math-05 信息论 子系列的索引与规划。与 Math-00/50 分布与 ML 损失强衔接，面向语言模型与 RLHF 读者。

段末注释：信息论（information theory）量化不确定性与分布间差异；熵（entropy）$H(X)$ 度量随机变量的平均不确定性。

一、系列定位

维度	说明
前置	Math-00（离散/连续分布、对数）、Math-00/50（CE 损失）
目标	从熵出发理解 CE、KL、MI 及 LM/对比学习/RLHF
与 Math-04	KL 约束优化 → 优化系列 06
与存量	损失函数、t-SNE（KL 目标）

二、命名规范

1	Math-05.信息论-{篇号}.{标题}.md

篇号段	用途
00	系列规划（本文）
01	总论（信息量、熵、与概率的关系）
02–09	熵、CE、KL、MI、最大熵
10–19	语言模型（Perplexity、label smoothing）
20–29	RLHF、蒸馏、对比学习

三、篇目索引

篇号	文件名	状态	要点
00	`Math-05.信息论-00.系列规划.md`	本文	—
01	`Math-05.信息论-01.总论.md`	已发布	自信息、熵、联合/条件熵
02	`Math-05.信息论-02.熵与不确定性.md`	已发布	离散/连续、微分熵
03	`Math-05.信息论-03.交叉熵与KL散度.md`	已发布	$H(P,Q)$、$D_{\mathrm{KL}}(P\|Q)$
04	`Math-05.信息论-04.互信息与对比学习.md`	已发布	MI、InfoNCE
05	`Math-05.信息论-05.最大熵与Softmax.md`	已发布	指数族、温度
06	`Math-05.信息论-06.相对熵与f散度.md`	已发布	JS、GAN 预览
10	`Math-05.信息论-10.语言模型与Perplexity.md`	已发布	CE、PPL、token 概率
20	`Math-05.信息论-20.RLHF与KL约束.md`	已发布	PPO、DPO、参考策略

四、单篇建议维度

定义与比特/奈特直观（D1）
公式与不等式（Gibbs、KL≥0）（D3）
与 ML 损失的对应（D6）
生信/酶学/LLM 场景（D7）
估计偏差、离散化（D8）
NumPy / PyTorch 示例（D12）

五、推荐阅读路线

Math-00/10 伯努利 → /15 多项（Softmax）
    → Math-00/50 分布与 ML 损失
    → Math-05.信息论-01.总论
    → 02 熵 → 03 CE/KL → 05 最大熵
    → 10 语言模型 → 20 RLHF
    → Math-04/06 优化与梯度

六、小结

Math-05 信息论 规划内专篇已全部完成（01–06 + 10 + 20，共 8 篇 + 32 图）。下一步：Math-04 优化。

段末注释：KL 散度（Kullback–Leibler divergence）$D_{\mathrm{KL}}(P|Q)$ 度量用 $Q$ 近似 $P$ 的信息损失；Perplexity（困惑度）为语言模型常用指标，$\mathrm{PPL}=\exp(\mathrm{CE})$。