Math-06.矩阵微积分-00.系列规划

本页为 01.知识-02.MathMath-06 矩阵微积分 子系列的索引与规划。前置:Math-03 线性代数Math-04 优化

段末注释矩阵微积分(matrix calculus)统一标量、向量、矩阵间的求导记号;反向传播(backpropagation)是链式法则在计算图上的系统化实现。


一、系列定位

维度 说明
前置 多元微积分基础、Math-03(矩阵维度)
目标 能读 DL 论文中的梯度公式、手写简单层 backward、理解 autograd
与 Math-04 $\nabla L$ 驱动所有优化器
与 Math-05 Softmax+CE 的梯度联立
与存量 激活函数损失函数

二、命名规范

1
Math-06.矩阵微积分-{篇号}.{标题}.md
篇号段 用途
00 系列规划(本文)
01 总论(布局约定、分子/分母布局)
02–09 求导规则、Jacobian、Hessian
10–19 反向传播与计算图
20–29 框架 autograd 与自定义 Function

三、篇目索引

篇号 文件名 状态 要点
00 Math-06.矩阵微积分-00.系列规划.md 本文
01 Math-06.矩阵微积分-01.总论.md 已发布 布局、梯度/雅可比关系
02 Math-06.矩阵微积分-02.标量对向量求导.md 已发布 $\partial f/\partial \mathbf{x}$
03 Math-06.矩阵微积分-03.Jacobian与链式法则.md 已发布 复合函数、维度对齐
04 Math-06.矩阵微积分-04.反向传播.md 已发布 计算图、局部梯度
05 Math-06.矩阵微积分-05.Hessian与二阶信息.md 已发布 曲率、XGBoost 联系
06 Math-06.矩阵微积分-06.常见层梯度手册.md 已发布 Linear、Conv、Softmax+CE
10 Math-06.矩阵微积分-10.PyTorch自动微分.md 已发布 autograd、自定义 backward
20 Math-06.矩阵微积分-20.注意力与LoRA梯度.md 已发布 Multi-head、低秩更新

四、单篇建议维度

  1. 符号约定(D2,全文统一)
  2. 核心公式与维度表(D3)
  3. 几何/计算图直观(D1)
  4. 与优化/实现的衔接(D7)
  5. 常见维度错误(D8)
  6. PyTorch 验证示例(D12)

五、推荐阅读路线

1
2
3
4
5
Math-03/02 向量矩阵
→ Math-04/03 SGD(为何需要梯度)
→ Math-06.矩阵微积分-01.总论
→ 02 向量求导 → 03 链式法则 → 04 反向传播
→ 06 常见层 → 10 PyTorch autograd

六、小结

Math-06 矩阵微积分 规划内专篇已全部完成(01–06 + 10 + 20,共 8 篇 + 32 图)。下一步:Math-08 泛化与正则Math-07 贝叶斯

段末注释Jacobian(雅可比矩阵)为向量值函数的一阶偏导矩阵;Hessian(海森矩阵)为标量函数的二阶偏导矩阵。

-------------本文结束感谢您的阅读-------------