学习率与 warmup：控制步长，前期爬坡防炸

08-26

Weight decay：每步把过大权重拉向零

08-26

RMSNorm：无均值归一，LLaMA 系默认

08-26

LayerNorm：稳住激活尺度，让深层可训

08-26

Dropout：训练时随机失活，抑制过拟合

08-26

大模型算法要点：开关与剂量的宏观导读

08-26

Manifold-Constrained Hyper-Connections

01-05

Ranking：概述

12-22

多模态调用

02-24

详细参数记录

02-24

文档分割

02-18

大模型-编程基础-transformers-运行微调模型

12-23

微调进程可视化工具-swanlab

08-22

微调工具-Unsloth

08-22

使用GPU

08-21