系统梳理 DNABERT 系列及主流 DNA/RNA 预训练基础模型的训练数据（含 ncRNA 类型组成、miRNA/siRNA 说明）、分词策略与架构差异，并提供嵌入模型选型建议。

基于模型的强化学习：环境模型学习、Dyna-Q、MCTS、世界模型与 Model-Based vs Model-Free 选型（选读）。

连续控制 Off-Policy 算法：DDPG、TD3、SAC 的原理、双 Q、目标策略平滑与最大熵 RL。

Actor-Critic 架构：A2C/A3C、优势函数、Critic 估 V 或 Q、与纯 PG 和 DQN 的关系。

近端策略优化 PPO：裁剪 surrogate 目标、GAE 优势估计、Rollout 训练流程与超参数；离散/连续通用基线。

策略梯度定理、REINFORCE 算法、基线 Baseline 减方差、与价值方法的对比及连续动作优势。

DQN 改进：Double DQN、Dueling、Prioritized Replay、Multi-step、Rainbow 组合与选型。

Deep Q-Network（DQN）：函数逼近、经验回放、目标网络、损失函数与训练流程；Atari 离散控制入门。

蒙特卡洛 MC 方法：首次/每次访问、MC 控制、与 TD 的偏差–方差对比；时序差分详见专篇。

SARSA 算法：On-Policy 时序差分、State-Action-Reward-State-Action 更新、与 Q-Learning 对比及悬崖行走经典例。