深度学习与 PyTorch

图：计算图展示前向运算与自动微分之间的依赖关系。 来源：Compute graph and automatic differentiation，作者 Aston Zhang、Zachary C. Lipton、Mu Li、Alexander J. Smola（D2L.ai），许可 CC BY-SA 4.0。

知识范围

覆盖计算图、自动微分、优化器、初始化、归一化、混合精度、梯度累积、分布式训练和训练故障定位。

学习路线

P0：一个权重是怎么学会的。 用输入 2、目标 3，算出梯度和两次参数更新。随后学习 两层网络的手算、矩阵与代码。

先手算反向传播，再用 PyTorch 对照梯度；随后理解训练循环、状态管理和显存构成，最后进入多卡训练。

核心问题

• backward() 在动态图上保存和释放了什么？
• Adam 与 SGD 的状态和收敛行为有何差别？
• 混合精度为什么需要损失缩放？

参考资料

• Autograd mechanics

应用岗复习重点

• 反向传播、AdamW 与 PyTorch 训练排错：从链式法则和梯度累积解释训练循环，掌握冻结参数、验证模式、混合精度及 loss 异常的排查顺序。

按 重要性清单安排先后；读完后做节点末尾的闭卷检查，再回到对应面试问题。