SFT、PEFT、LoRA 与模型微调

图：微调流程中的预训练权重、目标数据与下游模型。 来源：Fine-tuning workflow，作者 Aston Zhang、Zachary C. Lipton、Mu Li、Alexander J. Smola（D2L.ai），许可 CC BY-SA 4.0。

知识范围

覆盖指令数据构造、Chat Template、全量微调、LoRA/QLoRA、训练显存、合并部署和灾难性遗忘。

学习路线

先明确微调要改变的行为，再选择数据和评测；只有当 Prompt、RAG 或工具约束不足时，才进入参数更新方案。

核心问题

• LoRA 为什么使用低秩增量？
• SFT 数据质量怎样影响模型行为？
• 如何识别和减轻灾难性遗忘？

参考资料

• LoRA

应用岗复习重点

• Prompt、RAG、微调与工具：如何选择改进层：按知识缺失、行为不符、计算错误和外部状态四类故障选方案，并给出对照实验、成本边界和面试答法。

按 重要性清单安排先后；读完后做节点末尾的闭卷检查，再回到对应面试问题。