大模型应用与平台系统设计

图：vLLM 分布式进程架构展示数据并行、张量并行与服务进程的部署关系。 来源：Distributed serving process architecture，作者 vLLM Project contributors，许可 Apache-2.0。

知识范围

覆盖模型网关、数据与权限、RAG/Agent 编排、缓存、限流、重试、幂等、降级、评测、审计和成本治理。

学习路线

先画一次请求的端到端数据流，再逐层加入可靠性与安全约束；每项组件都要回答故障时怎样发现、隔离和恢复。

核心问题

• 企业 RAG 如何同时满足权限、更新和引用？
• 模型网关需要承担哪些职责？
• 如何在质量、成本和可靠性之间做路由？

参考资料

• Site Reliability Engineering

应用岗复习重点

• 大模型应用后端：异步、流式响应、限流与取消：讲清 asyncio 与并发限制、SSE 与任务状态、重试与截止时间的关系，并用 Little 定律估算在途请求。

按 重要性清单安排先后；读完后做节点末尾的闭卷检查，再回到对应面试问题。