面试综合练习：带权限的知识问答与工单助手

图：知识问答提供证据，写操作通过独立工具执行；练习需分别验证答案与业务状态。来源：Retrieval-augmented generation diagram，作者 Turtlecrown，许可 CC BY-SA 4.0。

问题现场

读完知识点仍可能回答不了“你实际怎么实现”。这个练习把检索、工具执行和评测串起来：用户查询制度，必要时根据已确认信息创建工单。它是一份待你实施的训练规格，不是已经完成的个人项目，也不要求接入真实企业数据。

使用可公开使用或自行编写的模拟制度，设置两个租户、员工与管理员角色，以及新旧两个制度版本。工具使用本地模拟工单库，不产生真实业务副作用。选择一种生成模型、一种 embedding、词法检索和可选 reranker，并记录版本。

准备至少包含以下类型的小规模测试集：精确编号、同义表达、跨段问题、无答案、冲突版本、跨租户、撤权、创建成功后丢响应。数量按可投入时间确定，首先确保每类有能暴露故障的案例，而不是先追求总题数。

实现原文解析、结构切分、文档与 chunk ID、向量和词法召回。先固定模型，只比较词法、向量和 RRF 融合；保存每题候选和 gold evidence。不要一开始加入查询拆解、多 Agent 和长期记忆，否则错误来源难以分离。

完成标志是能解释每一道错题的证据在哪一层丢失，并能展示同一个问题的不同候选排名。

加入授权过滤、最终复核、上下文预算、引用 ID 和缺证提示。新版本文档发布后，旧规则不应当作当前规则；撤权后即使答案缓存命中，也不能返回旧材料。

完成标志是能演示“同一句问题、不同用户、不同可见文档”的合法差异，并解释缓存为什么不会越权。

提供查询工单、预览创建参数、提交创建、查询动作状态四种能力。模型提出参数，程序验证并要求必要确认；创建使用稳定动作 ID。模拟成功后丢响应，再恢复任务，检查只出现一个工单。

完成标志是最终数据库状态正确，且日志能解释每次尝试。不能只让模型最终输出“成功”就通过。

在固定测试集上比较：直接问答、RAG、固定 workflow、受限动态 Agent。记录任务成功、步骤数、模型 token、P50/P95 延迟和每成功任务成本。只有需要动态查信息的任务才可能从 Agent 获益，固定操作可能由 workflow 更稳地完成。

对每个新增组件做一次删减实验。例如去掉 reranker 后哪些题退化；去掉父块扩展后是否丢条件；取消幂等后故障注入是否产生重复工单。这些实验比框架清单更能支持面试讲解。

为每条测试记录输入、身份、语料版本、期望状态和实际结果。执行前重置模拟环境，保证不同版本比较公平。为故障注入记录触发点，确保失败可重现。

原型可以使用很小的数据量，必须如实报告。容量估算单独做压测，说明硬件、输入输出长度和并发分布；没有压测就不能宣称“支持高并发”。调用商业模型时，记录实际费用口径和评测日期。

交付材料包括 README、核心代码、评测输入、结果表、三条代表性轨迹、一条失败复盘和架构说明。涉敏资料可用合成数据重现机制，不能把真实用户日志公开展示。

这个练习的价值是补齐执行证据，不是替代真实生产经验。完成后你应能说“在这组模拟任务和条件下，我验证了哪些行为”，以及“上线还缺流量、运维、合规或真实分布验证哪些环节”。

若动态 Agent 并未优于固定流程，也可以成为有说服力的结果：它说明你用实验选择架构，而不是为展示技术而增加步骤。保留失败样本和分析。

面试官要求 20 分钟画设计怎么答？ 先明确需求和成功条件，再讲离线入库、在线检索、授权、工具状态与评测；最后回答流量增长、撤权和依赖故障。

只有两周时间如何缩减？ 保留单文档格式、单模型、只读 RAG 加一个有幂等的写工具，取消多 Agent 和复杂 UI，把时间用于故障测试和讲解。

怎样证明是自己做的？ 现场解释一个实际错误，从日志指到原因，修改小段逻辑并运行相应测试；只背 README 不能替代这一能力。