来源:小林coding
1. 什么是 Agent?与大模型有什么本质不同?
答案
Agent 是以 LLM 为决策核心、能够围绕目标自主完成多步任务的系统。它不是单次生成文本,而是在“感知 → 规划/推理 → 行动 → 观察反馈”的循环中,根据执行结果持续调整下一步,直至完成任务或满足终止条件。
- 普通 LLM 的典型形态是“输入 → 文本输出”,本身没有外部行动能力、持续状态和任务执行循环。
- Agent 为 LLM 接入工具、记忆、规划与执行器,使其能够查询实时信息、调用 API、运行代码和操作外部系统。
- LLM 负责理解、推理和决定调用什么;宿主程序负责校验请求、实际执行工具、回填结果和控制循环。
- 工具调用不等于 Agent。关键在于 Agent 是否能基于目标自主决定步骤,并根据观察结果纠错或调整。
面试关键词: 自主性、多步执行、闭环、工具、记忆、环境反馈。
2. Agent 的基本架构由哪些核心组件构成?
答案
一个完整的 Agent 通常包括 LLM、工具系统、记忆系统和规划/编排模块;外层还需要运行时控制、安全治理与可观测性。
- LLM 与 System Prompt: 负责理解目标、选择下一步动作、生成最终回答;系统提示词定义角色、边界、格式与约束。
- 工具系统: 将搜索、数据库、代码执行、业务 API 等能力以明确的 schema 暴露给模型;执行应位于受控的宿主程序中。
- 记忆系统: 短期记忆保存当前会话与执行状态,长期记忆保存跨会话的偏好、知识和历史经验。
- 规划/编排: 将复杂目标拆成步骤,管理依赖、重试、重规划、终止条件与结果汇总。
- 运行时保障: 包括权限控制、参数校验、超时、限流、重试、日志、链路追踪和效果评估。
面试关键词: LLM 是大脑,工具是执行能力,记忆维持状态,规划负责拆解与调度。
3. Workflow、Agent、Tools 这三个的概念和区别介绍一下?
答案
三者的核心区别是“谁决定控制流”。Tool 只执行单一能力;Workflow 由开发者预先定义步骤;Agent 则由 LLM 在运行时动态决定下一步。
| 维度 | Tools | Workflow | Agent |
|---|---|---|---|
| 决策者 | 无,只执行 | 开发者代码 | LLM |
| 控制流 | 被动调用 | 预定义、确定 | 动态、概率性 |
| 可控性 | 高 | 高 | 相对低 |
| 灵活性 | 低 | 中低 | 高 |
| 适用场景 | 原子能力封装 | 固定业务流程 | 路径未知的复杂任务 |
- Tool 例如“查询订单”“计算表达式”,应有清晰输入、输出、权限和错误语义。
- Workflow 例如“意图分类 → 检索 → 重排 → 生成回答”,路径可预测、容易调试。
- Agent 会根据上下文自行选择搜索、计算、查询或结束,适合不易穷举的任务。
- 生产实践通常采用 Agentic Workflow:用 Workflow 固定主骨架,只在需要判断的局部引入 Agent。
4. 了解哪些其他的 Agent 设计范式?Agent 和 Workflow 的区别是什么?
答案
常见范式包括 ReAct、Plan-and-Execute、Reflection/Reflexion,以及路由、并行化、编排者-工作者、评估者-优化者等编排模式。
- ReAct: 交替推理和行动,适合短链路、需要实时观察结果的任务。
- Plan-and-Execute: 先形成全局计划,再分步执行并可动态重规划,适合依赖多、步骤长的任务。
- Reflection: 给已有执行过程加入评估、反馈和重试机制,用额外成本换取更高质量。
- Routing / Parallelization: 分别用于按意图分流,以及对独立子任务并发执行。
- Orchestrator-Workers: 中央编排者拆解与汇总,多个专长 Worker 处理子任务。
Workflow 的路径由开发者硬编码,确定、易测、易排障;Agent 把“下一步做什么”交由 LLM 判断,更灵活但会带来不确定性、成本和调试难度。工程上应从简单 Workflow 开始,仅在确定需要弹性决策的位置引入 Agent。
5. Agent 推理模式有哪些?ReAct 是什么?具体怎么实现?
答案
常见推理方式可理解为从“直接回答”到“显式推理”再到“推理结合行动”的演进:直接回答、CoT(Chain of Thought)和 ReAct(Reasoning + Acting)。
- CoT: 将多步推导显式展开,可降低复杂推理的跳步错误,但无法天然获取实时信息或执行操作。
- ReAct: 用
Thought → Action → Observation循环交替进行推理与工具调用;观察结果会进入下一轮上下文。 - 实现责任边界: LLM 只输出下一步决策或结构化工具调用;程序解析调用、校验权限与参数、执行工具、写回观察结果并再次调用 LLM。
- 终止控制: 设定最终回答标记、最大轮数、超时和无进展检测,避免无限循环。
- 现代实现: 优先使用模型原生 Function Calling/Tool Use,而非依赖正则解析自由文本。
ReAct 的优点是灵活且能利用外部事实;风险是目标漂移和错误传播。可通过最大步数、目标重申、工具结果校验、计划约束和反思节点缓解。
6. ReAct、Plan-and-Execute、Reflection 三种范式有什么核心区别?实际项目中该如何选型?
答案
三者解决的不是同一层问题:ReAct 强调局部动态决策,Plan-and-Execute 强调全局任务规划,Reflection 强调输出质量检查。
| 范式 | 核心流程 | 优势 | 主要代价 | 适用场景 |
|---|---|---|---|---|
| ReAct | 思考、行动、观察循环 | 灵活、实现相对直接 | 易漂移、调用轮数增加 | 短任务、路径不确定 |
| Plan-and-Execute | 规划、执行、必要时重规划 | 全局视野强 | 规划与重规划有额外延迟 | 长流程、步骤有依赖 |
| Reflection | 生成、评估、修正 | 提升可靠性与质量 | 增加 token 与时延 | 代码、报告等高质量输出 |
- 简单、实时、步骤较少的任务可从 ReAct 开始。
- 多步骤且依赖明确的任务使用 Plan-and-Execute,并在失败或偏差明显时触发 Replan。
- 正确性或质量要求高的关键节点叠加 Reflection,而非无差别给每一步都加评估。
- 实际可组合:全局用计划,每个步骤内部用 ReAct,最终或高风险步骤再做反思验证。
7. 复杂任务怎么做任务拆分?为什么要拆分?效果如何提升?
答案
任务拆分是把模糊的大目标转为可执行、可验证、可调度的子任务图。它能降低单次上下文复杂度,隔离错误,并为并行、重试与质量控制提供边界。
- 定义目标与约束: 明确最终交付物、边界、时效、数据源、预算和完成标准。
- 拆分原子任务: 每一步应有明确输入、输出、负责角色/工具、依赖关系和验收条件。
- 建立 DAG: 对无依赖任务并行执行;对有依赖任务按顺序调度;汇总节点统一合成结果。
- 验证拆分质量: 检查完备性(覆盖所有需求)、独立性(职责不重叠)和可验证性(可自动判断是否完成)。
- 动态重规划: 当工具失败、前提不成立或结果偏离预期时,重新规划剩余步骤,而不是机械执行旧计划。
拆分带来的提升包括:减少上下文噪音、缩短关键路径、支持并发、便于观察故障点,并让重试只作用于失败子任务。
8. 请介绍 AI Agent 的记忆机制,并说明实际开发中如何设计记忆模块?
答案
记忆使 Agent 能维持当前任务状态,并在跨会话场景积累用户偏好、知识和经验。可从感知、短期、长期和实体四层设计。
- 感知记忆: 当次输入的文本、文件、图像等原始信息,生命周期很短。
- 短期记忆: 当前 context window 中的消息、计划、工具结果与中间状态,直接可读但受 token 限制。
- 长期记忆: 跨任务持久存储的历史、知识、偏好和经验,可按语义检索或精确查询。
- 实体记忆: 从对话抽取的结构化事实,如用户偏好、项目截止日期、订单状态,适合字段化查询。
设计重点是“存什么、怎么存、何时取”:只持久化未来任务有价值的信息;非结构化知识使用向量检索,结构化状态使用关系型或 KV 存储;会话开始主动加载相关背景,执行中允许 Agent 按需检索。还需处理用户隔离、时效性、冲突消解、删除/遗忘和隐私权限。
9. Agent 的长短期记忆系统怎么做?记忆怎么存、粒度是多少、怎么用?
答案
短期记忆服务于正在进行的任务,长期记忆服务于跨会话复用;二者要通过上下文管理和检索策略协同,而不是把所有历史无差别塞进 Prompt。
- 短期记忆: 保存对话轮次、当前计划、已完成步骤、工具观察与关键约束。超过上下文上限时,可采用滑动窗口、摘要压缩和把低频信息卸载到长期存储。
- 长期记忆: 可分为情节记忆(历史事件)、语义记忆(抽象规律)和程序记忆(可复用 SOP)。
- 存储选型: 对话摘要、文档与案例适合向量库;用户设置、配置、权限和实体关系适合关系库/KV;关系推理明显时可引入知识图谱。
- 粒度设计: 原子事实适合精确更新;摘要或任务片段适合语义检索;SOP 以完整可执行流程保存。粒度过大不易命中,过小则丢失上下文并增加噪音。
- 检索使用: 任务开始根据当前目标召回少量高相关记忆;执行过程按需调用记忆工具;检索结果应带来源、时间、置信度并接受冲突校验。
10. 什么是 Multi-Agent?
答案
Multi-Agent 是由多个具备不同角色、工具、上下文或权限边界的 Agent 协作完成任务的系统。它不是把多个模型简单并排,而是需要明确的任务分配、通信协议、状态共享和结果汇总机制。
- 常见角色包括规划者、执行者、检索者、代码专家、审阅者和汇总者。
- 其价值在于专业分工、并行执行、上下文隔离和交叉校验。
- 典型协作结构有中心化编排、层级式主管-员工、对等协商和黑板式共享状态。
- 代价包括通信开销、结果冲突、级联错误、协调复杂度和更高 token 成本。
- 只有当任务可合理分工、并发收益或专业隔离收益明显时才应采用多 Agent;简单任务优先使用单 Agent 或 Workflow。
11. 说说 Single-Agent 和 Multi-Agent 的设计方案?
答案
Single-Agent 将目标、上下文与工具集中于一个决策循环;Multi-Agent 将任务拆给多个专职单元,再由编排层协调。选型应由任务复杂度、工具异构性、并发价值和隔离需求决定。
- Single-Agent: 架构简单、延迟和成本低、调试链路短;适合步骤有限、工具数量少、上下文一致的任务。
- Multi-Agent: 通过角色专长和并发提升复杂任务处理能力;适合可分解、需要独立上下文或需要多视角审查的任务。
- 中心化方案: 一个 Supervisor 负责路由、拆分、调度与汇总,便于治理,是最常见的生产起点。
- 层级化方案: 上层负责战略/计划,下层负责执行;适合组织结构和任务依赖明显的场景。
- 共享状态原则: 共享最小必要事实,使用结构化任务契约和版本化产物,避免所有 Agent 共享全部长上下文。
实践上先做单 Agent 基线;当瓶颈可定位为“专业能力不足、并行需求或上下文互相污染”时,再有针对性拆分为多 Agent。
12. Agent 记忆压缩通常有哪些方法?
答案
记忆压缩的目标是在有限上下文中保留对当前任务最有价值的信息。它既包括“删什么”,也包括“如何把长内容浓缩为可恢复的状态”。
- 滑动窗口: 仅保留最近 N 轮消息,简单但可能丢失早期关键约束。
- 摘要压缩: 将旧对话、工具输出和阶段成果归纳为摘要,保留目标、决策、未完成事项与关键事实。
- 分层摘要: 细粒度事件摘要逐步合并为阶段摘要和全局摘要,减少反复压缩造成的信息损失。
- 重要性筛选: 根据任务相关度、用户显式偏好、事实性、时效性和后续依赖决定保留、压缩或删除。
- 外部化与按需检索: 将低频但可能有用的原文、附件或中间产物放到长期存储,当前只保留索引和摘要。
- 结构化状态替代文本: 将“已完成步骤、当前计划、变量、约束”保存为 schema,而非散落在自然语言历史中。
压缩后要进行信息完整性检查:不可丢失目标、硬约束、已验证结论、未完成任务和关键引用。
13. 在工程实践中,为什么有时候选择“手搓” Agent,而不是直接用成熟框架?
答案
框架能加速原型验证,但在生产环境中并不总是最优。手写轻量 Agent Loop 的核心价值是获得对控制流、状态、成本与安全边界的完全控制。
- 透明可控: 直接控制 Prompt、工具 schema、重试、终止条件、状态持久化和错误恢复,便于精确排障。
- 减少抽象与依赖: 避免框架隐藏调用链、版本兼容问题和不必要的 token/延迟开销。
- 契合业务: 强约束流程、私有协议、复杂鉴权、审计合规和特殊状态机往往需要定制实现。
- 可观测性更强: 可按业务定义 trace、指标、回放日志和评测数据,而不是受限于框架默认模型。
- 何时使用框架: 多模型、多工具、多后端快速试验,或团队需要成熟生态能力时,框架更有效率。
合理做法不是“框架或手搓二选一”:先验证需求,再在稳定边界处抽象;对关键核心链路保留清晰、可测试的自有实现。
14. 如何赋予 LLM 规划能力?
答案
规划能力不是只让模型“想一想”,而是要求它把目标转为有依赖关系、可执行、可验证且可调整的计划,并由运行时负责执行和反馈。
- 任务描述: 给出目标、输入、可用工具、约束、预算、风险边界和最终交付格式。
- 结构化计划: 要求输出步骤 ID、依赖、输入、预期产物、验收标准和失败处理,而非自由文本清单。
- 规划器-执行器分离: Planner 负责创建和修订计划;Executor 完成单步任务;结果回写后由 Planner 判断是否重规划。
- 工具感知: 将工具能力、参数约束、成本与权限加入上下文,避免生成不可执行步骤。
- 验证与重规划: 每步对照验收条件;失败、信息不足或目标变化时,修改剩余 DAG,而不是盲目继续。
- 人类介入: 高风险动作、成本超过阈值、权限敏感或计划置信度低时,应进入审批或降级路径。
15. 讲讲 Agent 的反思机制?为什么要用反思?具体怎么实现?
答案
反思机制是在任务步骤或最终产物完成后,对结果进行评估、定位问题、形成可执行反馈,并据此重试或修正。它用于降低一次生成或一次执行的偶然错误。
- 为什么使用: 复杂推理、代码生成、报告撰写等任务一次通过率有限;反思提供了质量门禁和自我纠错机会。
- 基本流程: 生成候选结果 → 根据评分标准评估 → 输出具体问题与修正建议 → 重新执行或修订 → 达标/达到上限后结束。
- 评估方式: 可使用规则校验、单元测试、检索事实核验、专用 judge 模型或人工审批;高风险场景不应仅依赖 LLM 自评。
- Reflexion: 将失败原因和改进建议沉淀为显式反馈,注入下一次尝试,使重试不是重复生成而是带着经验修正。
- 成本控制: 设置最大重试次数、质量阈值、只在关键节点触发,并对失败样本记录用于离线评测和 Prompt/流程优化。
反思是附加在 ReAct 或 Plan-and-Execute 上的质量层,不是脱离执行流程而独立存在的完整 Agent。
16. 如何设计多 Agent 的协作与动态切换机制?
答案
多 Agent 协作的重点不是“多开几个角色”,而是建立明确的能力发现、路由、任务契约、状态边界、切换条件和治理机制。
- 能力建模: 为每个 Agent 声明职责、输入输出 schema、可用工具、权限、成本、SLA 与禁区,供路由器决策。
- 任务路由: 依据意图、领域、复杂度、置信度和负载选择合适 Agent;对低置信度路由提供澄清、回退或人工转接。
- 任务契约: 子任务传递结构化目标、上下文摘要、验收标准和产物位置,避免复制整段对话历史。
- 状态与通信: 使用共享任务板/事件总线/持久化状态存储;保留幂等 ID、版本、来源和时间,处理并发冲突。
- 动态切换: 在工具失败、连续低质量、超时、权限不足、领域不匹配或成本超限时,升级到备用 Agent、专家 Agent、降级 Workflow 或人工。
- 结果汇总与治理: 由 Supervisor 合并结果、解决冲突、做最终校验;配套 trace、预算、超时、循环检测、权限最小化和审计日志。
一个实用的起点是“Supervisor + 专长 Worker + 结构化任务状态”:先实现可观察、可回退的中心化协作,再根据规模演进到更分布式的模式。
Agent 工程扩展:RAG
[RAG-01] 什么是 RAG?描述一个完整 RAG 系统的工作流程?
答案
RAG(Retrieval-Augmented Generation,检索增强生成)是在生成前从外部知识库检索相关内容,并将证据连同问题交给 LLM 生成回答的架构。
- 离线链路:采集文档 → 清洗/切分 → 生成 embedding → 写入向量库与元数据存储。
- 在线链路:理解或改写 Query → 多路召回 → 过滤/重排 → 组装上下文 → LLM 生成带依据的答案。
- 闭环治理:记录检索证据、回答、用户反馈和评测指标,持续优化切分、召回、重排和提示词。
[RAG-02] 大模型的 RAG 主要用来解决什么问题?
答案
RAG 主要解决 LLM 知识过期、私有知识缺失、事实不可追溯和频繁更新成本高的问题。
- 通过外部检索接入最新或私有资料,无需把全部知识重新训练进模型。
- 用相关证据约束生成,降低无依据的幻觉,并可返回引用来源。
- 更新知识通常只需更新索引,速度快、成本低、版本可控。
- 它不能替代模型本身的推理能力;当检索不到正确证据时,回答仍可能错误。
[RAG-03] 相比直接微调 LLM,RAG 解决了什么问题?微调和 RAG 各自的优劣势是什么?
答案
RAG 解决“把变化快的外部知识接入模型”的问题;微调主要改变模型的行为、风格或特定能力。
| 维度 | RAG | 微调 |
|---|---|---|
| 适合内容 | 高频更新、私有事实 | 稳定任务模式、风格/格式 |
| 更新成本 | 更新文档和索引 | 重新准备数据并训练 |
| 可解释性 | 可给出检索来源 | 难定位知识来自哪里 |
| 主要风险 | 召回不准、上下文噪音 | 灾难性遗忘、训练成本 |
实践中常组合使用:微调让模型更会遵循领域任务,RAG 提供最新、可追溯的事实。
[RAG-04] RAG 中的文档怎么存?粒度多大?文档切割策略有哪些?
答案
文档通常以“原文 + chunk + embedding + 元数据”的形式存储。切分目标是在语义完整、检索精度、上下文成本之间平衡。
- 常用切分:固定长度、按段落/标题、递归分隔符、语义切分、基于文档结构的切分。
- chunk 需保留标题、文档 ID、页码、时间、权限和相邻位置等元数据,方便过滤与溯源。
- 对话式知识库常先按章节/段落切,再用重叠窗口保留边界上下文。
- 粒度须通过离线数据集评测:过大导致召回粗糙和 token 浪费,过小会割裂语义、引入碎片噪音。
[RAG-05] 怎么规避语义被切割掉的问题?
答案
核心是让 chunk 既能独立表达,又能恢复其前后语境。
- 以标题、段落、列表、表格和代码块等结构边界切分,避免在语义单元中间硬切。
- 使用 overlap 或相邻块扩展,在命中一个 chunk 后补充其前后片段。
- 将标题、摘要、路径等父级信息写入 chunk;必要时使用 Parent-Child 检索:子块命中、父块供 LLM 阅读。
- 对长文使用语义断点、层次索引或检索后上下文压缩,避免只靠固定字符数。
[RAG-06] RAG 中 Embedding 是什么?如何选择和评估 Embedding 模型?
答案
Embedding 是把文本映射为稠密向量,使语义相近的文本在向量空间中距离更近,从而支持相似度检索。
- 选型先看语言覆盖、领域语料、向量维度、延迟、成本、最大输入长度和部署方式。
- 评测以真实 Query-文档标注集为主,观察 Recall@K、MRR、nDCG 等召回指标,而非只看通用排行榜。
- 检查 query 与文档是否需要同一个模型、是否支持多语种、是否适合代码/表格等特殊模态。
- 模型升级需要重建或版本化索引,不能混用不同向量空间的 embedding。
[RAG-07] Embedding 有哪些算法?
答案
常见表示学习路线包括稀疏词袋表示、静态词向量和上下文化的句向量/双塔模型。
- TF-IDF / BM25: 稀疏关键词表示,解释性好,适合精确词匹配。
- Word2Vec / GloVe: 静态词向量,无法充分处理一词多义和长文本语义。
- Transformer Encoder / 双塔检索模型: 生成句子或段落级稠密向量,是现代向量检索的主流。
- Late Interaction 与多向量检索: 用多个 token 向量匹配,提高细粒度匹配能力,但索引和检索成本更高。
生产中常用“BM25 + 稠密向量 + Reranker”的混合方案,而非只依赖一种算法。
[RAG-08] 什么是向量数据库?如何做选型?
答案
向量数据库负责存储 embedding,并通过 ANN(近似最近邻)索引高效检索相似向量;通常也承担元数据过滤、持久化和索引管理。
- 选型维度:数据规模、QPS、P99 延迟、过滤能力、索引类型、写入/更新频率、运维成本和权限隔离。
- 常见索引:Flat(精确但慢)、HNSW(低延迟高召回)、IVF/PQ(大规模、节省内存但需调参)。
- 需要看混合检索、分片副本、备份恢复、多租户与可观测性是否满足业务。
- 不要只依据“最强 benchmark”选型,应在自己的数据、过滤条件和硬件上压测。
[RAG-09] 怎么介绍已使用的向量数据库、数据量级和性能瓶颈?
答案
面试回答应按“规模—架构—指标—问题—优化”展开,而不是只报产品名。
- 说明文档数、chunk 数、向量维度、日增量、查询 QPS、目标延迟和可用性要求。
- 说明索引类型、分片/副本、metadata filter、召回 TopK 和重排策略。
- 典型瓶颈包括索引内存占用、过滤后候选不足、写入与检索互相影响、长尾延迟和重排模型耗时。
- 优化手段包括调索引参数、分区/分片、缓存热点、先过滤后向量检索、分级召回、异步建索引和批量写入。
[RAG-10] 给大模型一个输入时,RAG 系统如何工作?
答案
在线请求通常经历:鉴权与意图判断 → Query 规范化/改写 → 检索与重排 → 上下文构造 → 受约束生成 → 引用与日志。
- 先识别是否需要检索;简单闲聊或无关问题可不进入知识库链路。
- 召回阶段使用关键词、向量、时间/权限等过滤,避免越权和陈旧内容。
- Reranker 从候选集中挑出最相关证据,并控制上下文长度。
- Prompt 明确要求“基于给定资料回答;证据不足时说不知道”,返回证据 ID 便于审计。
[RAG-11] 向量检索和关键词检索有什么区别?
答案
关键词检索匹配词面,向量检索匹配语义;二者适合不同信息需求。
- 关键词检索(如 BM25)擅长专有名词、错误码、精确短语和罕见 token,解释性强。
- 向量检索能处理同义改写和自然语言表达差异,但可能错过关键实体或召回“看似相关”的噪音。
- 混合检索将两类分数融合或分别召回,再用 Reranker 统一排序,通常比单路更稳。
- 选择依据是实际 Query 分布和标注集效果,而不是抽象地认为“语义检索一定更先进”。
[RAG-12] 如何进行 Query Rewrite?目的是什么?
答案
Query Rewrite 是把用户的口语化、指代不清或信息缺失的输入改造成更适合检索的查询表达。
- 目的包括补全上下文、消除指代、提取关键词、生成多种检索角度和转换为结构化过滤条件。
- 例如把“它怎么配”改写为带上前文实体、版本和使用场景的完整问题。
- 需保留用户真实意图,避免 Rewrite 擅自扩大问题或引入不存在的条件。
- 可使用规则、LLM 改写、多 Query 扩展和 HyDE;应通过检索指标和人工抽样验证收益。
[RAG-13] 什么是多路召回?具体怎么做?
答案
多路召回是用多个检索器或多个查询并行获取候选,再融合去重和重排,以提升覆盖率与鲁棒性。
- 典型通道:BM25、稠密向量、知识图谱、FAQ 精确匹配、时间敏感索引和多 Query 改写。
- 合并方式可采用 RRF(倒数排名融合)、归一化分数加权或按业务规则分配配额。
- 后续用 cross-encoder Reranker 或 LLM rerank 统一选择少量证据。
- 需监控每一路的边际收益、延迟和成本;没有增益的召回通道应关闭或降级。
[RAG-14] RAG 检索优化策略有哪些?
答案
检索优化应沿“数据、查询、召回、排序、上下文、评测”全链路进行。
- 数据层:清洗重复/失效内容,改进切分,补齐标题、时间、权限等元数据。
- 查询层:意图路由、Query Rewrite、多 Query、过滤条件抽取。
- 检索层:混合检索、索引参数调优、动态 TopK、分领域路由。
- 排序层:Reranker、去重、时效/权威性加权、证据多样性控制。
- 生成层:上下文压缩、引用约束、拒答阈值;所有优化都应由离线集和线上反馈验证。
[RAG-15] 了解哪些更复杂的 RAG 范式?
答案
复杂 RAG 的共同目标是让系统不只“一次检索后生成”,而能自我评估、迭代检索或利用更丰富结构。
- Self-RAG: 让模型判断是否需要检索、证据是否相关、回答是否被证据支持。
- Corrective RAG(CRAG): 对低质量召回进行评估、过滤,并触发替代检索或 Web 搜索。
- Adaptive RAG: 根据问题难度和路由结果选择直接回答、简单 RAG 或复杂多步 RAG。
- Agentic RAG: Agent 规划检索、选择数据源、循环验证证据,适合复杂研究任务但成本更高。
- GraphRAG: 以实体关系和社区摘要支持多跳、全局性问题。
[RAG-16] 什么场景适合使用图数据库增强向量检索?
答案
当问题依赖实体关系、多跳路径、全局关联或时间演化时,图数据库/知识图谱能补足纯向量检索的弱点。
- 例如组织关系、供应链影响分析、风控关联、医疗实体关系和复杂产品依赖。
- 图以“实体—关系—实体”存储,可按关系路径精确遍历,再将相关子图或摘要交给 LLM。
- 它不适合替代所有向量检索:非结构化文本的模糊语义匹配仍需要 embedding。
- 实践中常用图检索与向量检索混合,并关注实体消歧、图谱更新和关系质量。
[RAG-17] 如何规避 RAG 系统中的幻觉?
答案
幻觉治理要同时覆盖“没有检索到证据”“检索错证据”和“模型不遵循证据”三类问题。
- 提升数据与召回质量,设置相关性阈值;证据不足时明确拒答或要求澄清。
- Prompt 强制“只基于上下文回答”,并要求给出证据引用;禁止把推测表述为事实。
- 通过 Reranker、事实一致性校验、引用可点击验证和关键字段规则校验减少错配。
- 对高风险领域加入人工审核、权威源白名单、版本与时效控制,不能只依赖模型自检。
[RAG-18] 如何量化 RAG 效果?
答案
RAG 评估必须分层:检索是否找对、生成是否忠实、用户是否满意、系统是否可用。
- 检索指标: Recall@K、MRR、nDCG、命中率、上下文精度。
- 生成指标: 正确性、忠实性/groundedness、完整性、引用准确率和拒答质量。
- 系统指标: P50/P99 延迟、token 成本、失败率、吞吐、缓存命中率。
- 建立真实业务问题和标准答案/证据集;离线评测结合线上 A/B、用户反馈和人工抽检。
[RAG-19] RAG 知识库如何实现动态与持续更新?
答案
动态更新的关键是增量、可追溯、可回滚和及时删除失效内容。
- 通过事件、定时任务或 CDC 感知文档新增、修改和删除,执行增量清洗、切分与 embedding。
- 为文档和 chunk 维护 source ID、版本、时间、哈希、权限和有效期,支持幂等更新与去重。
- 删除或权限变更必须同步到索引和缓存,避免已撤回内容仍被召回。
- 使用蓝绿索引、别名切换或版本化索引降低重建期间的服务风险,并监控新旧索引的效果差异。
[RAG-20] 实际落地中,RAG 最难的地方是什么?
答案
最难的通常不是搭建向量库,而是把“真实用户问题—高质量知识—可靠回答”做成可度量、可持续优化的闭环。
- 难点包括知识源质量和权限、用户 Query 的多样性、召回与噪音平衡、评测样本建设及持续更新。
- 还要权衡效果、延迟、成本和可解释性,避免为极少数问题设计过度复杂的链路。
- 最有效的工程路径是先建立可观测基线,再用失败案例驱动数据、检索和提示词迭代。
Agent 工程扩展:工具调用与协议
[TOOLS-01] 什么是 Function Calling?原理是什么?
答案
Function Calling 是模型根据工具 schema 输出结构化调用意图,由宿主程序执行真实函数并将结果回传给模型的机制。
- schema 描述工具名称、用途、参数类型、必填项与边界;模型负责选择工具和生成参数。
- 执行器负责鉴权、校验、调用、超时控制、错误转换和审计,模型不能直接获得系统执行权限。
- 模型接收 tool result 后可继续调用工具或形成最终回答,构成受控的 Agent Loop。
[TOOLS-02] LLM 是如何学会调用外部工具的?
答案
模型并不“执行工具”,而是通过训练学习在特定上下文中输出符合 schema 的工具调用结构。
- 训练数据包含用户意图、可用工具说明、正确工具选择、参数和工具结果后的后续回复。
- 推理时,模型根据工具描述和对话上下文预测调用或普通文本;宿主程序完成真实执行。
- 工具描述质量会显著影响选择准确率:名称明确、职责单一、参数约束清晰比堆砌工具更可靠。
[TOOLS-03] 大模型的 Function Call 能力怎么训练出来?
答案
通常先通过监督微调学习结构化调用格式和工具选择,再用偏好优化或强化学习提升多轮成功率与安全性。
- 构造多样化工具调用轨迹,覆盖正常调用、参数缺失、工具错误、澄清问题和多工具组合。
- 用 JSON/schema 校验、工具执行成功率和最终任务成功率作为自动反馈信号。
- 对模型进行拒绝越权调用、避免虚构工具结果和遵守参数类型等安全对齐。
- 在线评测应关注“端到端任务成功率”,不能只看 JSON 格式合法率。
[TOOLS-04] 什么是 MCP?核心内容是什么?
答案
MCP(Model Context Protocol)是让 AI 应用以标准方式连接外部工具、资源和提示模板的开放协议。它解决不同 Agent/客户端与不同工具服务重复适配的问题。
- MCP Server 暴露 tools、resources、prompts 等能力;Host/Client 发现能力并发起调用。
- 协议层处理初始化、能力协商、请求响应、通知、错误和传输,具体业务逻辑仍在 Server 内。
- MCP 统一的是“接入方式”,不是把安全、鉴权和工具质量自动解决;每个 Server 仍须单独治理。
[TOOLS-05] MCP 由哪几部分组成?
答案
常见架构可概括为 Host、MCP Client、MCP Server 和传输层。
- Host: 面向用户的 AI 应用,如 IDE、桌面客户端或 Agent 平台。
- Client: Host 中与某个 Server 连接并负责协议通信、能力协商的组件。
- Server: 提供工具、资源和提示模板的服务端,可连接本地文件、数据库或远程 API。
- 传输与治理: 可采用 stdio 或网络传输;生产还需要认证、授权、隔离、审计、限流与版本管理。
[TOOLS-06] MCP 和 Function Calling 有什么区别?
答案
Function Calling 是模型与单个工具调用之间的结构化交互能力;MCP 是发现、连接和管理外部能力的标准协议层。
- Function Calling 关注“模型该调用什么函数、参数是什么”。
- MCP 关注“客户端如何与外部工具服务建立连接、发现其能力并通信”。
- MCP Server 暴露的工具可被转换为模型的 Function Calling schema,因此二者常组合而非替代。
- 少量内置、强业务耦合函数可直接接 Function Calling;跨应用复用、第三方生态接入更适合 MCP。
[TOOLS-07] 什么场景使用 Function Calling,什么场景使用 MCP?
答案
选择依据是集成范围、复用需求、信任边界和治理成本。
- Function Calling: 工具少、服务在本应用内、调用链固定、需要极简和低延迟时适合。
- MCP: 要统一接入多个外部工具、复用已有 MCP Server、需要能力发现或跨客户端兼容时适合。
- 高风险工具无论走哪种方式,都必须有最小权限、参数校验、用户确认与审计。
[TOOLS-08] 为什么有些推理模型不支持 MCP 协议?
答案
MCP 是客户端/应用层协议,不是所有模型原生具备的能力;模型侧还需要可靠的工具调用输出能力。
- 有些模型 API 未提供或未稳定支持结构化 Tool Use,难以安全地把 MCP 工具映射为调用请求。
- 推理模型可能将大量中间推理用于内部过程,工具调用格式、轮次控制和延迟策略与普通模型不同。
- 也可能是宿主平台尚未实现对应的 MCP Client、鉴权或 transport,而非模型“不能理解 MCP”。
- 解决方式是使用兼容的工具调用适配层、选择支持 Tool Use 的模型,或在应用侧拆分规划与执行。
[TOOLS-09] Skill 是什么?
答案
Skill 是把完成某类任务所需的指令、工具、资源、约束和操作流程封装成可发现、可复用的能力单元。
- 它强调“如何把工具组合成可靠工作流”,而非只暴露一个原子 API。
- 一个 Skill 可包含 prompt、步骤、示例、输入输出约定、所需工具和安全限制。
- 好的 Skill 应有清晰边界、版本、测试样例、权限声明和失败回退策略。
[TOOLS-10] MCP 和 Agent Skill 的区别是什么?
答案
MCP 解决外部能力的标准连接与发现;Skill 解决能力如何被组织、复用和正确使用。
- MCP 更像“工具接口与连接协议”,提供工具/资源访问通道。
- Skill 更像“任务操作手册或能力包”,可以编排多个工具并携带领域知识。
- 二者可组合:Skill 通过 MCP 调用外部工具,MCP 为多个 Skill 提供统一能力底座。
[TOOLS-11] Function Calling、Skill、MCP 三者有什么区别?
答案
可以从三个层次理解:Function Calling 是模型表达调用意图的语言,MCP 是连接工具生态的协议,Skill 是完成任务的可复用方法包。
- Function Calling: “调用哪个函数、传什么参数”。
- MCP: “怎样发现和访问外部工具/资源”。
- Skill: “面对一类任务时如何组合提示、工具和流程”。
工程上应分别治理 schema 质量、协议安全和技能版本/评测,不能把三者混为一个概念。
[TOOLS-12] 什么是 A2A 协议?它和 MCP 有什么区别?
答案
A2A(Agent-to-Agent)用于不同 Agent 之间发现能力、委派任务、交换状态与传递结果;MCP 用于 Agent/客户端连接外部工具和资源。
- A2A 的对象是“Agent 伙伴”,通常需要描述能力、任务状态、输入要求和交付物。
- MCP 的对象是“工具/资源服务”,重点是能力调用与上下文访问。
- 二者互补:Agent 可用 A2A 委托另一 Agent,再由该 Agent 通过 MCP 调用其工具。
[TOOLS-13] MCP 协议通常采用什么通信方式?
答案
MCP 在不同部署形态下可采用本地进程标准输入输出或基于网络的请求/流式传输,关键是遵循协议消息与会话语义。
- 本地工具常通过 stdio 连接,简单且便于本机隔离。
- 远程服务可使用基于 HTTP 的请求响应与流式事件传输,以支持跨网络访问和长连接通知。
- 生产选型要考虑认证、TLS、网络隔离、超时、重连、日志脱敏和服务发现,而不只关注协议名。
[TOOLS-14] WebSocket 和 SSE 的区别及局限性?
答案
SSE 是服务器到客户端的单向事件流;WebSocket 提供长连接上的双向全双工通信。
- SSE: 基于 HTTP,浏览器原生支持、自动重连简单,适合 LLM token 流式输出;客户端上行仍需普通 HTTP 请求。
- WebSocket: 双向实时互动、适合协作和频繁客户端事件;连接管理、负载均衡和断线恢复更复杂。
- 两者都需要处理心跳、断线重连、背压、超时和鉴权;选择应由交互方向、基础设施和运维能力决定。
[TOOLS-15] 为什么要用 WebRTC?它和 WebSocket 在 AI 对话流中的核心差异是什么?
答案
WebRTC 面向浏览器间的实时音视频与数据传输,强调低延迟媒体、编解码、抖动处理和 NAT 穿透;WebSocket 是通用客户端—服务器双向消息通道。
- 语音/视频 Agent、实时通话和端到端媒体场景通常优先考虑 WebRTC。
- 文本聊天、token 流、任务事件和工具调用状态同步通常 WebSocket 或 SSE 已足够,架构更简单。
- WebRTC 的复杂性在于信令、STUN/TURN、带宽自适应和媒体处理,不能因为“实时”就盲目使用。
[TOOLS-16] 大模型网关框架解决了什么问题?
答案
LLM 网关将多个模型供应商和调用策略统一在一个治理层,降低业务代码与模型接口的耦合。
- 统一模型协议、鉴权、配额、限流、日志、审计、成本计量和可观测性。
- 支持模型路由、降级、重试、熔断、负载均衡、缓存和多租户隔离。
- 可按任务类型、价格、延迟、区域、上下文长度和模型能力进行动态选型。
- 网关不能替代业务级评测与安全策略,路由规则必须用真实质量与成本数据持续校准。
Agent 工程扩展:LangChain 与 LangGraph
[FRAMEWORK-01] 了解哪些 AI Agent 开发框架?
答案
常见框架可按定位区分:通用 LLM 应用编排、图状态工作流、检索增强和多 Agent 协作。
- LangChain: 通用模型、Prompt、工具、Retriever 与 Runnable 编排生态。
- LangGraph: 基于状态图的长流程 Agent 编排,强调可控循环、持久化和人工介入。
- LlamaIndex: 重点面向数据接入、索引和 RAG。
- Semantic Kernel、AutoGen、CrewAI 等: 分别偏企业插件编排或多 Agent 协作。
选型看团队语言栈、流程复杂度、状态管理、可观测性、部署治理和生态成熟度,不应只看 GitHub 热度。
[FRAMEWORK-02] 如何理解 LangChain 中的 Chain?
答案
Chain 是把多个可执行步骤按输入输出组合成处理链的抽象:上一步产物成为下一步输入。
- 典型链路是 Prompt → Model → Parser,也可插入检索、格式化、分支与回退。
- 新版本更强调 Runnable/LCEL:每个组件遵守统一调用接口,可串联、并行、批处理、流式化和配置化。
- Chain 的价值是组合与复用;复杂状态机不应硬塞进线性 Chain,应使用 LangGraph 或显式 Workflow。
[FRAMEWORK-03] LangChain 的底层架构与实现原理是什么?
答案
LangChain 将模型、消息、提示词、工具、检索器、输出解析器和运行接口抽象为可组合组件,并以标准 Runnable 接口连接它们。
- 模型适配层屏蔽不同供应商 API;消息模型统一 system/user/assistant/tool 等角色。
- Tool 将外部能力声明成可供模型调用的 schema;Agent Loop 管理模型调用、工具执行和结果回填。
- Callback/Tracing 记录每一步,支持调试、评测与监控。
- 复杂、长状态流程通常交给 LangGraph,通过节点、边和共享状态显式建模。
[FRAMEWORK-04] 使用 LangChain 构建 Agent 的核心步骤是什么?
答案
核心是明确任务边界,选择模型与工具,构造受控循环,并建立可观测与回退机制。
- 定义 System Prompt、输入输出 schema、允许的工具、权限和终止条件。
- 初始化模型并绑定工具;由 Agent/Executor 或图工作流处理 tool call 与 tool result。
- 设计短期状态、长期记忆检索、最大步数、超时、错误重试和人工确认。
- 用 trace、离线任务集和端到端成功率验证,避免只验证“能跑通一次 Demo”。
[FRAMEWORK-05] 在 LangChain 中,如何为 Agent 注册工具?
答案
工具应以明确、可校验的输入输出契约注册给模型,并在执行层施加安全控制。
- 为每个工具提供名称、描述、参数 schema、返回格式、错误语义与权限要求。
- 将工具绑定到模型或作为 Agent 可用工具集,由模型通过结构化 Tool Call 选择。
- 执行器在调用前验证参数、用户身份、资源范围和风险等级;危险操作需要确认或沙箱。
- 工具保持小而单一,避免“万能工具”导致模型选择错误和难以审计。
[FRAMEWORK-06] LangChain 如何实现短期记忆和长期记忆?
答案
短期记忆通常是图/会话状态中的消息与中间变量;长期记忆通常通过外部存储和检索在需要时注入。
- 短期状态需按会话或 thread ID 持久化,包含消息、计划、工具结果和阶段产物。
- 长期记忆可用向量库保存摘要/知识,用关系库保存用户画像、配置与实体事实。
- 使用修剪、摘要、检索与结构化状态避免 context 无限增长。
- 注意多用户隔离、权限、过期、删除权和记忆冲突,不能将所有聊天记录默认永久保存。
[FRAMEWORK-07] LangChain 和 LlamaIndex 有什么区别?
答案
LangChain 更偏通用 LLM 应用与 Agent 编排;LlamaIndex 更偏数据接入、索引、检索和 RAG。
- LangChain 提供较广的模型、工具、Prompt、Agent 与工作流组合能力。
- LlamaIndex 擅长把各类数据源转为索引/检索接口,并提供 RAG 数据管道抽象。
- 二者可以组合:用 LlamaIndex 负责高质量数据与检索,用 LangChain/LangGraph 负责 Agent 工作流。
- 最终以业务复杂度和团队维护成本决定,而非把框架能力简单对立。
[FRAMEWORK-08] LangChain4j 主要解决了哪些问题?
答案
LangChain4j 将常见 LLM 应用能力带入 Java 生态,降低 Java/Spring 团队接入模型、RAG、工具与记忆的工程成本。
- 提供模型供应商抽象、Prompt/消息管理、结构化输出、工具调用、聊天记忆和检索增强接口。
- 与 Java 类型系统、依赖注入、测试和企业服务治理更容易集成。
- 仍需自行设计业务状态机、鉴权、评测、成本控制和线上可观测性;框架不自动保证 Agent 可靠。
[FRAMEWORK-09] LangChain 和 LangGraph 的核心区别是什么?
答案
LangChain 偏组件与链式组合;LangGraph 偏显式状态图与可控的循环编排。
- LangChain 适合较短、线性或简单分支的 LLM 应用链路。
- LangGraph 将节点、边、共享状态、条件路由、循环、检查点和人工介入显式表达。
- 对于多步 Agent、重试/重规划、长时间运行和多 Agent 协作,图模型更容易观察、恢复和测试。
- 二者可一起使用:节点内部仍可调用 LangChain 的模型、工具和 RAG 组件。
[FRAMEWORK-10] LangGraph 相比 LangChain 有哪些核心优势?
答案
LangGraph 的优势来自把 Agent 执行过程建模为可持久化、可路由、可循环的状态机。
- 显式状态与条件边使复杂控制流更易理解和测试。
- Checkpoint 支持中断恢复、长任务持久化和人工审核后继续执行。
- 支持循环、并行分支和多个 Agent 的受控协作,便于设置递归上限与回退路径。
- 更适合生产级追踪与调试,但对简单链路会增加建模复杂度。
[FRAMEWORK-11] LangChain 大版本升级有哪些核心变化?
答案
回答此类问题应关注架构方向,而不是背某个版本号:框架从早期的预制 Chain/Executor 逐渐转向统一可组合接口、图工作流和更明确的中间件治理。
- 用 Runnable/LCEL 等统一运行抽象提升组合、流式、并发、批处理和配置能力。
- 将复杂 Agent 循环迁移到更显式的图状态编排,减少黑盒执行器。
- 更重视模型无关性、工具调用标准化、检查点、追踪和 middleware。
- 升级时需检查 API 变更、序列化状态、回调/追踪、工具 schema 与依赖版本,使用回归集验证行为。
[FRAMEWORK-12] Deep Research 的实现逻辑和适用场景是什么?
答案
Deep Research 是将复杂研究问题拆解为多轮检索、证据评估、观点整合和引用式报告生成的 Agentic Workflow。
- 先澄清研究范围与输出要求,再制定子问题和检索计划。
- 多源并行检索,评估来源权威性、时效性与相互矛盾的信息。
- 把证据按主题汇总,必要时补充检索或反驳验证,最后生成带引用的结论。
- 适合调研、竞品分析、技术选型和报告写作;不适合对实时性、确定性或低延迟要求极高的简单问答。
聊聊这篇文章