一、协作体系总纲(我方)
Agent 协作体系总纲 V1(对抗失忆 · 节点闭环 · 可视化 · 轮换上岗)
2026-10-20 | DP-总管家 | 用户要求:把这一系列规则明细整理成一份完整文件
定位:总纲(索引 + 机制 + 上岗卡);细节仍引用各专项规范,不重复搬运。
一句话:记忆只认文件、衔接只认门禁、图只认系统事实、换人只认上岗卡。
一、对抗失忆(问题:AI 反复问已答过的问题)
1.1 记忆分层(谁权威、放哪、何时读)
| 层 | 内容 | 位置 | 何时读 |
|---|---|---|---|
| L1 需求权威 | 项目锁定表 + 全局需求总账 | 共享资产\记忆库\ |
开工第一件事 |
| L2 决策与偏好 | 决策记录 / 用户偏好 / 项目事实 | 共享资产\记忆库\ |
开工第二件事 |
| L3 状态快照 | 交接区\STATE.md(当前状态) |
共享资产\交接区\ |
开工第三件事 |
| L4 流水 | 交接区\台账.md(只追加) |
同上 | 需要追溯时读尾部 20 行 |
| L5 知识检索 | pg-knowledge(向量库,5433) | GET /kb/search |
提问前必查 |
| L6 会话摘要 | 每段结束生成摘要,注入下一段 | 交接区\KPI\ 同级可扩展 |
跨会话恢复时 |
1.2 五条铁律(失忆对策)
- 不凭记忆说话:任何需求/规则/状态类问题,先读 L1-L3,再查 L5;查不到才问。
- 提问必须报备检索:问之前写明「已查 库X / 文件Y,未找到 Z」(规范 4.6-3)。
- 需求理解确认单:阶段开工前产出「目标/边界/验收标准」三点,回执才放行(4.6-4)。
- 落盘即记忆:决策/偏好/结论当轮写入(不等到结束);台账只追加。
- 旧版本隔离:历史方案移
归档_旧版本\,不入向量库;检索只命中权威源。
1.3 启动必读顺序(新会话/换人第一件事)
① AGENTS.md(根)→ ② 全局需求总账 → ③ 本项目锁定表
→ ④ STATE.md(当前状态)→ ⑤ 用户偏好 + 决策记录
→ ⑥ 对应节点作业卡 → ⑦ 台账尾部 20 行
二、全流程节点动态衔接与闭环
2.1 链路(严格顺序)
0 承接 → 1 需求 → 2 调研 → 3 设计 → 4 架构 → 5 开发 → 6 测试 → 7 部署 → 8 复盘
2.2 每段统一四步(S0-S4,服务端编排)
| 步 | 动作 | 接口 | 失败处理 |
|---|---|---|---|
| S0 入口 | 建 run + 主卡 + 子卡 + 通知 | POST /stage/s0/enter |
幂等键去重,不重复建单 |
| S1 执行 | 产出并落盘(artifact) | POST /stage/s1/execute |
产物缺失则 S3 拦截 |
| S2 自检 | 清单勾选,未全过不放行 | POST /stage/s2/selfcheck |
blocked,退回 S1 |
| S3 门禁 | 需求段=需求理解确认单;其他段=产物校验+引用核验 | POST /stage/s3/gate → pending |
永不自动放行 |
| S3 验收 | 人工 approve/reject | POST /stage/s3/approve |
AI 当验收人 → 403 |
| S4 收口 | 台账 + 通知 + 按链起下一段 | POST /stage/s4/close |
幂等;链末自动 run completed |
2.3 动态衔接的四个机制
- 阶段链自动推进:S4 按
STAGE_CHAIN找下一段,无需人工派单。 - 交接信封(建议新增):每段结束写
handoff.json(本段产物路径/验收结论/给下段的关键约束),下段 S0 读取。 - 记忆摘要注入(建议新增):每段结束生成 ≤500 字摘要,注入下一段 S0 的通知与任务卡。
- 失败兜底:任一步 blocked 不静默跳过——记 event + 通知 + 卡在原段;不得"降级交付"。
2.4 门禁红线(不可破)
- R ≠ A:执行者不得自己验收
- AI 永不当验收人(
approver=AI/DP-svc→ 403) - 未过 S3 不得进下一段
- 未确认不得上线(用户批准)
三、可视化动态节点图
3.1 图分三类(各有数据源,不靠手画)
| 图 | 内容 | 数据源 | 更新 |
|---|---|---|---|
| 节点状态图 | 每段状态(in_progress/completed/pending_manual)+ 卡点 | pipeline_stages + stage_approvals |
实时 |
| 执行时序图 | 谁在什么时候做了什么(事件流) | pipeline_events |
实时 |
| KPI 看板 | 各角色分数/等级/预警 | v_kpi_agent + /kpi/score |
每周一 |
3.2 状态机(mermaid,可直接渲染)
stateDiagram-v2
[*] --> S0_入口
S0_入口 --> S1_执行: 建卡+子卡
S1_执行 --> S2_自检: 产物落盘
S2_自检 --> S1_执行: 自检不过
S2_自检 --> S3_待人工验收: 全过
S3_待人工验收 --> S4_收口: approve
S3_待人工验收 --> S1_执行: reject
S4_收口 --> 下一段S0: 有下一段
S4_收口 --> [*]: 链末(复盘)
3.3 可视化落地方式(三期)
| 期 | 方式 | 成本 |
|---|---|---|
| 一期(现在) | GET /kpi + /stage/chain + 台账 → 生成静态 HTML 看板 |
低 |
| 二期 | /dashboard 页面(pipeline-svc 内嵌 HTML,读同一库) |
中 |
| 三期 | 事件流实时推送(SSE)+ Mermaid 自动渲染 | 高 |
四、各节点 Agent 轮换快速上岗保障
4.1 上岗卡一页制(每个节点一张,新 Agent 只读这张)
格式固定 7 项:
1. 我是谁(节点 + R/S/A 角色)
2. 第一件事读什么(文件路径清单,按序)
3. 输入是什么(上游交什么)
4. 产出是什么(产物 schema + 落盘路径)
5. 验收谁批(闸门)
6. 不准做什么(红线 3 条)
7. 卡住找谁(协调人 = DP-总管家)
4.2 各节点上岗卡(摘要)
| 节点 | R | 第一件事读 | 产出 | 闸门 | 红线 |
|---|---|---|---|---|---|
| 1 需求 | DB-总管家 | 总账→锁定表→38_需求卡模板 | 需求卡 + REV | 用户终审 | 不得自改锁定表 |
| 2 调研 | DeerFlow | 节点链路 §七 + 派单卡 | 报告 + 来源清单 + 核验 JSON | DB→用户 | 垃圾来源不得采信 |
| 3 设计 | DB-总管家 | §九 + 24_S3 + 19_S2 + 蓝湖参考 | UI 图(1主态+6边界态) + 标注 | 用户必须确认 | 未确认不得进开发 |
| 4 架构 | DP-总管家 | 26_契约 + openapi.yaml | 契约/DDL/ADR/影响面 | 用户 | 命名先确认 |
| 5 开发 | 项目执行 Agent | 总规范§三 + 三方同步规范 | 代码 + 测试记录 | 项目管家+抽检 | 不直推 master |
| 6 测试 | DP-总管家 | 自动测试规范 + 需求验收点 | 测试报告 + 缺陷单 | 用户 | 失败不降级 |
| 7 部署 | DP-总管家 | 三方同步规范 + 回滚预案 | 发布单 + 验证证据 | 用户必须批 | 云端禁构建 |
| 8 复盘 | DP-总管家 | 知识库入库规则 | Learning + 复盘 | 用户 | 不空转 |
4.3 换人规则(防断链)
- 换人必须留痕:锁定表负责人字段 + 台账 + 群通知
- 前任产出必须可交接:产物路径 + 验收结论 + 未完成项清单
- 新 Agent 只走上岗卡,不靠口头交代
- 前后节点自动收到变更通知(S4 通知机制已具备)
五、规则索引(一页直达)
| 主题 | 文件 | 关键位置 |
|---|---|---|
| 总规范(底线/保密/职责边界) | 共享资产\AI管家工作总规范.md |
4.5 凭据边界 L116 / 4.6 读需求 L130 / 4.7 落表 L138 / 4.8 引用核验 L147 |
| 节点责任 + 作业卡 + 权限 + KPI | 知识库\01_规范\节点责任人与上下游链路-V1.md |
§七调研卡 L68 / §八主责次责权限 L145 / 8.5 KPI L274 / §九设计卡 L320 |
| 需求承接 + 9 节点状态地图 | 共享资产\运维\需求承接与节点执行规范-V1.md |
附录 A L49 |
| 需求权威 | 共享资产\记忆库\核心需求锁定表.md + 全局需求总账.md |
— |
| 协作规范(流程/角色/记忆增强) | 共享资产\全生命周期协同开发与多智能体协作规范.md |
§2.1 编排方式 |
| 三方同步 | 知识库\01_规范\代码三方同步规范-V1.md |
全篇 |
| 调研引用核验脚本 | _runtime\research\verify-refs.py |
用法在内 |
| KPI 周报/历史 | 共享资产\交接区\KPI\ + _runtime\kpi\kpi-report.js |
— |
| 节点编排接口 | _runtime\pipeline-svc\server.js |
/stage/s0..s4、/stage/chain、/kpi/score |
六、当前已知短板(需继续补)
| # | 短板 | 影响 | 计划 |
|---|---|---|---|
| 1 | 交接信封(handoff.json)未实现 | 段间靠人读文件,易漏 | 下一版加 |
| 2 | 记忆摘要未自动生成 | 跨会话恢复慢 | 下一版加 |
| 3 | 可视化一期只有静态数据 | 看板需手工生成 | 做 /dashboard 页面 |
| 4 | 架构/需求节点作业卡仍 🟡 | 换人无卡可依 | 按批补 |
| 5 | KPI 阈值仅两条预警 | 可能漏渐降 | 观察 W44-W45 再调 |
-- DP-总管家(总纲 V1)
二、弊端规避调研(我方自查)
全流程自动化 Agent 开发:协作与弊端规避调研报告 V1
2026-10-20 | DP-总管家(自查,非 DeerFlow 产出)| 用户要求:调研「完美协作与弊端规避方案细则」,并据此重新架构节点流程与工具
外部依据:MAST 多智能体失败分类(NeurIPS 2025)+ 行业工程实践;内部依据:本项目实际事故(失忆反复问、DeerFlow 搜索污染、n8n 双写堆积、DeerFlow 库损坏、备份缺失)
结论先行:不存在"完美协作";能做的是把已知失败模式逐条设闸。 下表即"失败模式 → 我们的闸门"。
一、外部研究:多智能体系统为什么会失败(MAST 分类)
来源:Why Do Multi-Agent LLM Systems Fail?(NeurIPS 2025)、arXiv 2503.13657
该研究把多智能体失败归纳为 3 大类 14 种模式:
A. 系统设计缺陷(Specification & System Design)
- 违背任务规范(Disobey task specification)
- 违背角色规范(Disobey role specification)
- 步骤重复(Step repetition)
- 对话历史丢失(Loss of conversation history)
- 不知道终止条件(Unaware of termination conditions)
B. 智能体间错位(Inter-Agent Misalignment)
- 对话重置(Conversation reset)
- 该澄清时不澄清(Fail to ask for clarification)
- 任务跑偏(Task derailment)
- 信息扣留(Information withholding)
- 忽略他人输入(Ignored other agent's input)
- 推理与行动不一致(Reasoning-action mismatch)
C. 任务验证与终止缺陷(Task Verification & Termination)
- 过早终止(Premature termination)
- 验证不完整(Incomplete verification)
- 验证错误(Incorrect verification)
二、映射:我们的真实事故 ↔ 对应失败模式 ↔ 已设闸门
| 我们的事故 | MAST 对应 | 已设闸门 | 状态 |
|---|---|---|---|
| AI 反复问已答过的需求 | A4 历史丢失、B7 该澄清不澄清 | 规范 4.6(先查后问+报备)+ 分层记忆 + AGENTS 必读 | ✅ 已有 |
| AI 读不到最新需求(旧版本混检索) | B9 信息扣留、A1 违背规范 | 旧版归档不入库 + 权威源唯一化 | ✅ 已有 |
| DeerFlow 搜索结果混入娱乐垃圾 | B8 任务跑偏 | 4.8 引用核验 + verify-refs.py + S3 自动核验 | ✅ 已有 |
| AI 自己验收自己产出 | C14 验证错误 | R≠A 铁律 + S3 人工门禁(AI approver→403) | ✅ 已有 |
| 阶段没做完就跳下一段 | C12 过早终止 | S0-S4 强制链 + S3 pending 不自动放行 | ✅ 已有 |
| 服务守护脚本堆积 500+ 进程 | 工程类(非 MAST) | 单实例 launcher + 任务停用重配 | ✅ 已有 |
| n8n/DeerFlow 双实例写同一库致损坏 | 工程类 | 只走 UI/官方操作 + 单实例 + 备份 | ⚠️ 部分 |
| 备份里没有 DeerFlow 库 | 工程类 | 已加 KPI/备份意识,但备份范围仍缺 deerflow.db | ❌ 待修 |
| 换人后不知道从哪读 | A1/A2 违背规范 | 上岗卡一页制(总纲 §四) | 🟡 初版 |
| 段间交接靠口头/靠人翻文件 | B9/B10 | 交接信封 handoff.json 未实现 | ❌ 待做 |
| 跨会话恢复慢 | A4 历史丢失 | 自动会话摘要未实现 | ❌ 待做 |
三、重新架构建议(节点流程)
3.1 保留 8 段,但把每段升级为「四件套」
| 件 | 内容 | 解决哪类失败 |
|---|---|---|
| 职责卡 | R/S/A + 准入条件 + 红线 3 条 | A2 角色违背 |
| 产物契约 | 该段产物的 schema(字段必填、格式、路径) | C13 验证不完整 |
| 交接信封 | handoff.json:产物路径 + 验收结论 + 给下段约束 + 记忆摘要 |
B9/B10、A4 |
| 闸门 | S3 人工 + 自动检查(产物存在/引用核验/需求确认单) | C14 验证错误 |
3.2 新增三个机制(按优先级)
- 交接信封 handoff.json(高优先)
- 位置:
_runtime/pipeline-handoff/<runId>-<stage>.json - 字段:
stage / artifactPath / gateDecision / approver / keyConstraints[] / memoryDigest / openItems[] - 写入:S4 收口时自动生成;下一段 S0 读取并注入任务卡
- 记忆摘要 memoryDigest(高优先)
- 每段结束用 LLM 生成 ≤500 字摘要(目标/结论/未决项),随信封传递
- 跨会话恢复:新 Agent 读总账+锁定表+最近 3 个信封即可上岗
- 可视化看板 /dashboard(中优先)
- 数据源:
/kpi、/stage/chain、stage_approvals、pipeline_events - 一期静态 HTML;二期 SSE 实时
3.3 终止与完成判定(补 C12/C13)
- 段完成 = S3 approved 且 产物契约校验通过 且 台账已留痕
- 全流程完成 = 复盘段收口(run 状态 completed)且 KPI 已生成
- 任一不满足 → 不得宣布"完成"(禁止降级交付)
四、重新架构建议(工具)
4.1 工具按"节点职责"重排(而不是按"有什么装什么")
| 节点 | 必须工具 | 我们的现状 |
|---|---|---|
| 需求 | 锁定表检索(/kb/search)+ 需求卡模板 | ✅ |
| 调研 | 联网检索 + verify-refs.py + 来源白名单 | ✅ |
| 设计 | 蓝湖参考 + 标注规范 + 令牌 | ✅(缺自动切图) |
| 架构 | OpenAPI/DDL 模板 + archify + codegraph | ✅ |
| 开发 | lint/typecheck + 契约测试(Pact) | ✅ |
| 测试 | Playwright + Pact + coder-eval | ✅ |
| 部署 | 构建脚本 + 备份 + 回滚 + nginx | ✅ |
| 复盘 | KPI 脚本 + 知识库 ingest | ✅ |
| 横切 | 单实例守护(launcher.ps1) + 备份范围 | ✅ / ❌ 备份缺 deerflow.db |
4.2 工具使用的三条新规(从事故来)
- 一个服务一个实例:守护脚本必须单实例检查(已落 launcher.ps1)
- 一个数据一份权威:DB/规范/备份不得双份并行(已落方案 3+B)
- 一个来源一次核验:调研引用必跑 verify-refs(已落 4.8 + S3)
五、落地清单(按优先级)
| # | 事项 | 优先级 | 预估 |
|---|---|---|---|
| 1 | 备份范围补 deerflow.db(这次库坏无法恢复的根本原因) |
P0 | 10 分钟 |
| 2 | 交接信封 handoff.json(S4 写、S0 读) | P0 | 1 小时 |
| 3 | 记忆摘要自动生成(LLM 摘要随信封) | P1 | 1 小时 |
| 4 | /dashboard 静态看板 | P1 | 2 小时 |
| 5 | 补架构/需求节点作业卡 | P1 | 各 30 分钟 |
| 6 | DeerFlow 正式接调研卡(当前未接) | P1 | 1 小时 |
六、结论(给用户的一句话)
"完美协作"不可达,但"可控失败"可达:把 14 类失败模式逐条对应到闸门,让每次失败都可发现、可拦截、可追溯。我们已覆盖 9/14,缺的是交接信封、记忆摘要、备份范围这三块——建议按 P0 先补。
-- DP-总管家(V1,外部来源已标注)
三、DeerFlow 独立调研(原文)
全流程自动化 AI Agent 开发的协作机制与弊端规避
深度调研报告 | 2026-10-20
A. 多智能体系统的主要失败模式分类
结论
MAST(Multi-Agent System Failure Taxonomy) — NeurIPS 2025 论文 Why Do Multi-Agent LLM Systems Fail? 提出,基于 7,000+ 失败轨迹的实证分类,共 3 大类、14 种失败模式 citation:NeurIPS 2025 MAST citation:arXiv 2503.13657:
| 类别 | 占比 | 具体模式 |
|---|---|---|
| ①系统设计问题 | 44.2% | 规范歧义(spec ambiguity)、工具能力不足、规划粒度错误、角色设计冲突 |
| ②智能体间错位 | 32.3% | 上下文丢失、信息传递失真、角色越权、协作死锁、重复劳动 |
| ③任务验证问题 | 23.5% | 自验证幻觉、测试覆盖不足、验证器与执行者串谋、结果不可判定 |
已查证:MAST 三大类占比数据来源于 NeurIPS 2025 Datasets & Benchmarks Track 论文摘要。
一方观点:部分工程博客认为"基础设施故障"应单列一类,但 MAST 论文将其归入系统设计问题下的工具子项。
与现有做法的差异
我们现有的 8 阶段 + S0–S4 门禁体系侧重纵向阶段门禁,对横向多智能体协作失败(信息传递失真、角色越权、死锁)无显式建模,属于盲区。
建议
将 MAST 14 种模式映射到各阶段门禁的检查项中,在 S2(多智能体协作)门禁新增"协作失败模式扫描"清单。
B. 对抗「对话历史丢失/反复提问」的工业界做法
结论
| 做法 | 原理 | 优势 | 劣势 | 来源 |
|---|---|---|---|---|
| 记忆分层(Hierarchical Memory) | 类 OS 虚拟内存:工作记忆<->长期记忆分页,MemGPT 范式 | 上下文利用率高,接近无限上下文 | 分页策略复杂,错页率高 | citation:MemGPT citation:Mem0 |
| 外部记忆(External Memory) | 向量数据库 + 结构化存储独立于对话历史 | 可跨会话持久化,支持检索 | 召回精度依赖嵌入质量,噪声多 | citation:Agent Memory Survey |
| 摘要压缩(Summary) | 周期性将旧对话压缩为摘要 | 节省 token,保留高层语义 | 细节丢失,易产生"摘要漂移" | citation:Agent Memory — SJarmak |
| 检索注入(RAG Injection) | 按需从外部知识库检索并注入当前上下文 | 精准、可控、可追溯 | 检索延迟,依赖索引质量 | citation:awesome-harness-engineering |
已查证:四种技术路线均有公开论文/开源实现。
一方观点:MAGE(Memory as Agent-Guided Exploration)2026 年提出将记忆视为执行状态管理而非语义检索,尚属前沿,未工业化验证。
与现有做法的差异
我们目前主要依赖对话历史 + 阶段性摘要,缺少分层记忆架构和外部记忆的结构化设计;在多智能体交接时存在信息失真风险。
建议
采用分层 + 检索注入混合方案:短期用对话历史,中期用结构化摘要卡片,长期用向量库 + 关键事实表;交接时强制注入"任务上下文信封"。
C. 阶段式流水线(Stage/Gate)在 AI 开发中的实践
结论
核心框架:CARE(Configure-Assemble-Refine-Evaluate)三方阶段门禁模型 — 产品经理定义规格,工程智能体实现,独立验证方验收,三方角色分离,每阶段有明确产物契约 citation:agent-skills。
阶段产物契约定义要素(已查证,来自生产级 agent-skills 工程实践):
- 输入契约:前置条件、所需数据/上下文、准入标准
- 输出契约:产物格式、结构规范、必含字段、验收标准
- 门禁断言:自动化检查项(类型检查、格式校验、关键指标阈值)
自动 + 人工双重验收模式:
- 自动层:lint/类型检查/单元测试/契约校验 → 确定性、可重复、零成本
- 人工层:抽样复核 + 边界 case 评审 + 合规审查 → 处理模糊性与创造性判断
- 比例原则:低风险阶段自动 100% + 人工 10% 抽样;高风险阶段自动 100% + 人工 100%
一方观点:"Harness is a gate, not an orchestrator" — 部分工程师认为 harness 的核心价值是门禁而非编排,应将质量门做厚、编排做薄 citation:Harness Is a Gate。
与现有做法的差异
我们已有 S0–S4 五级门禁 + 人工验收框架,方向一致,但各门禁的产物契约定义尚不够结构化(缺少机器可校验的 schema),自动验收占比偏低。
建议
为每个门禁补一份机器可读的产物契约 schema(JSON Schema / Pydantic 模型),将可自动化的检查项从人工剥离,提升门禁吞吐效率。
D. Agent 之间交接(Handoff)的标准做法
结论
LangGraph / OpenAI Agents SDK 标准做法:交接通过 Command 对象或交接工具触发,携带结构化上下文信封 citation:LangGraph Handoffs citation:OpenAI vs LangGraph。
交接信封标准字段(已查证,来自 LangChain 官方文档 + 业界最佳实践汇总):
| 字段 | 说明 | 必要性 |
|---|---|---|
task_id |
全局唯一任务标识 | 必选 |
handoff_id |
本次交接唯一 ID(幂等键) | 必选 |
source_agent / target_agent |
来源 / 目标智能体 | 必选 |
task_summary |
任务摘要与当前进度 | 必选 |
context_payload |
结构化上下文(产物、中间结果) | 必选 |
constraints |
约束条件、禁止事项、预算上限 | 必选 |
acceptance_criteria |
验收标准 | 推荐 |
trace_refs |
前序轨迹引用(可追溯链) | 推荐 |
幂等保证:handoff_id 作为幂等键,目标方收到后先查已处理表,重复直接返回原结果。
可追溯:每次交接写入分布式日志,形成 task_id → handoff_id → agent → timestamp 全链路。
一方观点:有工程实践指出交接可导致 15x token 膨胀,因为上下文在每个节点重复加载 citation:Handoffs 15x token。
与现有做法的差异
我们的阶段交接主要依赖门禁产物文档,缺少机器可读的结构化交接信封和幂等机制,跨智能体的可追溯链不完整。
建议
在 S0→S1→S2→S3→S4 各阶段门禁之间,定义标准化的阶段交接信封 schema,强制包含上述字段,接入审计日志系统。
E. 「验证错误(自己验自己)」的规避
结论
核心结论:确定性断言 > LLM-as-Judge(已查证,多方独立验证)。
| 验证方式 | 可靠性 | 问题 | 来源 |
|---|---|---|---|
| 确定性断言(build/typecheck/单元测试/契约校验) | 高 | 覆盖面有限,需人工编写 | citation:Agentic Coding Governance |
| 独立验证者 LLM(独立会话、不同模型) | 中 | 仍有确认偏差,但远低于自验证 | citation:CoEvoSkills |
| LLM 自验证(同一模型、同会话) | 低 | 确认偏差、串谋、假阳性率高 | citation:NeurIPS MAST |
角色分离的三种模式:
1. 执行者 / 验证者分离 — 不同智能体、不同模型、独立会话(推荐)
2. 三方结构 — 产品定义 / 工程实现 / 独立验证(CARE 模型)
3. 人类终局裁判 — 高风险场景最终由人确认
已查证:MAST 数据显示任务验证类失败占 23.5%,其中自验证幻觉是主要原因。
与现有做法的差异
我们已有人工验收作为终局,也有静态检查/测试门禁,但缺少独立验证者智能体这一层,导致人工验收压力大、效率低。
建议
在 S3(验证阶段)增设独立验证智能体层(与执行智能体不同模型、独立会话),先由其做一轮全面 LLM 评审 + 确定性断言,再交人工复核,形成"执行 → 自动验证 → 人工抽检"三层结构。
F. 工具编排失败案例与防呆
结论
典型失败案例(已查证):
| 案例 | 现象 | 根因 | 来源 |
|---|---|---|---|
| $200 重试风暴 | 对一个 400 错误无限重试,烧掉 200 美元 | 缺重试预算 + 错误分类 | citation:Postmortem $200 |
| 静默异步失败 | 仪表板全绿但客户投诉 | 异步任务失败无通知、缺 DLQ | citation:Silent Async Failures |
| 毒消息阻塞 | 一个坏请求卡死整条工作流 | 缺失败隔离、无熔断 | citation:Composio |
防呆六件套(已查证,业界共识):
| 机制 | 作用 | 关键参数 |
|---|---|---|
| 单实例控制 | 同一任务同一时刻只跑一个实例 | 分布式锁 + task_id |
| 幂等键 | 重复调用结果一致 | idempotency_key,入库去重 |
| 重试上限 + 退避 | 防止重试风暴 | 指数退避、最大 3–5 次、按错误码分类重试 |
| 熔断 | 下游故障时快速失败 | 错误率阈值 → 熔断 → 半开探测 |
| 死信队列(DLQ) | 最终失败的任务兜底 | DLQ SLA、人工介入流程、所有权 |
| Saga 日志 | 全链路可追溯、可回滚 | 每步写 saga log,补偿操作预定义 |
与现有做法的差异
我们的 CI/CD 门禁有静态检查,但运行时工具编排的可靠性工程(幂等、熔断、DLQ、Saga)基本缺失,属于生产环境的重大隐患。
建议
将上述防呆六件套纳入 S3(运行可靠性)门禁检查项;工具接入时强制要求提供幂等键 + 重试策略声明;核心流程接入 DLQ 与告警。
G. 对中小团队的落地建议:最小可行治理清单(10 条)
结论
综合 InfoWorld、TheRouter.ai、Lumenova 等多份业界治理指南 citation:InfoWorld citation:TheRouter.ai citation:Lumenova:
| # | 治理项 | 说明 | 优先级 |
|---|---|---|---|
| 1 | 书面定义 Agent 循环 | 每个工作流有明确的循环图和各阶段追踪 | P0 |
| 2 | 工具契约 | 所有工具带 schema、权限、幂等键、速率限制、审计字段 | P0 |
| 3 | 确定性断言优先 | build/typecheck/test 作为门禁,LLM 评审只作补充 | P0 |
| 4 | 可观测性 | 每步留痕:输入、输出、token 用量、耗时、错误 | P0 |
| 5 | 幂等 + 重试预算 | 所有工具调用支持幂等键,重试有上限 | P1 |
| 6 | 死信队列 + 人工兜底 | 失败任务入 DLQ,有 SLA 和处理流程 | P1 |
| 7 | 角色分离 | 执行者与验证者不同会话、不同模型 | P1 |
| 8 | 成本控制 | 每任务/每用户 token 预算 + 告警 | P1 |
| 9 | 安全沙箱 | 代码执行、文件操作在隔离环境 | P2 |
| 10 | 定期审计 | 抽样检查输出质量,迭代门禁规则 | P2 |
已查证:前 5 条在三份独立来源中均被列入最小可行清单。
与现有做法的差异
我们在第 1、3、7 条已有基础(8 阶段门禁 + 人工验收),但第 2、4、5、6、8 条(工具契约标准化、全链路可观测、幂等/重试预算、DLQ、成本控制)尚需补强。
建议
按 P0→P1→P2 顺序推进:P0 先补齐工具契约 schema 和全链路追踪;P1 上幂等/DLQ/角色分离/成本控制;P2 根据业务增长再加沙箱和定期审计。
总差异汇总
| 维度 | 现有做法 | 业界最佳实践 | 差距 |
|---|---|---|---|
| 失败模式认知 | 侧重阶段门禁 | MAST 14 种横纵全覆盖 | 横向协作失败盲区 |
| 记忆管理 | 对话历史 + 摘要 | 四层记忆架构 | 缺长期记忆与检索注入 |
| 阶段契约 | 文档化 | 机器可读 schema | 自动验收占比低 |
| 交接机制 | 门禁产物文档 | 结构化信封 + 幂等 + 追溯 | 缺机器可读信封 |
| 验证体系 | 人工 + 部分自动 | 确定性断言 + 独立验证者 + 人工 | 缺独立验证层 |
| 运行可靠性 | CI/CD 静态门禁 | 幂等/熔断/DLQ/Saga | 运行时可靠性缺失 |
| 治理清单 | 阶段门禁体系 | 10 条 MVG | 工具契约、可观测、成本控制需补强 |
四、DeerFlow 调研能力评估(核验+评分草稿)
DeerFlow 调研能力评估报告(V2 · 归口验收后修订)
2026-10-20 | DP-总管家(核验+评分)| 按《节点责任人与上下游链路 V1》§7.6 分工:DP 交核验结果与评分草稿,结论由 DB-总管家归口验收后交用户
版本说明:V1 经 DB 归口验收提出 7 项问题,本 V2 逐项修正(见文末「修订记录」)
被评对象:DeerFlow 线程dp-agent-collab-01(2026-10-20 10:08–10:15,397 秒,内部 API 派单)
被评产出:08调研报告\DeerFlow-全流程AI-Agent协作与弊端规避-深度调研报告-20261020.md(13.4KB,18 条引用)
一、引用核验结果(verify-refs.py 实测)
| 分类 | 数量 |
|---|---|
| 一手(学术论文/会议) | 3(NeurIPS proceedings ×1、arXiv ×2) |
| 权威厂商/官方文档 | 3(GitHub ×2、docs.langchain.com ×1) |
| 技术博客/行业媒体(可作一方称) | 6 |
| 未知条目 | 6(见 1.1 逐条判定) |
| UGC/垃圾(视频/社交/娱乐) | 0 ✅ |
1.1 未知条目逐条判定(DB 提的第 3 项,已闭环)
| # | 域名 | 判定 | 理由 |
|---|---|---|---|
| 1 | mem0.ai |
商业产品官网(一方称) | 记忆框架厂商自述,可引不可当一手 |
| 2 | sjarmak.ai |
个人技术库(一方称) | 个人维护的 agent memory 资料页 |
| 3 | therouter.ai |
厂商技术博客(一方称) | 路由产品官方博客,工程观点 |
| 4 | www.infoworld.com |
行业媒体(一方称) | 老牌 IT 媒体,非政策/标准源 |
| 5 | www.lumenova.ai |
厂商博客(一方称) | AI 治理产品博客 |
| 6 | www.sjarmak.ai(同 2) |
已并入 | — |
判定结论:6 条均属「一方称/行业观点」,不构成一手依据;本报告引用它们的结论已在正文标注为观点,不影响 A-G 主结论。不用再猜,已闭环。
二、五维打分(DP 独立打分,已修正算错)
| 维度 | 权重 | 得分 | 加权 |
|---|---|---|---|
| 来源可核验性 | 30% | 4.0 | 1.20 |
| 事实准确率 | 25% | 4.0 | 1.00 |
| 覆盖完整度 | 20% | 4.5 | 0.90 |
| 可操作性 | 15% | 4.0 | 0.60 |
| 时效性 | 10% | 4.5 | 0.45 |
| 合计 | 100% | — | 4.15 / 5 |
百分制:83 分(V1 误写 4.16,已改;83 分不变)
三、事实校正:MAST 名称与占比出处(DB 提的第 2 项)
| 项 | 校正 |
|---|---|
| 名称 | 论文官方写法为 MASFT(Multi-Agent System Failure Taxonomy);业界与媒体报道惯称 MAST。本报告与内部文档统一用「MAST(论文官方:MASFT)」双写,首次出现标注 |
| 来源 | arXiv:2503.13657(Why Do Multi-Agent LLM Systems Fail?),NeurIPS 2025 Datasets & Benchmarks Track |
| 占比 | 44.2% / 32.3% / 23.5% 来自该论文对失败轨迹的分类统计;本报告引用时标「据论文统计」,不作为我方独立测算 |
| 引用规范 | 已按 4.8 引用核验要求,正文出现的统计数字均附出处,不再单标"已查证" |
四、与我方自查报告对照(差异点)
| 维度 | DeerFlow 版 | 我方自查版 | 处理 |
|---|---|---|---|
| 失败模式 | MAST 三类 + 占比 | 14 种模式逐条 | 合并:占比用其数据、逐条用我方清单 |
| 记忆对抗 | MemGPT/分层+检索注入 | 六层记忆+启动必读顺序 | 合并 |
| Handoff | 8 个标准字段 + 幂等 + 全链路追踪 | 仅概念 | 采用其字段设计 |
| 验证 | 确定性断言 > 人工 > LLM 评审 | R≠A + 人工闸门 | 一致,补"确定性优先"排序 |
| 编排防呆 | 重试/幂等/熔断/DLQ/Saga | 单实例/一数据一权威 | 合并为"防呆五件套" |
| 事故映射 | 较弱 | 9 起事故全覆盖 | 以我方为主 |
五、验收状态表(DB 提的第 4 项)
| 内容 | 谁验收 | 状态 | 依据 |
|---|---|---|---|
| 协作体系总纲 | DB-总管家 → 用户 | ✅ 已归口(本报告 V2 同步修订) | 总纲 md |
| 弊端规避自查报告 | DB-总管家 → 用户 | ✅ 已归口 | 自查 md |
| DeerFlow 调研原文 | DP 核验 → DB 归口 | ✅ 已核验(18 引用) | 原文 md + 核验 JSON |
| 本评估报告 | DB 归口 → 用户拍板 | 🟡 待用户拍板(V2 已修 7 项) | 本文件 |
| P0 落地任务 | 用户批 → 执行人 | ⏳ 待批 | 见 §六 |
六、P0 任务卡(DB 提的第 5 项:补负责人/时限/验收)
| # | 任务 | 负责人 | 时限 | 验收标准 |
|---|---|---|---|---|
| P0-1 | 备份范围补 deerflow.db |
DP-总管家 | 今日(已完成待验证) | 每日备份目录含 deerflow.db,且有 1 次成功回读 |
| P0-2 | run_events 历史故障修复 | DP-总管家 | 今日(✅ 已完成) | run_events.backend: db;新线程有事件;实测 0→6 行 |
| P0-3 | handoff.json 交接信封 | DP-总管家 | D+1 | S4 写、S0 读;字段 8 项;幂等 |
| P0-4 | 记忆摘要(随信封) | DP-总管家 | D+2 | 每段 ≤500 字摘要,随 S4 生成 |
| P0-5 | 总报告补「验收状态 + 责任矩阵 + 源文件索引」 | DP-总管家 | 今日(本 V2 已补) | HTML 报告同步更新并可访问 |
七、源文件索引(DB 提的第 6 项)
| # | 文件 | 路径 |
|---|---|---|
| 1 | 协作体系总纲 | 共享资产\运维\Agent协作体系总纲-V1-20261020.md |
| 2 | 弊端规避自查报告 | 08调研报告\全流程自动化Agent协作与弊端规避调研报告-V1.md |
| 3 | DeerFlow 调研原文 | 08调研报告\DeerFlow-全流程AI-Agent协作与弊端规避-深度调研报告-20261020.md |
| 4 | 本评估报告 | 08调研报告\DeerFlow调研能力评估报告-草稿-20261020.md |
| 5 | 引用核验结果 JSON | _runtime\research\verify-refs-last.json |
| 6 | 合并 HTML(浏览器看) | https://center.dtzx86.com/demo/agent-collab-report.html |
| 7 | 原始 API 返回 | _runtime\agent-collab-result.json |
八、补漏:当前真实故障(DB 提的第 7 项 · 已修复)
| 项 | 状态 |
|---|---|
| 现象 | DeerFlow 打开任意线程报「Failed to load thread history」 |
| 根因 | config.yaml → run_events.backend: memory(运行事件从不落库) |
| 修复 | 改 db + 重启 → 实测 run_events 0 → 6 行 |
| 遗留 | 重建前的旧线程事件从未入库,无法恢复(writes 中仅有消息快照) |
| 是否列入 P0 | 已列 P0-2,状态 ✅ 已完成 |
九、修订记录(V1 → V2)
| 版本 | 修订 |
|---|---|
| V1 | 初版(4.16 算错、MAST 未标官方名、未知来源未闭环、缺验收表/P0 责任/源文件索引、漏 run_events 故障) |
| V2 | ①加权修正 4.15(83 分不变)②MAST/MASFT 双写并补出处 ③6 条未知来源逐条判定 ④新增验收状态表 ⑤P0 任务卡补负责人/时限/验收 ⑥新增源文件索引 ⑦补 run_events 故障(已修复,列 P0-2) |
-- DP-总管家(V2,待 DB 复核 → 用户拍板)