← 返回首页

VSA · Voyager Super Agent

企业级 Information Agent 项目与评测方法建设——从 POC 到方案设计,再到 Agent 评测体系

  • 3评测维度
  • 30+端到端评测集
  • 100%触达率入口
  • Go
  • Eino ADK
  • MCP
  • 三层记忆
  • HITL
  • OTel
  • Benchmark

为什么做

企业内部信息高度分散——文档、报表、会议纪要散落在多个源。VSA(Voyager Super Agent)的目标是面向 D-Chat(企业内部 IM)构建一个 Information Agent:用户发问即答,带来源、置信度,并按权限裁剪。它是我实习期间独立承担方案设计与落地推进的核心项目,横跨「产品方案设计」与「Agent 评测方法建设」两条主线。

我做了什么

  • 前期 POC:基于 Eino ADK 验证了多源查询(Cooper 文档 / 数易报表)、内部 MCP 接入和 D-Chat 机器人可达性的最简链路,产出可运行闭环。
  • 方案设计:面向信息查询场景、多群聊场景完成方案收口——从查询启用、问题补全、任务拆解,到工具调用、结果处理、证据检查、完成判断与最终回答的完整流程;设计群 Session、真实 Sender、个人 Memory、群公共 Memory 与 Workspace 的边界。
  • 评测方法建设:把「Agent 做得好不好」从主观感受变成可度量体系。面向信息查询场景建立评测维度与端到端评测集,用真实 query 建立基线,作为后续回归与迭代的判断标准。

Agent 工程核心机制

  • 工具治理:ToolSpec、动态 ToolSearch、Policy 与 ToolGuard——统一工具发现、按轮装配与调用校验;循环检测、结果卸载与上下文压缩治理长链路查询。
  • 三层记忆:L1 工作上下文、L2 用户长期记忆、L3 会话档案;按 user × surface 隔离,群聊与私聊的持久化、拆分与脱敏策略分离。
  • 可靠性与可观测性:Orchestrator + 短路式 Pipeline 统一运行生命周期,Goal/Checkpoint、HITL 中断恢复、后台 Review;结构化 turn 审计、Stage Trace 与 OTel 接线。

评测方法建设

测评体系是 VSA 的另一半价值,它让「Agent 方案」能论证、可演进:

维度关注点
结果效果查询答案是否准确、完整、带来源
过程能力意图理解、任务拆解、工具选择是否合理
业务价值是否真正回答用户的业务诉求
安全可靠性权限越界、证据缺失、错误传播是否可控

以真实业务数据、行业典型任务、人工构造边界用例三类来源构建测试任务集,形成「越用越可测、越测越准」的闭环。

怎么用 AI 做的

  • 全程 AI 结对:需求澄清 → 方案 → 计划 → 分阶段执行 → 测试验收,测试数据集与方案文档均系统归档。
  • 用 Benchmark 思想建立回归基线:每次改动对照评测集验证,让「方案落地」和「质量论证」同步推进。