一个会聊天的助手,为什么会把日期、价格和链接都说错?

把业务经验变成可测试技能

约 10 分钟4 道小题

学完你能说清楚把业务经验拆成可观察、可验证、可复跑的 Agent 流程。

01学完这一课,你能做到什么

学完这一课,你应该能:

  1. 区分编程助手和业务助手各自负责什么;
  2. 为业务 Agent 设计可重复的测试会话,并保留工具轨迹;
  3. 用四步访谈把“我要分析一下”写成可执行的 Skill;
  4. 为日期、价格、引用、权限和失败处理设计检查;
  5. 判断哪些工作交给确定性程序,哪些工作适合模型生成。

这里的 Skill 可以理解成一份可复用的业务工作说明:它规定什么时候启动、需要什么输入、按什么步骤处理、最后怎样验收。它不是把某个人的全部能力复制出来,而是把已经说清楚、允许使用、能够检查的工作方法固定下来。

一句话记住能观察、能验证,才算可复用。

02先分清两种助手的职责

编程助手面对的是代码:理解项目、修改文件、运行测试、定位报错。业务助手面对的是任务:接收需求、选择 Skill、调用工具、整理结果。

两者要通过一个程序化入口连接。入口接收测试问题,返回最终回答、调用过的工具、每次参数、执行状态,以及必要的过程记录。这样才能判断错误来自哪一层:检索资料错了、工具没调用、参数不对、数据为空,还是生成环节把事实改写了。

工具执行前后的钩子,是插在调用前后的一小段检查代码。它可以记录请求、校验参数、拦截越权操作。只看最后一段聊天文本,通常无法还原问题是怎样产生的。

测试下单时只能使用模拟执行器或只生成订单提案。测试由另一个模型发起,并不会自动获得真实交易授权。

两个助手,各自负责一段链路

编程助手

改代码、跑测试、查错误。

业务助手

接任务、用工具、交付结果。

一句话记住先让调用可观察,再讨论模型聪不聪明。

03建立可重复的调试循环

一套可靠的调试循环可以写成五步:

  1. 定义输入和期望行为;
  2. 在隔离会话中运行;
  3. 保存工具轨迹和结果;
  4. 对照规则检查;
  5. 修改后重跑原用例和反例。

每次修改都要保留前后差异。否则修好行情缺失后,可能又破坏了正常行情;修好引用校验后,可能把所有结果都误判成失败。

结果至少分为成功、部分完成、失败和等待必要输入。外部服务失败、文件缺失、工具返回空值、请求超时,都应该成为测试用例。调用失败时,助手应明确缺口,不能用模型记忆编造一个数字填上。

可复跑的验证闭环
  1. 1输入固定问题与环境
  2. 2运行隔离会话
  3. 3记录工具与结果
  4. 4检查规则与反例
  5. 5重跑确认没有回归

一句话记住同一用例和反例,都要能重新跑。

04用四步访谈把经验写成 Skill

很多需求只有一句“我要做个分析”。这句话没有说明谁用、什么时候做、数据从哪里来,也没有说明怎样算完成。可以用四步逐渐补齐:

场景定位:问做什么、谁使用、何时触发、输入来自哪里、输出交给谁。每轮只追问 2—3 个关键问题,避免一次丢出一大张表。

收集例子:拿 1—2 个已经完成的案例,记录输入、查看过的系统、处理步骤、判断依据、最终交付和不满意的地方。案例里的过期日期、公司名和个人信息不能直接变成默认值。

提炼规则:把“看一下数据”展开成具体系统和字段;把“对比”展开成上期、同行还是基准;写明必须做、不能做、何时跳过、缺数据怎么办、何时交给人。

生成并确认:输出一份可审阅的 Skill 和示例,让使用者核对具体规则和样稿,再用测试题验收。不要只问“满意吗”。

从经验到可测试 Skill
  1. 1场景谁、何时、做什么
  2. 2例子输入到交付
  3. 3规则必须与禁止
  4. 4确认样稿与测试

一句话记住先问清场景,再固化规则。

05把晨会简报写成明确规格

假设要做一份医疗行业晨会简报,服务对象是量化策略组,工作日开盘前使用。规格至少要写清:触发时间和时区、交易日规则、关注的市场与行业、允许使用的来源、筛选条件、输出模板和失败处理。

关注内容可以包括医疗行业隔夜动态、重大技术进展、相关指数、临床二期及以上进展、审批公告,以及指定范围内的港股通标的。筛选条件要把“重要”变成可检查的事件类型、时效和阈值;空泛的合作消息是否保留,也要提前定义。

“站在 20 日以上”只是一个提示条件。还要写明用收盘价还是其他价格、是否、数据截止时间,以及这个条件只是研究提示,不是自动买入指令。

输出建议包含:目的、触发条件、输入、来源、处理步骤、筛选规则、结果模板、失败处理和验收标准。写了每天 9 点,并不等于系统已经建立定时任务;真正的定时触发还要由调度器配置。

一句话记住时间、范围、来源和验收都要写成规则。

06三类事实错误,要靠系统检查

日期错误:报告生成日期、新闻发布日期、数据截止日和目标交易日要分开记录。日期与星期由日期工具或日历库计算,并传入明确时区;需要交易日时使用交易日历,不能只按周一到周五推断。

价格错误:没有行情工具,模型就不知道最新收盘价。价格应由确定性数据接口取得,再交给模型解释。保存数据源、请求参数、获取时间、价格口径和复权信息;工具失败就保留失败状态,不让模型补一个“看起来合理”的数字。

引用错误:链接必须真实打开,并确认页面内容支持对应结论。生成前核对来源,生成后逐项比较数字、日期、单位和引用。不要让模型根据标题猜 URL,也不要把“另一个 Agent 说没问题”当作原始证据。

不同轮次输出不同,不一定只是随机性造成的。上下文、检索结果、工具状态和缓存都可能变化,所以测试要固定关键输入并记录差异原因。

生成前后都要查

日期

工具计算,记录时区和交易日。

价格

接口读取,保存参数和时间。

引用

实际打开,核对支持片段。

一句话记住模型能写答案,不等于它拿到了证据。

07确定性任务和生成任务要分开

固定日期计算、 公式、上限和资金检查,应由程序执行。资料整理、访谈追问和解释草稿,可以交给模型。程序也要测试,不能因为没有模型就默认安全。

模型可以提出研究假设,但结果要区分已知事实、推断和待核信息。执行权限则需要代码门禁、用户授权和接口回报共同约束,不能靠模型输出一句“已批准”代替。

审核分数从 70 分改到 80 分、85 分再到 90 分,只能说明多轮检查可能发现更多问题,不是质量已经量化保证。真正的验收要看测试题、事实覆盖、失败处理和权限边界。

把适合的工作放到适合的位置

程序

算日期、取价格、限仓位、拦截越权。

模型

追问需求、整理材料、起草解释。

一句话记住模型负责表达,程序负责可核对的约束。

08动手任务:做一份可验收的晨报 Skill

选一个你真正要做的晨报场景,按四步访谈形成 Skill、示例简报和验收表。准备一份正常输入,以及三份反例:日期与星期冲突、行情缺失、来源链接失效。

检查以下结果:助手是否停止编造;是否指出具体缺口;是否能继续完成不依赖缺失信息的部分;日期、价格、单位和引用是否可回读;文件生成、定时配置和消息发送是否被分开;测试是否完全使用模拟或只读模式。

验收重点不是“看起来像一份好报告”,而是工具轨迹、规则判断和失败处理都能被复核。

一句话记住验收看证据链,不只看最终文案。

检验
检验一下

4 道小题

全部答对,这一课就算真正读懂了。答错了会告诉你为什么。

01要定位业务 Agent 为什么报错,最有用的返回内容是什么?
02把“看一下重要新闻”变成可测试规则,最先要补什么?
03行情工具调用失败时,业务助手应该怎么做?
04测试下单接口时,最合适的默认执行器是什么?
知识卡

这一课,浓缩成一张卡

学完可以保存或分享给朋友。保存成图片的功能会在下一版加上。

AI+金融投资训练营 · 把业务经验变成可测试技能怎样把业务经验变成可靠的 AI 助手?

先访谈成规则,再用工具轨迹、反例和权限门禁反复验收。

  • 四步访谈
  • 事实可核对
  • 测试不碰真实交易
quant.jtxaionline.com
这一课的要点

记住这 5 句话

  1. 01编程助手负责代码与测试,业务助手负责任务、Skill、工具和结果;两者要通过可观察的程序化入口连接。
  2. 02调试应固定输入、记录工具轨迹、检查正常路径和反例,并在修改后重跑,避免只看最后答案。
  3. 03四步访谈是场景定位、收集例子、提炼规则、生成并确认,目标是把经验变成能验收的 Skill。
  4. 04日期、价格和引用必须依赖可核对的工具与证据;失败时说明缺口,不能让模型编造补齐。
  5. 05确定性计算和权限门禁交给程序,模型负责适合生成的整理与解释;真实执行必须有隔离和明确授权。
完成这一课

完成这一课

读完讲义、答对小题,这一课就算学完了。

  • 读完讲义
  • 通过随堂自测

实验数据AI+金融投资训练营教学样本。固定教学样本

固定教学样本只用于解释量化研究方法,不代表任何真实标的未来表现,也不构成投资建议。