NOTE · 技术笔记

测试全绿不等于变聪明:一次 LLM 功能的盲审记录

这轮给量化助手加了几个能力:限定两轮补证、对当前仓位/完整目标/全现金三种方案做纯函数比较、回读当天的判断与方案版本、把上一日复盘带回次日上下文。新增 195 条测试全过,全量回归 1467 条全过;本轮改动的 11 个文件静态检查通过,7 个源码文件的定向类型检查也通过。

按很多团队的惯例,这时候可以写「功能已完成」。

但我又找了独立盲审:同一份冻结事实包、同一个模型、四份真实报告,去掉版本标签、源码和未来价格。结果四份没有一份整体合格;一组新旧对照分不出胜负,另一组新版反而更差。

这篇不写功能清单,只写这次验收里最值钱的部分:为什么「测试全绿」不能推出「变聪明」,以及下次怎么少骗自己一点。

一、测试全绿,到底证明了什么

它证明了程序契约:缺权重时不硬算组合损益、空范围不扩大成全部、未来版本不回填、旧链接不许现抓、工具额度用完就停、缺节不冒充已覆盖。这些都是可断言的行为,195 条测试覆盖得相当扎实。

它没有证明判断质量。

举个具体差别:测试可以断言「缺权重时不得输出组合损益」,但不能断言「模型会不会把『用户还没决定权重』说成『数据缺失』」。前者是程序行为,后者是语义理解。前者可以写成 assert,后者只能拿真实输出去评。

这次的四份真实报告里,恰好三种语义错误都出现了:

  • 把「信号日入选阈值」当成持仓退出或盘中作废规则——把「能买」读成「该卖」;
  • 把「还没决定的买入权重」说成「数据缺失」——把「没决定」读成「没有」;
  • 把历史复盘里的转述当成当前已结算事实——把「当时说」读成「现在真」。

这三种都不是代码 bug。代码把该给的字段都给了,工具也没越权;错在模型对「资格/决定/事实」三个词的边界理解。测试全绿,照样发生。

严格说,这轮也不是所有检查都全绿:全局严格类型检查仍挂着 21 条既有错误。我只陈述「本轮改动零新增」,不说「整体类型检查通过」。这个区别,和后面盲审不合格要单独写出来,是同一个道理。

二、新旧对照:提示词修点,修不了面

做法很简单:同一个模型、同一份冻结输入、同一条提示路线,旧单轮/旧工具对新多轮/新工具,各跑两个场景。冻结输入意味着报告只能读当时保存的事实包,不能现抓行情、不能补看网页、不能用当前库重建历史持仓。

第一轮的结论很直接:新版能拒绝在缺权重时给组合损益,也能区分「信号合格」和「方案待决定」;但在另外几处仍然翻车——口径冲突时擅自择一、对单票集中度下没有证据的断言、把缺失的权重类型说错。

修订提示后只复测新版:能拒绝在缺权重时给组合损益,也能区分「信号合格」和「方案待决定」;但口径冲突擅自择一、单票集中度断言、缺失权重类型说错仍在。三个原点修掉了两个,剩下的换了形式还在。这正好说明提示词工程的边界:它能修「点」,很难修「面」。你指出的这个例子修好了,换一个同构的场景,它可能换个方式再犯。

所以拿几个修好的样例当验收,等于拿补考成绩单证明平时成绩。

三、盲审怎么做,才不会自己骗自己

这次盲审的规则只有三条:

  • 去标签:四份报告不标新旧、不标版本、不标来源。
  • 去源码:评审看不到实现,也看不到提示词。
  • 去未来价格:只给当时可得的事实包,不给之后的走势。

评审只回答两个问题:这份报告能不能用?如果能,哪份更好?

判据不是文采,而是六件事:事实引用能不能回溯到当时;缺失有没有显式写出来;结论有没有越过证据;方案里的「假设/待定/已定」有没有分清;信号资格有没有被当成可成交;没取到的证据有没有被说成「没有证据」。

结果四份没有一份整体合格。一组新旧对照,评审连谁更好都分不出来;另一组新版反而更差。评审报告里明确写了:智能提升未证明,策略收益证据不存在。

这句话听起来很扫兴,但它是这次验收里唯一可信的结论。因为如果连「新版比旧版好」都分不出来,任何「更聪明」的说法都只是开发者的体感。

四、三条可复制的护栏

这轮实现里,有三条护栏值得单独拿出来,因为它们直接决定「事后看起来对」和「当时能判断」是不是一回事。

第一条:回放不许现抓当日行情。 冻结回放只能吃已保存的事实包。一旦允许现抓,「今天涨了所以我昨天看多是对的」就会混进报告,而这不是判断,是后见之明。

第二条:旧链接不许补抓。 只有输入时点后 90 秒内、且截止前已经见过的链接才允许抓正文;网页后来更新了,也不能冒充当时的存证。时间窗口不是为了省请求,是为了不让「后来补的资料」变成「当时就知道」。

第三条:不许用当前库重建历史持仓。 历史持仓只读当时的快照或记录。当前库是事后整理过的,用它回填历史,等于用今天的答案改昨天的卷子。

这三条都不难实现,难的是承认:只要有一条松动,后面所有评估都不可信。

五、可复制检查清单

如果你也在给 LLM 功能做验收,我会按这个顺序做:

  • 先分两层:程序契约用单元测试,语义质量用真实输出评审,别拿前者代替后者。
  • 再做对照:同事实包、同提示路线、同模型,新旧各跑同一批场景。
  • 然后盲评:去标签、去源码、去未来信息;先问「能不能分出来」,再问「谁更好」。
  • 保留失败样例:只报赢的样例,等于把试验数 N 偷偷改小。
  • 最后写结论:能证明就写能证明到什么程度,不能证明就写「未验证」。

测试全绿是必要条件,不是充分条件。真正难的不是把功能接上,而是在四份报告都不合格的时候,忍住不写「智能升级」。

这版还不合格。下一版会不会更好,等盲审过了再说。

边界

本文只讨论 LLM 功能的验收方法;样本是四份报告、两个场景,不作统计推断,也不构成任何投资建议。文中未使用具体标的、持仓与收益数据。


本站内容为个人研究记录与方法分享,模拟,不构成投资建议;据此操作风险自负。