NOTE · 技术笔记

从 0/4 到 4/4:把 LLM 报告从自由文本改成结构化生成

上一篇《测试全绿不等于变聪明》停在「这版还不合格」。当时做的是自由文本报告加事后机检:模型写完整 Markdown,程序再用规则去抓「快照写成收盘」「止损写成未触及」这类错误。四份真实报告,第二轮 0/4 通过。

这次换了做法:模型只输出受 schema 约束的 JSON,程序校验后按固定模板渲染。同一批四天冻结上下文,最终 4/4 通过机检;随后每天两位独立评审做盲评,四天都过了预注册合格线,没有关键事实错误。但仍然没有一份六维满分,所以这篇不写「智能升级」,只写具体怎么改、哪些门真正有用、哪些地方还会骗自己。

样本只有四个交易日,下面是工程经验,不是统计结论,也不构成任何投资建议。

一、先看结果:0/4 到 4/4,差在哪

两版用的是同一批冻结输入:四个交易日、每天一份盘前报告、同一模型、只给当天截止前已保存的事实包,不许现抓行情、不许补看网页、不许用当前库重建历史持仓。

  • 自由文本 + 事后规则:通过机检 0/4。主要失败:上一交易日快照写成「今日」;已破止损写成「明日再跌破才处理」;实际权重写成单票上限;单日/三日资金流混写;指数复权冲突写成「未发现冲突」。
  • JSON 契约 + 确定性渲染:通过机检 4/4。机检无失败;但盲评四份的「结构与表达」都是 1/2,「路线代价」「候选执行」各有一处扣分。

关键差别不是模型变聪明了,而是把「必须怎么写」从模型记忆里拿走,交给程序。

自由文本版的问题不是「模型不会写」,而是它每次都可能用不同说法绕开检查:

  • 这次写「最后一张快照」,下次写「最后快照」「现价」「末值」;
  • 这次写「未跌破」,下次写「仍在上方」「没有触及」;
  • 规则想抓「今日盘中」,它改写成「本交易日盘中」「今天盘中最低」;
  • 你补一条规则,它换一个同义说法,规则永远追不上。

更麻烦的是,事后规则一旦写得宽,就会误伤正确表述;写得窄,又会漏。上一轮为了让机检通过,反复修豁免词,最后仍然在真实长上下文里漏掉「入场阈值被写成未来作废条件」。

二、方案总览:三层,不靠模型自觉

这次把一条报告拆成三层:

冻结事实包(程序生成,模型只读)
        ↓
JSON 契约(模型只填字段,不写标题和标签)
        ↓
确定性渲染(程序拼 Markdown)
        ↓
事实门(程序核对,失败只回喂一次 JSON 修正)

1. 事实包:先把「当时到底知道什么」冻住

报告里最容易错的不是观点,是口径。事实包至少要有这些字段:

frame = {
    "quotes": [{
        "symbol": "sh.600000", "name": "某持仓",
        "basis": "provisional",          # 盘中快照 / 已结算
        "as_of": "2026-10-19T15:01:45",  # 行情日期,必须能判断是不是上一交易日
        "last": 17.82, "low": 17.51, "high": 17.95,
    }],
    "holding_rules": [{
        "symbol": "sh.600000",
        "status": "active",
        "hard_stop_prices": [17.27541],
        "stop_breached_intraday": False,
    }],
    "position": {
        "weights_complete": True,
        "cash_weight_pct": 50.0,
        "cash_source": "inferred",       # 推定 / 台账确认
        "single_position_limit_pct": None,
    },
    "time_context": {
        "today": "2026-10-20",
        "next_trade_date": "2026-10-21",
        "crosses_weekend_or_holiday": False,
    },
}

这几项分别拦住一类真实错误:

  • basis 和 as_of:防止把上一交易日 15:00 的快照写成「今日盘中」;
  • hard_stop_prices 与 stop_breached_intraday:防止把已破止损写成「未触及」,或只写「明天再跌破才处理」;
  • weights_complete / cash_source:防止把「推定现金」写成台账余额,或在仓位不完整时硬算现金比例;
  • single_position_limit_pct=None:防止把实际 25% 权重写成「单票上限 25%」;
  • time_context:跨周末时,报告必须写「下一交易日(日期),跨周末」,不能只写「明天」。

事实包不是把数据库整个塞给模型。只放报告需要引用、且程序能核对的字段;缺什么就显式写缺失,不能补成零。

2. JSON 契约:模型只负责内容,不负责排版

用 pydantic v2 把报告结构钉死:

from pydantic import BaseModel, ConfigDict, Field
from typing import Literal

class HoldingNote(BaseModel):
    model_config = ConfigDict(extra="forbid")
    name: str = Field(min_length=1)
    basis: str = Field(min_length=1)            # 快照/收盘、结算、复权
    today_trigger: str = Field(min_length=1)    # 盘中最低、最后快照位置、是否执行
    rule_source: str = Field(min_length=1)      # 既有预案及止损价,或没有规则
    tomorrow_condition: str = Field(min_length=1)

class RouteNote(BaseModel):
    model_config = ConfigDict(extra="forbid")
    kind: Literal["add", "hold", "liquidate"]
    support: str = ""
    counter: str = ""
    cost: str = Field(min_length=1)             # 数字或「无法量化」
    pending: str = ""

extra="forbid" 很重要:模型不能夹带 schema 之外的事实。字段名、枚举、必填项由程序保证,模型不需要记「持仓段必须写口径/今日触发/预案来源/明日条件」——它只需要把四个值填对。

3. 确定性渲染:标题、顺序、标点都由程序给

def render(report: Report) -> str:
    lines = ["## 今日结论", report.one_liner, "", "## 持仓怎么办"]
    for h in report.holdings:
        lines.append(
            f"**持仓:{h.name}|口径:{h.basis}|今日触发:{h.today_trigger}|"
            f"预案来源:{h.rule_source}|明日条件:{h.tomorrow_condition}**"
        )
    return "\n".join(lines)

这样做的直接收益:

  • 模型不可能漏掉固定标签;
  • 不会把「持仓」写成「持有」;
  • 不会在行内拼出「。;」;
  • 同一份 JSON 每次渲染结果一致,便于回放和对比。

渲染器只排版,不改写数值、不补事实。字段内容仍然由模型负责。

三、事实门:只机判能机判的

结构化之后,检查从「解析自然语言」降为「校验结构和少量数值一致性」。高置信度的门大概这些:

  • 上一交易日标注:行情日期 < 报告日,但口径/触发没写「上一交易日」或日期。判定依据是日期,确定。
  • 快照口径:行情是 provisional,却写「收盘」或把快照标「前复权」。判定依据是行情状态,确定。
  • 止损已破:stop_breached_intraday=true,触发段没写「跌破 + 是否执行/补做」。判定依据是最低价与止损价,确定。
  • 规则有无:有 active 预案却写「没有规则」,或没有预案却编出止损。判定依据是规则状态,确定。
  • 单票上限:未给上限,却把「单票上限 + 百分比」绑在一起。判定依据是上限字段为 None。
  • 资金流标签:出现净流入数字,却没标单日/三日。判定依据是字段本身就是单日/三日分列。
  • 跨周末:下一交易日跨周末,但只写「明天」。判定依据是日历。
  • 指数复权冲突:指数标注与说明冲突,却写「未发现冲突」。判定依据是标注与说明都在事实包里。

这些门有一个共同点:能直接从事实包算出真假。风格、观点、论证强弱不进来;否则机检会变成另一种「提示词工程」,误报会把好稿逼成坏稿。

举一个实际修过的误报:报告写「无同版本回测证据」。规则最初抓「无 + 回测 + 证据」,判成「声称没有样本外证据」。但「无同版本」是限定范围的如实表述,不是越界断言。后来把规则改成只抓「没有/无 + 样本外/回测 + 证据」且否定词后没有「同版本」限定,误报才消失。

另一个例子:报告写「待证:单票上限是否设定」。这不是在断言上限,只是在列待证事项;规则加上「必须同时出现具体百分比」后,才不再误伤。

结论:事实门要窄、要能解释、要能复现。每加一条规则,先问「它会不会把正确表述判错」,再问「它能不能抓住真实错误」。

四、修复预算:一次 schema、一次事实,失败就拒

结构化路径的模型调用预算:

取证:最多 2 轮补证 + 1 轮总结
schema 校验失败:允许 1 次 JSON 修正
渲染后事实核对失败:允许 1 次 JSON 修正
仍失败:步骤 FAILED / E_QUALITY,不产出正常稿

不是无限重试。原因有两个:

  • 每次重试都要钱、要时间,盘前窗口只有两档;
  • 无限重试会让「失败」消失,最后你看到的是一份被反复修补、但没人知道它原来错在哪的稿子。

失败时保留原稿和命中项到 verification_report 产物,不写通知、不冒充正常报告。宁可当天没有稿,也不把不合格稿送出去。

五、盲评:怎么让评审看不出新旧

机检通过不等于报告好用。这次继续做盲评,但规则比上一篇更具体:

1. 预注册 rubric

六维,每维 0/1/2:

  • 时点与结算口径:2 分=快照/已结算/复权/上一交易日/跨周末都写清;0 分=把快照写成收盘,或把上一交易日写成今日。
  • 持仓规则与触发:2 分=规则、触发、明日条件完整且状态正确;0 分=已破止损写未触及,或明日条件延后处理。
  • 候选资格与执行:2 分=资格/权重/执行一致,入场条件没改成退场;0 分=不可判定写全部通过,或把入场阈值当退出规则。
  • 资金流与量能因果:2 分=单日/三日标签正确,量价方向正确;0 分=混写、缩量下跌说反弹延续。
  • 路线与组合:2 分=三条路线齐全、代价可核、现金/指数口径一致;0 分=漏路线、代价无依据、上限编造。
  • 结构与表达:2 分=固定标签齐全、通篇人话、无内部字段名;0 分=缺标签、出现内部字段名。

关键事实错误一票否决,例如:快照写成已结算、已破止损写成未触及、无规则编规则、有规则写没有、入场阈值改作废条件、已知现金写未知、实际权重写成单票上限、指数冲突写成未发现冲突、上一交易日写成今日。

通过线:单份总分 ≥10/12,六维均 ≥1,关键错误 0。

2. 每天两位评审,材料要裁剪

每个交易日找两位独立评审,只看:

  • 当日冻结事实包(行情、持仓/候选、规则、台账相关记录、时间上下文);
  • 当日报告。

不看:旧稿、版本标签、源码、manifest、评审日志、未来行情。

事实包不能直接把生产上下文整包扔过去:里面有大量与评分无关的台账和资讯,评审会被淹没。这次按标的裁剪台账,只保留报告涉及的批次和最近订单;资讯只保留标题与关联标记,不保留正文。

3. 结果要如实写

这次四天、每天两位评审:

  • 四天都是两人通过,关键事实错误 0;
  • 维度分完全一致率 22/24(91.7%);
  • 但四份的「结构与表达」都是 1/2:主要是「。;」标点粘连,以及「决策事实包」「出口口径」「比较工具」这类内部措辞;
  • 10-20/21 的「路线与组合」各扣 1 分:压力情景写成工具给出,但事实包路线里缺显式冲击情景,评审无法核验;10-20 还把指数冲突写成「未发现冲突」;
  • 10-23 的「候选资格与执行」扣 1 分:5.64 亿元的成交额被写成「接近 3 亿元下限」。

所以结论只能写:四天盲评通过预注册合格线,但没有六维满分,不声称整体质量达标。「通过」不等于「优秀」,这两个词必须分开。

六、工程收尾:测试、回放、发布

1. 测试分两层

  • 程序契约:schema 解析、必填/枚举/额外字段、渲染器确定性、事实门命中与豁免,用单元测试;
  • 语义质量:真实模型输出,用回放和盲评。

不要拿「一千多条测试全绿」证明「报告写得好」。测试能证明字段不会丢、数值不会编,但证明不了模型有没有把「能买」读成「该卖」。

2. 回放要冻结输入

这次用四个交易日的生产只读上下文重放,evidence_mode=frozen:不许现抓行情、不许补看网页、不许用当前库重建历史持仓。回放只证明「同一输入下机制是否稳定」,不证明策略有效。

3. 发布只带验证过的链路

生产发布只覆盖助手链 14 个文件,不把未做浏览器验证的 Web UI、日更、数据层、台账改动一起带上线。发布前核对每个文件 sha256、在新 release 里做导入检查、切换后跑健康检查;旧 release 保留,随时可回滚。

发布后第一件事不是写「上线成功」,而是等下一交易日第一份实稿,看它在真实盘前窗口里是否仍然过门禁。

七、可直接抄的清单

如果你也在做 LLM 生成报告,我会按这个顺序:

  • 1. 先定事实包:哪些事实是报告必须引用的?每个事实能否从程序算出真假?
  • 2. 再定 schema:每只持仓/候选/路线必须有哪些字段?额外字段是否拒收?
  • 3. 写渲染器:标题、顺序、标签、标点全部程序生成,模型只填值。
  • 4. 写事实门:只做能机判的检查;每加一条规则,先测正确表述会不会被误伤。
  • 5. 定修复预算:schema 一次、事实一次,失败就拒;保留原稿与命中项。
  • 6. 做冻结回放:同一批历史输入,新旧各跑一遍;不现抓、不补看、不重建。
  • 7. 做盲评:预注册 rubric,每天两位独立评审,去标签、去源码、去未来信息;先问「能不能用」,再问「谁更好」。
  • 8. 如实写结论:通过合格线就写通过,没满分就写没满分;样本几天就写几天,不冒充统计结论。

最后一句:结构化不会让模型变聪明,它只是让「写错」变得可发现、可拒绝、可复现。 真正值钱的是这条链,不是某一个更长的提示词。

边界

本文只讨论 LLM 报告生成与验收的工程方法;样本为四个交易日的冻结回放与八份独立评审,不作统计推断,也不构成任何投资建议。文中未使用具体持仓、金额或收益数据。


本站内容为个人研究记录与方法分享,模拟,不构成投资建议;据此操作风险自负。