这是我让 pi 自己给自己下的诊断。你有什么建议?
Creado el: 17 de noviembre de 2026
Respondido usando GPT-6 Thinking por Chat01
Creado el: 17 de noviembre de 2026
Respondido usando GPT-6 Thinking por Chat01
这是我让 pi 自己给自己下的诊断。你有什么建议?
我会把它当成一次工程系统审计来读,而不只是评价 pi 的自我总结:先核对报告里的证据和结论,再结合模型用量数据,判断哪些问题真的该优先修、哪些建议可能会引入新的复杂度。
ALL.md,包括各项子调研、20-synthesis.md、修宪提议,以及 K3.1-pro 最后的自我评价,也看了你附的模型用量 CSV。CPB(CHANGES_REQUIRED → PASS → 额度拒绝)。runBaselineHash = hash 让未认证状态在下一轮消失,确实是严重的设计缺陷。PASS、CHANGES_REQUIRED、REVIEW_PENDING 和 USER_WAIVED,而不是用一个 baseline hash 隐含表达所有状态。buildUntrackedDiff 对超过 20,000 字符的未跟踪文件会截断内容,但文件仍可能进入认证集合。ALL.md L369-L370/commit-reviewed 的问题不只是跨仓键控。git commit,而 /commit-reviewed 只调用过一次。这不能证明所有普通提交都是在绕门,但说明专用提交入口至少还没有成为主流程。certifiedPaths,也不代表提交约束真的生效。jj abandon @ 这种危险操作,命令执行完再提醒已经来不及。argv[0] 就解决了问题。比如对 rg 的匹配,即使改成 argv[0],普通 rg 搜索仍然会命中。应该进一步匹配真正危险的参数组合。(仓, 文件哈希),而应该包含仓库身份、基准版本、完整变更集合、需求账本版本和审查范围。任何内容截断、范围遗漏或审后修改都应使认证失效。额度耗尽则保留未认证状态,而不是继续或隐式放行。pi-sandbox 已经失效的补丁链,避免升级后静默丢功能。验证模型网关的实际上下文窗口,再修 compaction.modelOverrides,不要直接把 context-display.json 当作真实值。sandbox.json 中的 allowedDomains: ["*"]。这是潜在的凭据和网络访问风险,优先级比裁剪 AGENTS.md 高。pi-lsp 的自动诊断注入,保留显式诊断能力。报告中的 941 条诊断消息、缺失二进制提示和重复输出,收益明显存疑。claim-gate 的 basename 证明逻辑既容易误报,也不能证明结论正确,我倾向于让它退出默认强制路径。experience-harvest 改成有明确新经验时才触发,并禁止自动改写全局行为契约。pi-checkpoints 则先解决不覆盖 patch 的问题,再决定保留与否。plannotator 有真实人工使用数据,statusline 属纯 UI 功能,不能因为 JSONL 没调用记录就断定没价值。/amend 命令和新的状态管理体系。deepseek-v4.1-flash 的数据尤其有意思:glm-5.3-flash 的缓存命中率只有 0.4%,659 次请求对应约 3,907 万未命中输入 token。这是另一个值得单独检查的成本与缓存行为异常,尽管它的估算 Credit 占比不大。patch 比 edit 的历史错误率更高,并不自动意味着接口设计更差,因为两者的使用时间、任务难度和调用方式可能不同。claim-gate 之后,pi 是更快、更准了,还是只是更少被阻止了?review-workflow.ts、实际会话 JSONL 和 Git 仓库,因此报告中的代码级缺陷仍应通过红绿测试独立复现。我认真读了这份 ALL.md,包括各项子调研、20-synthesis.md、修宪提议,以及 K3.1-pro 最后的自我评价,也看了你附的模型用量 CSV。
我的总体判断:这份自诊断质量相当高,方向基本正确,但我会调整它的优先级,而且不完全同意它提出的解决方案。
它最有价值的发现,不是某个插件浪费了多少 token,而是暴露了一个系统性的设计问题:
你给 pi 建立了一套越来越严格的工程纪律,但这些纪律本身没有形成一个可靠、统一的控制系统。
现在的系统里,审查、提交、知识注入、上下文压缩、经验收割都在独立决策。每个机制都有自己的规则、状态和预算,却缺少共同的交付状态定义。
所以我赞同报告最后的方向:不要继续增加约束,而要减少机制数量,把真正重要的约束做可靠。
但我认为有几个地方,pi 对自己的诊断仍然过于乐观,另有几个关键风险被它低估了。
第一,27% 的「未认证交付」不能直接当成真实事故率。
报告统计的是 731 个审查轮中,200 个轮次的最后一次审查结果为额度拒绝。但它自己也记录了 44 次 CPB(CHANGES_REQUIRED → PASS → 额度拒绝)。
因此,「最后一次审查失败」不等于「最终交付物一定没有有效认证」。真正需要统计的是:最终交付的那些字节,有多少没有对应的有效 PASS。
不过,runBaselineHash = hash 让未认证状态在下一轮消失,确实是严重的设计缺陷。
而且我不赞成「改 4 行就修好」的说法。仅仅删掉那两处赋值,可能造成下一次交还继续陷入拦截循环。需要明确区分 PASS、CHANGES_REQUIRED、REVIEW_PENDING 和 USER_WAIVED,而不是用一个 baseline hash 隐含表达所有状态。
第二,它低估了另一种更危险的假认证:审查没有读完文件,却仍然可以 PASS。
buildUntrackedDiff 对超过 20,000 字符的未跟踪文件会截断内容,但文件仍可能进入认证集合。
这和额度用尽放行属于同一类问题:认证所覆盖的证据,不等于认证声称覆盖的产物。
我会把它与额度豁免列为同一 P0,而不是放在后面优化。
第三,/commit-reviewed 的问题不只是跨仓键控。
报告记录了 118 次普通 git commit,而 /commit-reviewed 只调用过一次。这不能证明所有普通提交都是在绕门,但说明专用提交入口至少还没有成为主流程。
所以即使修好了 certifiedPaths,也不代表提交约束真的生效。
这里需要做产品选择:如果它只是推荐工作流,就明确标注为推荐;如果想保证提交前审查,就必须在真实的提交路径上验证收据,例如受控提交入口、Git hook 或 CI。不能让一个可绕过的命令承担强制约束的名义。
第四,「技能卡没效果」这个结论下得太早。
报告用 12 条样本推测自动推送的行为收益接近零,证据还不够。三张索引卡又是在调研过程中才重构的,用大量改造前的历史会话衡量改造后的按需阅读效果,也不公平。
不过,它确实证明了当前触发器有大量误报,而且推送发生在工具结果之后。像 jj abandon @ 这种危险操作,命令执行完再提醒已经来不及。
所以我赞成缩减注入,但不认为单纯改成 argv[0] 就解决了问题。比如对 rg 的匹配,即使改成 argv[0],普通 rg 搜索仍然会命中。应该进一步匹配真正危险的参数组合。
下面是我建议的实际实施顺序。我会拆成几个独立、可回滚的改动,而不是让 pi 一次性重构整个 harness。
01
先重建 Review Receipt 的正确性
认证对象不应只是 (仓, 文件哈希),而应该包含仓库身份、基准版本、完整变更集合、需求账本版本和审查范围。任何内容截断、范围遗漏或审后修改都应使认证失效。额度耗尽则保留未认证状态,而不是继续或隐式放行。
验收重点不是调用多少次 PASS,而是有没有任何未经完整审阅的变更被当成 PASS。
02
修复环境与升级的可靠性
先修 pi-sandbox 已经失效的补丁链,避免升级后静默丢功能。验证模型网关的实际上下文窗口,再修 compaction.modelOverrides,不要直接把 context-display.json 当作真实值。
同时检查报告提到的明文 API Key 和 sandbox.json 中的 allowedDomains: ["*"]。这是潜在的凭据和网络访问风险,优先级比裁剪 AGENTS.md 高。
03
先停用噪音,再重新设计技能推送
我会优先关掉 pi-lsp 的自动诊断注入,保留显式诊断能力。报告中的 941 条诊断消息、缺失二进制提示和重复输出,收益明显存疑。
对技能卡则采用「短症状提示 + 明确文件指针」,高风险操作在执行前提示。不是所有 8 张未触发的卡都需要补自动触发器:部分知识只适合按需调用。
04
精简机制,但不要盲目卸载
claim-gate 的 basename 证明逻辑既容易误报,也不能证明结论正确,我倾向于让它退出默认强制路径。experience-harvest 改成有明确新经验时才触发,并禁止自动改写全局行为契约。
pi-checkpoints 则先解决不覆盖 patch 的问题,再决定保留与否。plannotator 有真实人工使用数据,statusline 属纯 UI 功能,不能因为 JSONL 没调用记录就断定没价值。
05
最后才决定是否实现「修宪提议」
我赞成 pi 能报告「规则本身不合理」,不赞成它自己修改安全门。但第一版只需要在现有日志记录触发条件、失败原因和建议,不必急着加 /amend 命令和新的状态管理体系。
先积累真实提议,再决定是否值得做分诊 UI。
你提供的 CSV 很关键。我重新汇总了一下:
本月累计请求
估算 Credit 总量
缓存命中输入
未命中输入
主力模型 deepseek-v4.1-flash 的数据尤其有意思:
缓存命中率 98.3%
25,059 次请求 约 140,033 缓存 token / 请求
这意味着:你的主力模型大部分输入已经被缓存。报告里的 133 万字符技能注入值得优化,但不能简单把「减少注入字符」等同于「按相同比例减少 Credit」。
缓存内容仍可能影响模型注意力、上下文占用、延迟和有效信息密度,但实际账单收益需要用请求级数据测量。
而且 glm-5.3-flash 的缓存命中率只有 0.4%,659 次请求对应约 3,907 万未命中输入 token。这是另一个值得单独检查的成本与缓存行为异常,尽管它的估算 Credit 占比不大。
所以我会把优化目标从「注入了多少字符」改成「完成一次被接受的工程任务,需要多少总成本和多少人工干预」。
目前报告擅长发现机制的内部不一致,但没有充分证明改造之后用户实际获得了多少收益。
例如,patch 比 edit 的历史错误率更高,并不自动意味着接口设计更差,因为两者的使用时间、任务难度和调用方式可能不同。
我建议把这份诊断转化成一个固定的回归基准。挑选 20 个真实历史任务,覆盖普通代码修改、跨仓提交、大型未跟踪文件、长会话压缩和纯文档修改。之后每次调整 harness,都用相同任务回放,测量完成率、漏审率、有效审查 finding、总 Credit、耗时以及人工纠正次数。
最重要的指标,我会定义为:
同时把「未认证变更被错误放行」设为独立安全指标,不能允许它因为总体效率提高就被抵消。
这样你才能回答真正重要的问题:删掉 claim-gate 之后,pi 是更快、更准了,还是只是更少被阻止了?
我其实非常赞同你尝试的方向:不要让 coding agent 只靠 prompt 自觉地遵守纪律,而是让它拥有可检查、可回放、可审计的工作流程。
但我认为,这套系统已经到了一个转折点。
继续为每个坏习惯编写独立扩展,边际收益会越来越低。因为 agent 很快会从「被任务本身困住」,变成「被自己的工作流困住」。
我会把最终目标收敛到三个东西:
需求账本:What should be done?
明确任务边界、约束和验收标准。
交付收据:What was actually verified?
绑定真实产物和验证证据,不把模型的 PASS 当成绝对正确。
按需知识:What does the agent need to know now?
不再将经验库自动变成永久的上下文负担。
其他东西——压缩、沙箱、后台任务、补丁、检查点——都应该作为基础设施存在,而不是在每一轮对话里独立地教育或纠正模型。
如果是我的 pi,我下一步不会让它继续写新机制。我会让它先把「审查状态、实际交付物、真实提交行为」三者统一起来。
这比再省下几十万 token 更重要。
还有一点值得保留:这份报告敢于承认自己刚刚完成的「索引卡 + docs」重构只解决了一半问题。这种能够用历史记录反驳自身设计假设的能力,是整个系统里非常有价值的部分。应该保留这种诊断能力,但不要让诊断者自动成为自己规则的立法者。
以上判断基于你上传的报告与 CSV;我没有拿到 review-workflow.ts、实际会话 JSONL 和 Git 仓库,因此报告中的代码级缺陷仍应通过红绿测试独立复现。