这是我让 pi 自己给自己下的诊断。你有什么建议?

Tạo vào: 17 tháng 11, 2026

Trả lời bằng GPT-6 Thinking bởi Chat01

Câu hỏi

usage-models-month-2026-11-17.csv
ALL.md

这是我让 pi 自己给自己下的诊断。你有什么建议?

Trả lời

我会把它当成一次工程系统审计来读,而不只是评价 pi 的自我总结:先核对报告里的证据和结论,再结合模型用量数据,判断哪些问题真的该优先修、哪些建议可能会引入新的复杂度。

Suy nghĩ

Assessing certification claims

I’m challenging the 27% figure because repeated artifacts may have passed earlier, while later budget exhaustion doesn’t prove they were never reviewed. I’m also checking whether the proposed gate truly blocks ordinary commits or merely tracks assistant state.

Assessed certification claims

Suy nghĩ

Interpreting the metrics

I’m questioning what “share” measures before drawing conclusions. Cached tokens and injected characters aren’t directly comparable, while review outcomes and tool errors may reflect bookkeeping rather than real failures. Recent documentation also can’t fairly be judged using older sessions.

Refining remediation priorities

I’m narrowing the recommendations to evidence-backed risks: avoid broad command triggers, don’t add more automatic context injection, preserve useful safeguards, verify actual context limits empirically, and prioritize exposed credentials and unrestricted network access.

Interpreted metrics and refined remediation priorities

Suy nghĩ

Inspected usage data and evaluated review-gate claims

Suy nghĩ

Refining the diagnosis

I’m treating the 27% figure cautiously: a final blocked review doesn’t prove the artifact was never previously approved. I’m also separating measured failures from inferred causes, especially around commits, triggers, context limits, and caching.

Refined the diagnosis

Suy nghĩ

Separating evidence from inference

I’m prioritizing measured risks over plausible explanations. The main issue is certification integrity, not merely prompt size: blocked final reviews, truncated diffs, and ordinary commits may not establish whether delivered code was actually reviewed.

Reviewed governance rules, cited files, and CSV model usage data

Worked for 2m 1s

Trả lời

我认真读了这份 ALL.md,包括各项子调研、20-synthesis.md、修宪提议,以及 K3.1-pro 最后的自我评价,也看了你附的模型用量 CSV。
我的总体判断:这份自诊断质量相当高,方向基本正确,但我会调整它的优先级,而且不完全同意它提出的解决方案。
它最有价值的发现,不是某个插件浪费了多少 token,而是暴露了一个系统性的设计问题:
你给 pi 建立了一套越来越严格的工程纪律,但这些纪律本身没有形成一个可靠、统一的控制系统。
现在的系统里,审查、提交、知识注入、上下文压缩、经验收割都在独立决策。每个机制都有自己的规则、状态和预算,却缺少共同的交付状态定义。
所以我赞同报告最后的方向:不要继续增加约束,而要减少机制数量,把真正重要的约束做可靠。
但我认为有几个地方,pi 对自己的诊断仍然过于乐观,另有几个关键风险被它低估了。

一、我认为报告有四处需要重新判断

第一,27% 的「未认证交付」不能直接当成真实事故率。
报告统计的是 731 个审查轮中,200 个轮次的最后一次审查结果为额度拒绝。但它自己也记录了 44 次 CPB(CHANGES_REQUIRED → PASS → 额度拒绝)。
因此,「最后一次审查失败」不等于「最终交付物一定没有有效认证」。真正需要统计的是:最终交付的那些字节,有多少没有对应的有效 PASS。 ALL.md L323-L330
不过,runBaselineHash = hash 让未认证状态在下一轮消失,确实是严重的设计缺陷。
而且我不赞成「改 4 行就修好」的说法。仅仅删掉那两处赋值,可能造成下一次交还继续陷入拦截循环。需要明确区分 PASS、CHANGES_REQUIRED、REVIEW_PENDING 和 USER_WAIVED,而不是用一个 baseline hash 隐含表达所有状态。
第二,它低估了另一种更危险的假认证:审查没有读完文件,却仍然可以 PASS。
buildUntrackedDiff 对超过 20,000 字符的未跟踪文件会截断内容,但文件仍可能进入认证集合。ALL.md L369-L370
这和额度用尽放行属于同一类问题:认证所覆盖的证据,不等于认证声称覆盖的产物。
我会把它与额度豁免列为同一 P0,而不是放在后面优化。
第三,/commit-reviewed 的问题不只是跨仓键控。
报告记录了 118 次普通 git commit,而 /commit-reviewed 只调用过一次。这不能证明所有普通提交都是在绕门,但说明专用提交入口至少还没有成为主流程。
所以即使修好了 certifiedPaths,也不代表提交约束真的生效。
这里需要做产品选择:如果它只是推荐工作流,就明确标注为推荐;如果想保证提交前审查,就必须在真实的提交路径上验证收据,例如受控提交入口、Git hook 或 CI。不能让一个可绕过的命令承担强制约束的名义。
第四,「技能卡没效果」这个结论下得太早。
报告用 12 条样本推测自动推送的行为收益接近零,证据还不够。三张索引卡又是在调研过程中才重构的,用大量改造前的历史会话衡量改造后的按需阅读效果,也不公平。
不过,它确实证明了当前触发器有大量误报,而且推送发生在工具结果之后。像 jj abandon @ 这种危险操作,命令执行完再提醒已经来不及。
所以我赞成缩减注入,但不认为单纯改成 argv[0] 就解决了问题。比如对 rg 的匹配,即使改成 argv[0],普通 rg 搜索仍然会命中。应该进一步匹配真正危险的参数组合。

二、我会按这个顺序改造

下面是我建议的实际实施顺序。我会拆成几个独立、可回滚的改动,而不是让 pi 一次性重构整个 harness。
01
先重建 Review Receipt 的正确性
认证对象不应只是 (仓, 文件哈希),而应该包含仓库身份、基准版本、完整变更集合、需求账本版本和审查范围。任何内容截断、范围遗漏或审后修改都应使认证失效。额度耗尽则保留未认证状态,而不是继续或隐式放行。
验收重点不是调用多少次 PASS,而是有没有任何未经完整审阅的变更被当成 PASS。

02
修复环境与升级的可靠性
先修 pi-sandbox 已经失效的补丁链,避免升级后静默丢功能。验证模型网关的实际上下文窗口,再修 compaction.modelOverrides,不要直接把 context-display.json 当作真实值。
同时检查报告提到的明文 API Key 和 sandbox.json 中的 allowedDomains: ["*"]。这是潜在的凭据和网络访问风险,优先级比裁剪 AGENTS.md 高。

03
先停用噪音,再重新设计技能推送
我会优先关掉 pi-lsp 的自动诊断注入,保留显式诊断能力。报告中的 941 条诊断消息、缺失二进制提示和重复输出,收益明显存疑。
对技能卡则采用「短症状提示 + 明确文件指针」,高风险操作在执行前提示。不是所有 8 张未触发的卡都需要补自动触发器:部分知识只适合按需调用。

04
精简机制,但不要盲目卸载
claim-gate 的 basename 证明逻辑既容易误报,也不能证明结论正确,我倾向于让它退出默认强制路径。experience-harvest 改成有明确新经验时才触发,并禁止自动改写全局行为契约。
pi-checkpoints 则先解决不覆盖 patch 的问题,再决定保留与否。plannotator 有真实人工使用数据,statusline 属纯 UI 功能,不能因为 JSONL 没调用记录就断定没价值。

05
最后才决定是否实现「修宪提议」
我赞成 pi 能报告「规则本身不合理」,不赞成它自己修改安全门。但第一版只需要在现有日志记录触发条件、失败原因和建议,不必急着加 /amend 命令和新的状态管理体系。
先积累真实提议,再决定是否值得做分诊 UI。

三、模型用量数据改变了我对「优化 token」的看法

你提供的 CSV 很关键。我重新汇总了一下:
本月累计请求

25,923

估算 Credit 总量

615.93

缓存命中输入

35.36 亿

未命中输入

1.01 亿

主力模型 deepseek-v4.1-flash 的数据尤其有意思:
缓存命中率
98.3%
25,059 次请求
约 140,033 缓存 token / 请求
这意味着:你的主力模型大部分输入已经被缓存。报告里的 133 万字符技能注入值得优化,但不能简单把「减少注入字符」等同于「按相同比例减少 Credit」。
缓存内容仍可能影响模型注意力、上下文占用、延迟和有效信息密度,但实际账单收益需要用请求级数据测量。
而且 glm-5.3-flash 的缓存命中率只有 0.4%,659 次请求对应约 3,907 万未命中输入 token。这是另一个值得单独检查的成本与缓存行为异常,尽管它的估算 Credit 占比不大。
所以我会把优化目标从「注入了多少字符」改成「完成一次被接受的工程任务,需要多少总成本和多少人工干预」。

四、这份自诊断还缺一个关键东西:对照实验

目前报告擅长发现机制的内部不一致,但没有充分证明改造之后用户实际获得了多少收益。
例如,patch 比 edit 的历史错误率更高,并不自动意味着接口设计更差,因为两者的使用时间、任务难度和调用方式可能不同。
我建议把这份诊断转化成一个固定的回归基准。挑选 20 个真实历史任务,覆盖普通代码修改、跨仓提交、大型未跟踪文件、长会话压缩和纯文档修改。之后每次调整 harness,都用相同任务回放,测量完成率、漏审率、有效审查 finding、总 Credit、耗时以及人工纠正次数。
最重要的指标,我会定义为:
有效交付效率=验收通过且证据完整的任务数总成本\text{有效交付效率} = \frac{\text{验收通过且证据完整的任务数}} {\text{总成本}}
同时把「未认证变更被错误放行」设为独立安全指标,不能允许它因为总体效率提高就被抵消。
这样你才能回答真正重要的问题:删掉 claim-gate 之后,pi 是更快、更准了,还是只是更少被阻止了?

五、我最终想给你的建议

我其实非常赞同你尝试的方向:不要让 coding agent 只靠 prompt 自觉地遵守纪律,而是让它拥有可检查、可回放、可审计的工作流程。
但我认为,这套系统已经到了一个转折点。
继续为每个坏习惯编写独立扩展,边际收益会越来越低。因为 agent 很快会从「被任务本身困住」,变成「被自己的工作流困住」。
我会把最终目标收敛到三个东西:
需求账本:What should be done?
明确任务边界、约束和验收标准。

交付收据:What was actually verified?
绑定真实产物和验证证据,不把模型的 PASS 当成绝对正确。

按需知识:What does the agent need to know now?
不再将经验库自动变成永久的上下文负担。
其他东西——压缩、沙箱、后台任务、补丁、检查点——都应该作为基础设施存在,而不是在每一轮对话里独立地教育或纠正模型。
如果是我的 pi,我下一步不会让它继续写新机制。我会让它先把「审查状态、实际交付物、真实提交行为」三者统一起来。
这比再省下几十万 token 更重要。
还有一点值得保留:这份报告敢于承认自己刚刚完成的「索引卡 + docs」重构只解决了一半问题。这种能够用历史记录反驳自身设计假设的能力,是整个系统里非常有价值的部分。应该保留这种诊断能力,但不要让诊断者自动成为自己规则的立法者。
以上判断基于你上传的报告与 CSV;我没有拿到 review-workflow.ts、实际会话 JSONL 和 Git 仓库,因此报告中的代码级缺陷仍应通过红绿测试独立复现。
Text version

我认真读了这份 ALL.md,包括各项子调研、20-synthesis.md、修宪提议,以及 K3.1-pro 最后的自我评价,也看了你附的模型用量 CSV。

我的总体判断:这份自诊断质量相当高,方向基本正确,但我会调整它的优先级,而且不完全同意它提出的解决方案。

它最有价值的发现,不是某个插件浪费了多少 token,而是暴露了一个系统性的设计问题:

你给 pi 建立了一套越来越严格的工程纪律,但这些纪律本身没有形成一个可靠、统一的控制系统。

现在的系统里,审查、提交、知识注入、上下文压缩、经验收割都在独立决策。每个机制都有自己的规则、状态和预算,却缺少共同的交付状态定义。

所以我赞同报告最后的方向:不要继续增加约束,而要减少机制数量,把真正重要的约束做可靠。

但我认为有几个地方,pi 对自己的诊断仍然过于乐观,另有几个关键风险被它低估了。

一、我认为报告有四处需要重新判断

第一,27% 的「未认证交付」不能直接当成真实事故率。

报告统计的是 731 个审查轮中,200 个轮次的最后一次审查结果为额度拒绝。但它自己也记录了 44 次 CPB(CHANGES_REQUIRED → PASS → 额度拒绝)。

因此,「最后一次审查失败」不等于「最终交付物一定没有有效认证」。真正需要统计的是:最终交付的那些字节,有多少没有对应的有效 PASS。

不过,runBaselineHash = hash 让未认证状态在下一轮消失,确实是严重的设计缺陷。

而且我不赞成「改 4 行就修好」的说法。仅仅删掉那两处赋值,可能造成下一次交还继续陷入拦截循环。需要明确区分 PASS、CHANGES_REQUIRED、REVIEW_PENDING 和 USER_WAIVED,而不是用一个 baseline hash 隐含表达所有状态。

第二,它低估了另一种更危险的假认证:审查没有读完文件,却仍然可以 PASS。

buildUntrackedDiff 对超过 20,000 字符的未跟踪文件会截断内容,但文件仍可能进入认证集合。

这和额度用尽放行属于同一类问题:认证所覆盖的证据,不等于认证声称覆盖的产物。

我会把它与额度豁免列为同一 P0,而不是放在后面优化。

第三,/commit-reviewed 的问题不只是跨仓键控。

报告记录了 118 次普通 git commit,而 /commit-reviewed 只调用过一次。这不能证明所有普通提交都是在绕门,但说明专用提交入口至少还没有成为主流程。

所以即使修好了 certifiedPaths,也不代表提交约束真的生效。

这里需要做产品选择:如果它只是推荐工作流,就明确标注为推荐;如果想保证提交前审查,就必须在真实的提交路径上验证收据,例如受控提交入口、Git hook 或 CI。不能让一个可绕过的命令承担强制约束的名义。

第四,「技能卡没效果」这个结论下得太早。

报告用 12 条样本推测自动推送的行为收益接近零,证据还不够。三张索引卡又是在调研过程中才重构的,用大量改造前的历史会话衡量改造后的按需阅读效果,也不公平。

不过,它确实证明了当前触发器有大量误报,而且推送发生在工具结果之后。像 jj abandon @ 这种危险操作,命令执行完再提醒已经来不及。

所以我赞成缩减注入,但不认为单纯改成 argv[0] 就解决了问题。比如对 rg 的匹配,即使改成 argv[0],普通 rg 搜索仍然会命中。应该进一步匹配真正危险的参数组合。

二、我会按这个顺序改造

下面是我建议的实际实施顺序。我会拆成几个独立、可回滚的改动,而不是让 pi 一次性重构整个 harness。

01

先重建 Review Receipt 的正确性

认证对象不应只是 (仓, 文件哈希),而应该包含仓库身份、基准版本、完整变更集合、需求账本版本和审查范围。任何内容截断、范围遗漏或审后修改都应使认证失效。额度耗尽则保留未认证状态,而不是继续或隐式放行。

验收重点不是调用多少次 PASS,而是有没有任何未经完整审阅的变更被当成 PASS。


02

修复环境与升级的可靠性

先修 pi-sandbox 已经失效的补丁链,避免升级后静默丢功能。验证模型网关的实际上下文窗口,再修 compaction.modelOverrides,不要直接把 context-display.json 当作真实值。

同时检查报告提到的明文 API Key 和 sandbox.json 中的 allowedDomains: ["*"]。这是潜在的凭据和网络访问风险,优先级比裁剪 AGENTS.md 高。


03

先停用噪音,再重新设计技能推送

我会优先关掉 pi-lsp 的自动诊断注入,保留显式诊断能力。报告中的 941 条诊断消息、缺失二进制提示和重复输出,收益明显存疑。

对技能卡则采用「短症状提示 + 明确文件指针」,高风险操作在执行前提示。不是所有 8 张未触发的卡都需要补自动触发器:部分知识只适合按需调用。


04

精简机制,但不要盲目卸载

claim-gate 的 basename 证明逻辑既容易误报,也不能证明结论正确,我倾向于让它退出默认强制路径。experience-harvest 改成有明确新经验时才触发,并禁止自动改写全局行为契约。

pi-checkpoints 则先解决不覆盖 patch 的问题,再决定保留与否。plannotator 有真实人工使用数据,statusline 属纯 UI 功能,不能因为 JSONL 没调用记录就断定没价值。


05

最后才决定是否实现「修宪提议」

我赞成 pi 能报告「规则本身不合理」,不赞成它自己修改安全门。但第一版只需要在现有日志记录触发条件、失败原因和建议,不必急着加 /amend 命令和新的状态管理体系。

先积累真实提议,再决定是否值得做分诊 UI。

三、模型用量数据改变了我对「优化 token」的看法

你提供的 CSV 很关键。我重新汇总了一下:

本月累计请求

25,923

估算 Credit 总量

615.93

缓存命中输入

35.36 亿

未命中输入

1.01 亿

主力模型 deepseek-v4.1-flash 的数据尤其有意思:

缓存命中率 98.3%

25,059 次请求 约 140,033 缓存 token / 请求

这意味着:你的主力模型大部分输入已经被缓存。报告里的 133 万字符技能注入值得优化,但不能简单把「减少注入字符」等同于「按相同比例减少 Credit」。

缓存内容仍可能影响模型注意力、上下文占用、延迟和有效信息密度,但实际账单收益需要用请求级数据测量。

而且 glm-5.3-flash 的缓存命中率只有 0.4%,659 次请求对应约 3,907 万未命中输入 token。这是另一个值得单独检查的成本与缓存行为异常,尽管它的估算 Credit 占比不大。

所以我会把优化目标从「注入了多少字符」改成「完成一次被接受的工程任务,需要多少总成本和多少人工干预」。

四、这份自诊断还缺一个关键东西:对照实验

目前报告擅长发现机制的内部不一致,但没有充分证明改造之后用户实际获得了多少收益。

例如,patch 比 edit 的历史错误率更高,并不自动意味着接口设计更差,因为两者的使用时间、任务难度和调用方式可能不同。

我建议把这份诊断转化成一个固定的回归基准。挑选 20 个真实历史任务,覆盖普通代码修改、跨仓提交、大型未跟踪文件、长会话压缩和纯文档修改。之后每次调整 harness,都用相同任务回放,测量完成率、漏审率、有效审查 finding、总 Credit、耗时以及人工纠正次数。

最重要的指标,我会定义为:

有效交付效率=验收通过且证据完整的任务数总成本\text{有效交付效率} = \frac{\text{验收通过且证据完整的任务数}} {\text{总成本}}

同时把「未认证变更被错误放行」设为独立安全指标,不能允许它因为总体效率提高就被抵消。

这样你才能回答真正重要的问题:删掉 claim-gate 之后,pi 是更快、更准了,还是只是更少被阻止了?


五、我最终想给你的建议

我其实非常赞同你尝试的方向:不要让 coding agent 只靠 prompt 自觉地遵守纪律,而是让它拥有可检查、可回放、可审计的工作流程。

但我认为,这套系统已经到了一个转折点。

继续为每个坏习惯编写独立扩展,边际收益会越来越低。因为 agent 很快会从「被任务本身困住」,变成「被自己的工作流困住」。

我会把最终目标收敛到三个东西:

需求账本:What should be done?

明确任务边界、约束和验收标准。


交付收据:What was actually verified?

绑定真实产物和验证证据,不把模型的 PASS 当成绝对正确。


按需知识:What does the agent need to know now?

不再将经验库自动变成永久的上下文负担。

其他东西——压缩、沙箱、后台任务、补丁、检查点——都应该作为基础设施存在,而不是在每一轮对话里独立地教育或纠正模型。

如果是我的 pi,我下一步不会让它继续写新机制。我会让它先把「审查状态、实际交付物、真实提交行为」三者统一起来。

这比再省下几十万 token 更重要。

还有一点值得保留:这份报告敢于承认自己刚刚完成的「索引卡 + docs」重构只解决了一半问题。这种能够用历史记录反驳自身设计假设的能力,是整个系统里非常有价值的部分。应该保留这种诊断能力,但不要让诊断者自动成为自己规则的立法者。

以上判断基于你上传的报告与 CSV;我没有拿到 review-workflow.ts、实际会话 JSONL 和 Git 仓库,因此报告中的代码级缺陷仍应通过红绿测试独立复现。

Chia sẻ Q&A này