这是我让 pi 自己给自己下的诊断。你有什么建议?

Criado em: 17 de novembro de 2026

Respondido usando GPT-6 Thinking por Chat01

Pergunta

ALL.md
usage-models-today-2026-11-17.csv

这是我让 pi 自己给自己下的诊断。你有什么建议?

Pensamento

Reviewing the diagnosis

I’m examining the uploaded diagnosis and usage data together, checking whether its metrics support the conclusions. I’ll prioritize practical recommendations, challenge weak assumptions, and separate architectural issues from measurement problems.

Reviewed the diagnosis

Resposta

我会把这份自诊断当作一次架构审查来读:先核对它的证据和结论是否匹配,再结合你附的模型用量数据,给出我认为值得优先修、应该删掉,以及暂时不该动的部分。

Pensamento

Analyzed existing content and CSV data

Pensamento

Interpreting usage data

I’m separating today’s measurements from longer-term claims. The data suggests roughly 97% cached input, about 101,000 effective context tokens per request, and DeepSeek dominating cost, but the one-day sample can’t establish historical trends.

Clarifying review metrics

I’m distinguishing budget rejections from genuinely unreviewed changes: a final rejection may follow an earlier approval. I’m also separating cache efficiency from context bloat, since high caching can reduce cost without eliminating latency or maintenance risks.

Interpreted usage data and clarified review metrics

Pensamento

Analyzed CSV files, usage totals, cache efficiency, and audit risks

Pensamento

Prioritizing fixes

I’m treating the diagnosis as directionally useful, but not every percentage as proven. My priorities are snapshot-bound review certification, explicit blocked states, pre-action safeguards, tighter credential and network controls, and metrics that distinguish cost, latency, and context size.

Designing an action plan

I’m ranking recommendations by failure impact, not frequency. Immediate work is review-state correctness, complete snapshot evidence, commit enforcement, startup validation, and compaction ownership; optimization comes after these controls are measurable.

Prioritized fixes and designed an action plan

Pensamento

Finalizing recommendations

I’m consolidating this into a risk-first plan. The strongest diagnosis is about review correctness, evidence completeness, and control boundaries; usage optimization should follow verified fixes rather than lead them.

Finalized recommendations

Reviewed technical report security details and searched usage metrics

Worked for 2m 17s

Resposta

Text version

我认真读了这份合并诊断,包括 Pi 自己的总结、各模块的证据、修宪提议和 K3.1-pro 的意见,也看了你附的当天模型用量 CSV。

我的总体判断是:

Pi 对问题的定位大体正确,但它提出的解决方案仍然有些过度工程化。我会赞成它做减法,却不会完全照它给出的优先级执行。

这套系统最有价值的地方,是它已经形成了「需求 → 实现 → 独立审查 → 修复 → 交付」的工程纪律。真正需要修的,是支撑这套纪律的状态管理,而不是把纪律本身拆掉。

我认为有三个核心问题:

  1. 把过程限制误当作质量结论。 审查额度耗尽不应该意味着可以交付,审查 PASS 也必须对应一份具体、完整、未被修改的产物。
  2. 执行机制比实际需求复杂。 多个 hook、预算、上下文机制互相干扰,模型花了大量精力理解和绕过 harness,而不是完成用户任务。
  3. 系统衡量了大量机制活动,却缺少任务级结果指标。 审查调用了多少次、技能注入多少字符、扩展有多少错误,都不能直接说明最终代码质量和实际效率。

还有一个重要的统计修正:报告中「27% 未认证交付」这个说法不够严谨。它直接观测到的是 27% 的审查轮最后一次结果为额度拒绝;其中可能存在此前已经 PASS 的版本。要计算真实未认证交付率,必须关联最终交付的文件快照与审查收据。

下面是我会实际采用的调整顺序。

一、我建议的实际改造顺序

优先级改造对象我希望得到的结果
P0Review 认证状态与覆盖范围不再有假放行,也不允许审查未读完的内容后 PASS
P0提交与回滚的可靠性审查、提交、checkpoint 对同一份产物有一致认识
P0补丁与运行环境升级不会静默丢失关键修复
P1模型窗口、压缩、上下文只有一套可信的容量口径和压缩策略
P1Skills、LSP、自动注入减少无效上下文,不损失真正需要的知识
P2Claim gate、经验收割、闲置扩展删除重复责任和低价值的强制行为

1. 不要只修那四行代码,应该明确 Review 的状态机

Pi 建议删除额度耗尽时的 runBaselineHash = hash。这个方向完全正确,但我认为四行补丁不足以解决根本问题。

需要把几个状态真正分开:

预算阻塞是未完成状态,不是 PASS,也不必导致无限循环。

认证收据应该绑定到仓库身份、代码基准版本、文件路径与完整内容哈希、审查范围,而不只是一次会话或一次工具调用。

尤其要同时处理报告里另一个问题:超过 20,000 字符的未跟踪文件可能被截断展示,却仍然获得 PASS。这是审查证据不完整的问题,和额度豁免一样值得列为 P0。

我会允许预算耗尽时停止尝试,但必须明确留下 BLOCKED_BUDGET 状态,并在后续继续审查或由用户显式豁免。不能隐式当成已认证。

2. /commit-reviewed 的问题,比 Pi 描述的更深

Pi 把仓库键控 bug 排第二,我同意需要修,但它忽略了一个更大的事实:

报告统计中,/commit-reviewed 只被调用过一次,而普通 git commit 出现了 118 次。

这不能直接证明大家是因为前者有 bug 才使用后者,但可以说明:目前 /commit-reviewed 不是实际交付过程中稳定使用的入口。

如果你真正想要强制认证,单靠 Pi 的 slash command 不够。可以让 Pi 的正常提交工作流自动带上收据验证;更重要的仓库则让 CI 检查审查状态。否则即便修好了跨仓键控,普通 Git 提交仍然能够绕过这条流程。

另外,报告已经证实 patch 修改绕过了 pi-checkpoints 的监听,切换后约 894 次 patch 没有对应的文件快照。这会让回滚能力出现静默缺口,我会在删除任何 checkpoint 包之前先修它。

3. 模型上下文配置先统一,再谈优化

这部分比拆技能卡更值得尽快修。

报告里的 models.json、context-display.json、compaction.reserveTokens 对窗口的理解互相冲突。最危险的做法是只删除九条 override,却留下错误的 contextWindow,那反而可能让压缩触发得更晚。

我的建议是先验证网关实际支持的上下文长度,再让压缩触发阈值从它计算出来。同时让 pi-tuck 与 Pi 原生压缩明确选择一个主要控制者,不再让两个扩展反复互相让位。

在当前压缩状态没有跑通前,继续增加 pin、recall、escalate 规则,只会扩大排查范围。

二、Skills 不只是「整卡还是指针」的问题

我觉得 Pi 这里有一个更值得注意的发现:skill-push 是在工具执行之后通过 tool_result 注入知识的。

例如报告里的 jj abandon @:危险命令已经执行了,随后才推送「这种情况不要 abandon」的规则。即使模型完全遵守卡片,也来不及挽救本次操作。

所以我会区分两类知识:

不可违反的操作约束,例如破坏性版本控制操作、认证边界,应该在动作之前由轻量规则或明确的工具接口约束。

问题排查与领域知识,例如 LLVM_DEBUG、编译器陷阱、Python pickle,应该按需读取,而不是无条件长篇注入。

Pi 的「索引卡 + 症状表」值得试,但我不建议强制每次命中都读完整 docs。最好先测真实任务中能否正确选择文档,再判断什么时候值得增加读取成本。

另外,用 argv[0] 替代整段命令正则是改进方向,但 shell 可能包含管道、bash -c、heredoc、多个子命令,仅看首个 token 也会漏报。宁可先收窄触发条件,也不要制造一个看似准确的简陋解析器。

三、从你当天的模型用量看,优化目标也需要调整

我根据 usage-models-today-2026-11-17.csv 重新计算了一下:

模型请求总数

614

估算 Credit 用量

10.1106

缓存命中输入 Tokens

61.26M

缓存未命中输入 Tokens

1.78M


总体输入 Token 缓存命中率

97.2%

按三种模型输入 token 加权计算;不是请求级缓存命中率。

其中 DeepSeek Flash 贡献了 604 次请求,绝大部分输入又命中了缓存。

这意味着我不会直接把历史上技能卡注入的 133 万字符换算成可节省的费用。两份数据时间范围不同,而且缓存命中与未命中的收费结构不同。

降低冗余上下文仍然有价值,但更值得测的是延迟、有效上下文空间、任务重试次数和最终结果。

尤其是反复送审、修复、再撞额度造成的循环,很可能比一张偶尔注入的技能卡更伤害实际效率。

四、还有两个我会反对 Pi 立即执行的建议

首先,不赞成立刻按使用次数卸载所有低频插件。

statusline 是 UI 功能,本来就不应该期待在 JSONL 里看到使用记录。gh_pr_reviews 刚实现、还没有形成使用习惯,零调用并不能说明它无价值。

同理,patch 的 9.3% 错误率和旧 edit 的 4.9% 不构成严格的对照实验,两组调用时期和工作负载并不完全一致。

可以先停掉明确无用、容易恢复的功能,但不要把「日志不可见」直接等价为「没有收益」。

其次,我会大幅降低自动经验收割的权力。

这份报告里最让我警惕的数字之一,是 115 个经验收割轮写入了全局 AGENTS.md,尽管 prompt 声称这类阶段应该只读。

我建议全局 AGENTS.md 保持稳定,只存真正跨项目适用的约束。普通项目经验应该落入项目文档;新的全局规则只能先作为候选,由你决定是否吸收。

否则它会逐渐把一次性问题、局部 workaround 和临时经验沉淀成永久契约。这类知识污染比多消耗一些 token 更难察觉。

对于「修宪提议」,我赞成 Pi 的基本主张:允许记录,不允许自动实施。不过现阶段只用现有文档记录和人工分诊就足够了,不急着再写 /amend 命令和新扩展。

五、我认为这份自诊断还缺少什么

它提供了很多可以复现的程序缺陷,但对「改造后的效果」基本仍是推断。

例如,索引卡刚在本轮重构中拆出来,却拿整个历史会话里 docs 的读取次数评估其有效性;技能卡触发器也在统计期间改变过。这样的历史数据只能帮助发现问题,不能直接证明新旧策略的效果差异。

我建议 Pi 下一步停止继续横向调查其他插件,转而建立一个很小的回归任务集:选取 20~30 个有真实历史记录的任务,冻结相关代码、配置版本和输入条件,比较改造前后。

我最关心的验收指标是:最终交付物是否完整认证、用户需要纠正多少次、审查发现的有效问题数量、每个成功任务的 Credit 和耗时,以及回滚是否真的覆盖全部修改。

对于真正危险的行为,保留强制约束;对于模型能力和体验优化,则依赖对照数据决定去留。


最后,我会怎么做

如果这套 Pi 是我长期使用的工程代理,我会先花一轮改造只完成三个目标:修复认证状态和未审内容 PASS 的漏洞、恢复可靠的提交与回滚路径、让模型窗口和压缩配置一致。

这些跑通之后,再关闭 LSP 重复注入,缩小技能卡推送范围,清理高误报的 claim-gate,最后才考虑卸载低频包或重构 3,000 行的 review-workflow.ts。

还有一件独立的安全卫生问题值得顺手处理:报告提到 models.json 里存在明文 API key,沙箱网络白名单又是 ["*"]。我会检查凭据是否能够改由受控环境变量或凭据存储提供,并按实际需要收窄网络权限,而不是只依赖 denyRead。

我的最终观点是:

你真正想构建的,不是一个「更听话、更守规矩的 Pi」,而是一个能够自主完成任务,同时能准确说明自己做了什么、验证了什么、还没有验证什么的工程代理。

目前它已经有了相当成熟的纪律意识。下一阶段最重要的,不是教它更多规则,而是让少数关键规则变得可信、可检验、不会互相矛盾。

Compartilhar esta Q&A