把方法部分全部以中文形式给中国小白讲解清楚

Question

Answer 1

我会把论文的“方法”部分按中国小白能顺着听懂的逻辑拆开讲：先讲它到底想解决什么，再把每个公式翻成直觉，最后把整个算法怎么跑、TRM 怎么存和怎么取规则串成一条完整流程。

Answer 2

我已经把论文 22 页整体扫过一遍。方法真正的核心可以先浓缩成一句话：离线时让“中央裁判”教会每个智能体什么动作该鼓励、什么动作该压制；在线时不再让智能体互相发消息，而是从记忆库里捞出这些合作规则，塞进各自提示词里。下面我会把这句拆到每个公式都能看懂。

Answer 3

可以。下面我完全按照这篇论文自己的方法来讲，不额外脑补，尽量把公式翻译成“人话”。你可以把它当成一份中文版方法精读。

论文的方法叫 Contextual Tacit Communication（上下文式默契通信），具体系统名字叫 Tact：Tacit Alike Contextual Thinking。它想解决的问题是：多个 LLM 智能体彼此看不到完整信息，又不允许在线聊天时，怎么还能像“商量过一样”配合。论文的方法不是训练模型参数，而是先离线找出“什么情况下某个智能体应该做什么、不应该做什么”，再把这些经验做成一个可检索的 Tacit Rule Memory，TRM（默契规则记忆库）。在线运行时，每个智能体只根据自己的观察，从 TRM 中查规则，然后独立行动。(隐式通信.pdf)

一、先用一个生活例子理解整篇方法

假设有两个机器人，要完成：

“把苹果放到砧板上，然后用刀把苹果切开。”

如果两个机器人不能聊天，而且只能看到自己的局部信息，很容易出现：

机器人 1：“苹果最重要，我去拿苹果。”

机器人 2：“苹果最重要，我也去拿苹果。”

于是两个人同时抢苹果，刀没人拿。

这就是论文说的 miscoordination，协作失调。论文附录中的真实案例就是这个：普通去中心化规划时，两个机器人都选择 Move apple → Reach apple → Grasp apple，产生重复和冲突；使用 Tact 后，一个机器人负责“食材链”，另一个负责“工具链”，最终实现一个拿苹果、一个拿刀。(隐式通信.pdf)

关键是：

它们在线时仍然没有聊天。

区别只在于它们事先学到了类似这样的“默契”：

机器人 1：你负责 INGREDIENT，不要碰 TOOL。
机器人 2：你负责 TOOL，不要抢 INGREDIENT。

论文第 4 页的 Figure 1 展示的就是完整流程：上半部分离线用中央 LLM 给联合方案打分、拟合 bias、生成规则；下半部分在线时每个机器人检索 TRM 规则，然后自己行动。(隐式通信.pdf)

二、第一步：先让一个“中央裁判”判断整个团队的方案好不好

这是整个方法最重要的起点。

假设有 $N$ 个智能体。

第 $i$ 个智能体选择动作：

a_i

所有人的动作拼在一起，就叫一个 联合动作 / 联合方案：

u=(a_1,a_2,\dots,a_N)

比如两个机器人时：

u=(\text{机器人1拿苹果},\ \text{机器人2拿刀})

论文先让一个 LLM 充当 中央裁判 Centralized Critic。

它能看到团队当前的整体进度 $\tau_t$ ，再看一个候选联合方案 $u$ ，然后判断：

“如果大家这样做，最后完成任务的可能性大不大？”

论文不用简单的 1～10 分，而定义：

Q_{\text{LLM}}(\tau_t,u) = \log \frac{ P(y_w\mid\tau_t,u) }{ P(y_l\mid\tau_t,u) }

其中：

y_w=\text{success}

y_l=\text{fail}

也就是比较 LLM 认为 success 和 fail 哪一个更可能。(隐式通信.pdf)

小白可以直接理解为：

Q_{\text{LLM}} = \text{中央裁判对这个团队方案的好感度}

数值越大，说明中央 LLM 越认为：

“这样干，成功概率更高。”

三、为什么还需要“每个机器人自己的分数”？

因为中央裁判只在离线阶段存在。

真正部署的时候，论文要求：

每个机器人自己决策。

也就是说，机器人 1 不能看到机器人 2 的私人观察和意图。

因此第 $i$ 个机器人也有自己的局部 LLM 打分：

q_{\text{LLM},i}(\tau_{i,t},a)

它的意思是：

“机器人 $i$ 根据自己目前知道的信息，觉得动作 $a$ 有多好？”

问题来了。

机器人看到的是局部信息，中央裁判看到的是团队信息。

所以很可能出现：

机器人 2 根据自己的信息认为：

q_2(\text{拿苹果})=9

q_2(\text{拿刀})=6

于是它想拿苹果。

但是中央裁判知道机器人 1 已经准备拿苹果，因此从团队角度看：

(\text{R1拿苹果},\text{R2拿刀})

比

(\text{R1拿苹果},\text{R2拿苹果})

好很多。

于是论文的核心问题变成：

怎么把“中央裁判知道的团队协作知识”，转成每个机器人自己的决策指导？

四、核心武器：给每个动作加一个 Bias 修正值

论文定义：

Q'_i(\tau_{i,t},a) = q_{\text{LLM},i}(\tau_{i,t},a) + b_i(\tau_{i,t},a)

这里的 $b_i$ 就是全文非常重要的 contextual bias，上下文偏置/修正量。(隐式通信.pdf)

可以直接理解为：

\boxed{\text{修正后的动作分数} = \text{机器人自己的判断} + \text{团队协作老师的提醒}}

比如机器人 2 原来：

q_2(\text{拿苹果})=9

但是中央系统发现：

“你再拿苹果就和机器人 1 冲突了。”

于是学习到：

b_2(\text{拿苹果})=-5

那么：

Q'_2(\text{拿苹果})=9-5=4

同时系统发现：

“其实现在特别需要你拿刀。”

因此：

b_2(\text{拿刀})=+4

原来：

q_2(\text{拿刀})=6

修正后：

Q'_2(\text{拿刀})=10

于是机器人 2 就会改成选择拿刀。

因此 bias 的含义非常直观：

b>0

表示：

这个动作应该被鼓励。

而：

b<0

表示：

这个动作应该被压制/避免。

论文后面生成自然语言规则，本质上就是把这些正负 bias 翻译成人话。论文明确说明，正 bias 表示局部评价低估了这个动作对团队成功的贡献，因此应该鼓励；负 bias 则相反。(隐式通信.pdf)

五、但怎么知道 Bias 应该是多少？

这就是论文最核心的数学部分。

作者希望：

\text{每个人修正后的分数加起来}

能够尽可能还原：

\text{中央裁判的团队分数}

所以设计：

Q_{\text{LLM}}(\tau_t,u) \approx \sum_{i=1}^{N} Q'_i(\tau_{i,t},u_i) + V(\tau_t)

(隐式通信.pdf)

这里的 $V(\tau_t)$ 可以理解为：

“整个团队共同存在、但不好归给某一个具体机器人的那部分分数。”

所以可以把式子读成：

\boxed{ 团队整体评价 \approx 机器人1贡献 + 机器人2贡献 +\cdots+ 团队公共因素 }

这和考试成绩有点像。

假设一个小组项目总成绩是 90 分，可以尝试拆成：

张三贡献 35
李四贡献 40
团队协同奖励 15

最后：

35+40+15=90

论文干的事情就是类似的“分账”。

六、Residual：检查“分账”到底准不准

论文定义了一个非常关键的量：

\delta(\tau_t,u) = \sum_{i=1}^{N} Q'_i(\tau_{i,t},u_i) + V(\tau_t) - Q_{\text{LLM}}(\tau_t,u)

这个叫：

Contextual Residual，上下文残差。 (隐式通信.pdf)

它其实就是：

\boxed{ \text{我们拆出来的团队分数} - \text{中央裁判真正给的分数} }

假设：

中央裁判：

Q_{\text{LLM}}=10

两个机器人的修正分数加公共项：

Q'_1+Q'_2+V=10.2

那么：

\delta=0.2

说明拆得挺准。

如果：

Q'_1+Q'_2+V=18

那么：

\delta=8

说明局部智能体的判断和中央判断严重不一致。

所以论文实际上是在努力做到：

|\delta| \rightarrow 0

七、为什么叫 Residual Banding？

作者没有强制：

\delta=0

因为 LLM 的打分本身就有噪声。

如果要求所有候选方案都“完全相等”，现实中很难做到。

所以论文允许一个误差区间：

|\delta(\tau_t,u)|\leq\epsilon_{\text{res}}

这个区间就是所谓的 Residual Band，残差带。(隐式通信.pdf)

例如：

\epsilon_{\text{res}}=0.5

那么：

-0.5\leq\delta\leq0.5

都认为可以接受。

你可以把它想象成学校检查体温计：

不是要求：

“必须恰好 36.500000℃。”

而是规定：

“在允许范围内就算正常。”

这就是 banding。

八、最好的团队方案有特殊待遇：强行让残差等于 0

中央裁判会从候选联合方案中选择最好的：

u^\star = \arg\max_uQ_{\text{LLM}}(\tau_t,u)

简单说：

u^\star = \text{中央裁判最喜欢的团队方案}

论文要求：

\delta(\tau_t,u^\star)=0

也就是说：

最优方案必须被局部分数系统准确表示。

其他方案可以允许：

|\delta|\leq\epsilon_{\text{res}}

作者通过调整公共项 $V$ 来做到这一点：

V(\tau_t) = Q_{\text{LLM}}(\tau_t,u^\star) - \sum_iQ'_i(\tau_{i,t},u_i^\star)

(隐式通信.pdf)

直觉非常简单。

假设中央最优方案得分：

10

目前两个机器人的分数加起来：

7

那么就令：

V=3

于是：

7+3=10

最优方案就被对齐了。

论文把这叫 anchor，锚定。

九、真正有意思的地方：Residual 超标后怎么修改 Bias？

假设一个候选联合方案的残差是：

\delta=2

允许范围：

[-0.5,0.5]

那么它显然超标了。

作者先计算超出去多少：

e = \delta - \operatorname{clip} (\delta,-\epsilon_{\text{res}},\epsilon_{\text{res}})

如果：

\delta=2,\quad\epsilon=0.5

那么 clip 后：

0.5

于是：

e=2-0.5=1.5

意思就是：

“你超出安全区 1.5。”

然后论文把这个误差平均分给所有参与这个联合动作的智能体：

b_i(\tau_{i,t},u_i) \leftarrow b_i(\tau_{i,t},u_i) - \frac{e}{N}

(隐式通信.pdf)

假如有两个机器人：

N=2

那么：

-\frac{1.5}{2} =-0.75

两个对应动作各扣：

0.75

结果总共：

-1.5

刚好把残差从 2 推回：

0.5

也就是残差带边界。

所以作者把它叫：

projection-style fitting，类似投影的拟合。

意思不是复杂神经网络训练。

实际上非常朴素：

超过允许区间多少，我就把你拉回允许区间。

而且：

不用梯度，不反向传播，不训练 LLM 参数。

十、整个 Bias Fitting 算法到底怎么跑？

附录 Algorithm 1 把完整过程写出来了。(隐式通信.pdf)

用小白版本翻译就是：

先把所有：

b_i=0

所以一开始：

Q'_i=q_i

也就是：

先相信机器人自己的判断。

然后中央裁判找：

u^\star

也就是当前最好的联合方案。

接着调整：

V

让最优方案满足：

\delta(u^\star)=0

然后开始遍历其他候选联合方案。

对于每一个方案，计算：

\delta

如果：

|\delta|\leq\epsilon

不管。

如果：

|\delta|>\epsilon

就计算超出量 $e$ ，然后把修正量平均分配到这个联合方案涉及的各个动作上。

所有候选方案扫一遍以后，再重新计算 $V$ ，保证：

\delta(u^\star)=0

然后再扫一遍。

一直做到：

\forall u,\quad |\delta(u)|\leq\epsilon

或者达到最多扫描次数：

S_{\max}

停止。

所以你完全可以把 Bias Fitting 理解成：

不断纠正每个机器人对具体动作的“错误偏好”，直到这些人的局部判断组合起来，已经基本能还原中央裁判的团队判断。

十一、这为什么能保证最后选出来的动作不会太差？

论文第 3.2 节给了一个理论保证。

假设：

u^\star

是中央 LLM 最喜欢的方案。

而：

\hat u

是每个机器人按照修正后的局部分数 $Q'_i$ 自己贪心选择以后得到的联合方案。

如果：

\delta(u^\star)=0

并且所有方案满足：

\delta(u)\leq\epsilon

那么：

Q_{\text{LLM}}(u^\star) - Q_{\text{LLM}}(\hat u) \leq\epsilon

(隐式通信.pdf)

翻成人话：

如果你的局部分数系统和中央裁判的误差最多只有 $\epsilon$ ，那么机器人各自独立做决定以后，得到的团队方案，与中央最优方案相比，最坏也只损失 $\epsilon$ 。

所以：

\epsilon_{\text{res}}

实际上还有一个很漂亮的意义：

它控制“去中心化选择距离中央选择最多能差多少”。

特别是：

\epsilon=0

时，论文证明局部贪心方案可以恢复中央 LLM 的最优候选方案；如果最优方案唯一，那么两者就是同一个方案。(隐式通信.pdf)

十二、做到这里还不够：在线运行时总不能每一步都算 Bias

这是 Tact 非常关键的第二阶段。

如果每一步都：

中央 LLM 打分 → 算 residual → 调 bias，

那么还是很贵。

而作者的目标恰恰是：

在线阶段不要中央裁判，也不要机器人互相聊天。

因此作者提出：

TRM：Tacit Rule Memory

中文可以叫：

默契规则记忆库。

思路是：

既然离线时已经算出了哪些动作应该鼓励、哪些动作应该阻止，那干脆把这些数字翻译成人类语言规则，以后碰到类似情况直接查规则。

论文把每条记忆写成：

e=(r,c,b)

(隐式通信.pdf)

其中三个东西分别非常重要。

十三、TRM 里的 $b$ ：保留 Bias 证据

$b$ 就是前面学到的动作修正。

例如：

b(\text{Grasp apple})=-3.2

b(\text{Grasp knife})=+4.5

说明：

抢苹果是不好的。

拿刀是好的。

论文并不会把所有动作都存下来，而主要选择 bias 绝对值比较大的动作。

因为：

|b|

越大，说明中央团队判断和局部判断之间的冲突越强。

于是可以形成：

Encourage：应该鼓励什么。

以及：

Avoid / Discourage：应该避免什么。

(隐式通信.pdf)

十四、TRM 里的 $r$ ：把 Bias 翻译成人话

然后作者把这些正负 Bias 给另一个 LLM，让它总结成规则 $r$ 。

注意一个非常重要的点：

规则不是让 LLM 自己随便发挥。

论文特别强调，规则必须从 bias 提供的动作证据中生成。案例中作者先构造 encourage set 和 discourage set，然后要求 LLM 按固定结构总结为 Role、Do、Don’t、Ordering。(隐式通信.pdf)

例如最终可能生成：

Role：ingredient-chain agent

Do：负责 INGREDIENT，将其送到 TARGET。

Don’t：不要碰 TOOL。

Ordering：INGREDIENT → TARGET。

另一个机器人则：

Role：tool-chain agent

Do：获取 TOOL，并进行最终操作。

Don’t：不要处理 INGREDIENT。

这就是所谓的：

Bias-guided rule distillation

即：

由 Bias 指导的规则蒸馏。

你可以理解成：

\boxed{ 数字形式的协作经验 \rightarrow 自然语言形式的协作经验 }

十五、TRM 里的 $c$ ：告诉系统“什么情况下该用这条规则”

如果只有规则还不够。

假设 TRM 里面有一万条规则，当前应该用哪条？

所以每条规则还要配一个：

c

也就是当前局部状态的 embedding，向量表示。

作者构造 retrieval key 时包含：

任务描述 + robot id + 当前 observation 的一部分。

然后通过本地文本编码器，把文本转换成 embedding。(隐式通信.pdf)

你可以把 embedding 想象成：

“给当前场景生成一个数学指纹。”

两个场景如果语义类似：

它们的数学指纹就比较接近。

所以新的任务执行过程中，可以问：

“我现在这个局面，和以前哪一次最像？”

找到最像的历史情况以后，把当时学到的合作规则拿出来。

十六、在线执行阶段到底发生什么？

这一部分非常简单，也是论文真正节省成本的原因。

TRM 是在 offline warm-up，离线预热阶段建立好的。

测试时：

TRM 不再写入。

只允许：

读取。(隐式通信.pdf)

假设机器人 1 当前进度：

\tau_{1,t}

系统先计算它当前状态的 embedding。

然后去 TRM 中找最相似的记录。

获得规则：

\hat x_{1,t}

然后把规则塞进机器人 1 原来的 prompt：

\text{原 Prompt} + \text{检索出的合作规则}

机器人 1 再正常调用 LLM 规划动作。

机器人 2 也独立做同样的事情。

整个过程中：

机器人 1 不向机器人 2 发消息。

机器人 2 也不向机器人 1 发消息。

但由于两个智能体都在遵守从同一套离线协作经验中产生的规则，它们就表现得像：

“提前形成了默契。”

这就是文章所谓的：

Tacit Communication，默契通信。

十七、论文实际怎么检索 TRM？

附录给了比正文更具体的实现。

作者采用两阶段检索：

第一阶段使用：

\text{TF-IDF}

做粗召回，先找：

K_1=20

条候选。

第二阶段使用 embedding 的 cosine similarity，余弦相似度重新排序，取：

K_2=5

然后默认最终使用：

k=1

个 episode 的规则。(隐式通信.pdf)

作者故意不取很多规则。

原因也很好理解：

如果一次拿 10 条规则：

“拿苹果。”

“别拿苹果。”

“负责刀。”

“别负责工具。”

规则就可能互相打架，而且 prompt 会越来越长。

所以作者使用：

小 $k$ + 按相似度排序。

来限制冲突和 prompt 膨胀。(隐式通信.pdf)

十八、中央 LLM 到底怎么得到 success / fail 分数？

论文这里还有一个非常容易忽略、但实现时非常重要的细节。

他们不是使用 GPT-4o API 提供的 token log probability 做训练。

离线 Bias Fitting 和规则挖掘使用的是：

本地 HuggingFace 开源模型。

给模型一个：

\text{state + candidate action}

然后分别接：

success

和：

fail

计算这两个 continuation 的 log likelihood。

最后：

Q_{\text{LLM}} = \log P(\text{success}) - \log P(\text{fail})

并且 critic 设置：

\text{temperature}=0

减少随机性。(隐式通信.pdf)

非常重要的是：

这些 log-odds 只在离线阶段使用。

真正部署的时候，不再需要 token log-probability，也不需要中央 critic，只检索 TRM、把规则放进 prompt，然后规划动作。(隐式通信.pdf)

所以即使在线智能体使用 GPT-4o 这类闭源模型，也不影响这个执行流程。

十九、还有一个大问题：联合动作数量不是会爆炸吗？

这也是这篇论文一个很重要的工程设计。

假设每个机器人有 10 个动作。

2 个机器人：

10^2=100

3 个：

10^3=1000

10 个：

10^{10}

如果把所有联合方案都送给中央 LLM 打分，根本不现实。

所以作者明确说：

不枚举完整笛卡尔积。

而是构造一个很小的：

U(\tau_t)

即结构化候选联合动作集合。(隐式通信.pdf)

二十、C-WAH 和 TDW-MAT 里怎么构造候选集？

对于 C-WAH 和 TDW-MAT，没有已知的真实最优联合动作。

所以作者首先取真实轨迹里实际执行过的：

u^{exec}

然后：

一次只改变一个智能体的动作。

其他人的动作固定。

比如原来：

u^{exec} = (A,B,C)

就尝试类似：

(A',B,C)

(A,B',C)

(A,B,C')

然后每个智能体挑一个中央 critic 最喜欢的单智能体反事实方案：

u_i^{cf}

最终：

U(\tau_t) = \{u^{exec}\} \cup \{u_i^{cf}\}_{i=1}^{N}

(隐式通信.pdf)

所以不需要：

\prod_i|A_i|

次评估。

只需要大约：

\sum_i|A_i|

次。

复杂度从“组合爆炸”降低成近似“线性扫描”。

二十一、VIKI 的候选集合又不一样

VIKI 有 ground-truth optimal action，即已经知道正确联合动作：

u^\star

所以作者直接把它放进候选集合，当成 anchor。

然后让每个局部智能体各自提出 greedy action：

a_i^{loc}

组成：

u^{loc}

再加入只替换一个机器人的 deviation：

u_i^{dev}

于是：

U(\tau_t) = \{u^\star,u^{loc}\} \cup \{u_i^{dev}\}_{i=1}^{N}

因此最多：

|U|\leq 2+N

(隐式通信.pdf)

这意味着即使机器人数量增加，中央 critic 离线评估的规模仍然比较可控。

二十二、TRM 怎么判断自己“学得好不好”？

论文还提出了一个诊断方法。

假设 Bias 告诉我们某动作正确方向：

s^\star(a)\in\{-1,+1\}

其中：

+1=\text{鼓励}

-1=\text{抑制}

TRM 检索以后，也会产生一个方向：

\tilde s(a)

最后真正把规则放进 prompt 后，LLM 实际表现出来的方向记为：

\hat s(a)

作者把错误拆成三类。

第一类叫：

E_{\text{gap}}

意思是：

TRM 根本没有找到明确、统一的相关规则。

例如检索出来的记忆里，有的说拿苹果，有的说别拿苹果。

于是：

\tilde s(a)=0

第二类叫：

E_{\text{dir}}

也就是：

TRM 找到了统一规则，但规则方向本身错了。

比如真正应该：

不拿苹果。

结果检索规则一致说：

拿苹果。

第三类：

E_{\text{comp}}

意思是：

规则明明找对了，LLM 却没有听。

最终论文给出：

P[\hat s\neq s^\star] \leq P[E_{\text{gap}}] + P[E_{\text{dir}}] + P[E_{\text{comp}}]

(隐式通信.pdf)

这里最重要的发现是：

作者认为主要瓶颈通常是：

E_{\text{gap}}

也就是：

检索不到合适且不冲突的合作经验。

这也解释为什么论文那么强调：

语义检索 + Bias grounded rule。

二十三、规则生成 Prompt 其实也设计得非常严格

论文附录给了完整模板。

它告诉规则生成器：

只能根据 DO 和 DON’T evidence 推断责任，不允许发明证据之外的职责。

然后要求规则抽象成：

TOOL

INGREDIENT

TARGET

CONTAINER

这些类别。

最终必须输出 JSON：

text
{
  "role": "...",
  "do": [...],
  "dont": [...],
  "ordering": "..."
}

(隐式通信.pdf)

这个设计的意义是：

假设训练场景里是：

apple + knife + cutting board

作者不希望模型死记：

“看到 apple 就这么干。”

而希望学到：

INGREDIENT → TARGET

和：

TOOL → final interaction

这样下一次换成：

tomato + fork + plate

也有可能复用类似规则。

二十四、真正执行时 Prompt 怎么用 TRM？

执行 Prompt 中明确写：

Tacit cooperation setting (no explicit messaging)

并告诉智能体：

你只为自己的机器人规划。

同时加入：

Retrieved Cooperation Rules

如果规则说某动作应该避免：

不允许输出那个动作。

此外，每一步每个机器人只能执行一个动作，并且动作必须符合自己的机器人 API。(隐式通信.pdf)

所以 TRM 不是单独另外控制机器人。

它实际上是：

\boxed{ \text{把协作知识直接变成 Prompt Context} }

然后让原来的 LLM planner 自己完成行动选择。

二十五、因此整篇 Tact 方法可以压缩成这张“脑内流程图”

唯一需要你真正记住的是：

text
【离线阶段】

局部状态 + 候选动作
        ↓
每个机器人得到自己的 local LLM score q_i

整体状态 + 联合动作
        ↓
中央 LLM critic 得到 Q_LLM

        ↓

比较：
Q_LLM
和
Σ(q_i + b_i) + V

        ↓

计算 residual δ

        ↓

如果 δ 超出允许区间
就修改对应动作的 bias b_i

        ↓

不断修正
直到局部价值基本可以还原中央价值

        ↓

找：
大正 bias → 应鼓励动作
大负 bias → 应避免动作

        ↓

让 LLM 把这些动作证据总结成：
Role / Do / Don't / Ordering

        ↓

连同当前状态 embedding 一起
存入 TRM


────────────────────


【在线阶段】

机器人看到自己的局部状态

        ↓

计算当前状态 embedding

        ↓

从 TRM 检索相似历史情况

        ↓

取得合作规则

        ↓

规则塞进自己的 Prompt

        ↓

每个机器人独立规划动作

        ↓

不聊天，但实现分工合作

这就是全文方法。

最后，用一句最通俗的话总结这篇论文

传统方法是：

“机器人遇到事情以后再聊天商量。”

Tact 是：

“先让一个看全局的老师总结出大量‘这种情况下你应该干什么’的默契，之后机器人遇到类似场景就自己查经验，不用再现场聊天。”

其中：

Q_{\text{LLM}}

是老师认为整个团队方案有多好；

q_i

是机器人自己认为动作有多好；

b_i

是老师纠正机器人判断的分数；

Q'_i=q_i+b_i

是纠正后的个人判断；

\delta

是个人判断加起来与老师整体判断之间差多少；

\epsilon_{\text{res}}

是允许差多少；

TRM 则是：

把这些数字纠正总结成自然语言“合作默契”，以后直接检索使用。

所以这篇论文真正的新意不是“让 LLM 更聪明”，而是设计了一套：

\boxed{ 中央判断 \rightarrow 动作级 Bias \rightarrow 自然语言合作规则 \rightarrow 检索式去中心化执行 }

的转换机制，而且整个过程不需要更新 LLM 参数，也不需要在线显式通信。论文也明确说明，中央 scorer 只用于离线蒸馏；评估时 TRM 冻结，智能体只根据自己的局部观察、历史和检索规则行动。(隐式通信.pdf)

把方法部分全部以中文形式给中国小白讲解清楚

Question

Answer

Thought

Thought

Answer

Thought

Answer

一、先用一个生活例子理解整篇方法

二、第一步：先让一个“中央裁判”判断整个团队的方案好不好

三、为什么还需要“每个机器人自己的分数”？

四、核心武器：给每个动作加一个 Bias 修正值

五、但怎么知道 Bias 应该是多少？

六、Residual：检查“分账”到底准不准

七、为什么叫 Residual Banding？

八、最好的团队方案有特殊待遇：强行让残差等于 0

九、真正有意思的地方：Residual 超标后怎么修改 Bias？

十、整个 Bias Fitting 算法到底怎么跑？

十一、这为什么能保证最后选出来的动作不会太差？

十二、做到这里还不够：在线运行时总不能每一步都算 Bias

TRM：Tacit Rule Memory

十三、TRM 里的 $b$ ：保留 Bias 证据

十四、TRM 里的 $r$ ：把 Bias 翻译成人话

十五、TRM 里的 $c$ ：告诉系统“什么情况下该用这条规则”

十六、在线执行阶段到底发生什么？

十七、论文实际怎么检索 TRM？

十八、中央 LLM 到底怎么得到 success / fail 分数？

十九、还有一个大问题：联合动作数量不是会爆炸吗？

二十、C-WAH 和 TDW-MAT 里怎么构造候选集？

二十一、VIKI 的候选集合又不一样

二十二、TRM 怎么判断自己“学得好不好”？

二十三、规则生成 Prompt 其实也设计得非常严格

二十四、真正执行时 Prompt 怎么用 TRM？

二十五、因此整篇 Tact 方法可以压缩成这张“脑内流程图”

最后，用一句最通俗的话总结这篇论文

Share this Q&A

Question

Answer

Thought

Thought

Answer

Thought

Answer

一、先用一个生活例子理解整篇方法

二、第一步：先让一个“中央裁判”判断整个团队的方案好不好

三、为什么还需要“每个机器人自己的分数”？

四、核心武器：给每个动作加一个 Bias 修正值

五、但怎么知道 Bias 应该是多少？

六、Residual：检查“分账”到底准不准

七、为什么叫 Residual Banding？

八、最好的团队方案有特殊待遇：强行让残差等于 0

九、真正有意思的地方：Residual 超标后怎么修改 Bias？

十、整个 Bias Fitting 算法到底怎么跑？

十一、这为什么能保证最后选出来的动作不会太差？

十二、做到这里还不够：在线运行时总不能每一步都算 Bias

TRM：Tacit Rule Memory

十三、TRM 里的 bbb：保留 Bias 证据

十四、TRM 里的 rrr：把 Bias 翻译成人话

十五、TRM 里的 ccc：告诉系统“什么情况下该用这条规则”

十六、在线执行阶段到底发生什么？

十七、论文实际怎么检索 TRM？

十八、中央 LLM 到底怎么得到 success / fail 分数？

十九、还有一个大问题：联合动作数量不是会爆炸吗？

二十、C-WAH 和 TDW-MAT 里怎么构造候选集？

二十一、VIKI 的候选集合又不一样

二十二、TRM 怎么判断自己“学得好不好”？

二十三、规则生成 Prompt 其实也设计得非常严格

二十四、真正执行时 Prompt 怎么用 TRM？

二十五、因此整篇 Tact 方法可以压缩成这张“脑内流程图”

最后，用一句最通俗的话总结这篇论文

Share this Q&A

十三、TRM 里的 $b$ ：保留 Bias 证据

十四、TRM 里的 $r$ ：把 Bias 翻译成人话

十五、TRM 里的 $c$ ：告诉系统“什么情况下该用这条规则”