下面按“研究问题 → 核心思想 → 数学机制 → 实现细节 → 实验可信度 → 局限与启发”来精读这篇《PhysGaussian: Physics-Integrated 3D Gaussians for Generative Dynamics》。

---

一、先给出全文结论

这篇论文最重要的贡献，不只是“给 3D Gaussian Splatting 加了一个物理模拟器”，而是提出了一种新的统一思想：

用同一批 3D Gaussian，既表示看得见的外观，又作为物理模拟中的材料离散点。

传统流程通常是：

$$\text{照片/NeRF} \rightarrow \text{提取表面网格} \rightarrow \text{四面体化或代理笼子} \rightarrow \text{物理模拟} \rightarrow \text{把变形映射回视觉模型}$$

PhysGaussian 希望把它简化成：

$$\text{照片} \rightarrow \text{3D Gaussians} \rightarrow \text{直接物理模拟} \rightarrow \text{直接 Gaussian Splatting 渲染}$$

论文把这一理念称为：

What You See Is What You Simulate，WS²。

也就是“你看到什么，就模拟什么”。作者强调，物理模拟和视觉渲染共享同一种离散表示，因此不需要额外的三角网格、四面体网格、cage mesh 或其他几何嵌入。(CVPR_2024_PhysGaussian Physics-Integrated 3D Gaussians for Generative Dynamics.pdf)

这篇文章真正漂亮的地方，是找到了一个数学桥梁：

$$\boxed{\mathbf A_p(t)=\mathbf F_p(t)\mathbf A_p\mathbf F_p(t)^T}$$

其中：

• $\mathbf A_p$：原始 Gaussian 的协方差矩阵，描述椭球的形状和方向；
• $\mathbf F_p$：连续介质力学中的形变梯度；
• $\mathbf A_p(t)$：经过物理变形后的 Gaussian 形状。

这条公式把“物体的物理形变”直接转换成了“Gaussian 椭球的视觉形变”。

---

二、论文到底要解决什么问题？

1. 3DGS 很会“看”，但不会“动”

3D Gaussian Splatting 的优势是：

• 从多视角照片重建场景；
• 新视角渲染质量高；
• 表示是显式的；
• 渲染速度很快；
• 每个 Gaussian 都能直接移动和修改。

但标准 3DGS 中的 Gaussian 只是为了复现图像，它没有：

• 质量；
• 速度；
• 应力；
• 应变；
• 弹性；
• 塑性；
• 摩擦；
• 体积守恒。

换句话说，标准 3DGS 可以让你把 Gaussian 的中心“拖走”，却不知道物体应该怎样弯曲、恢复、断裂、坍塌或者流动。

作者指出，已有动态 NeRF 或动态 Gaussian 方法，很多只是：

1. 从视频中学习“已经发生过的运动”；
2. 或者给定一个人为形变场；
3. 或通过网格、笼子将视觉模型嵌入到模拟模型中。

它们通常不是从牛顿力学出发生成一个全新的、物理合理的运动。论文特别强调，PhysGaussian 使用的不只是位移场的零阶信息，还使用了形变梯度这一阶信息，从而可以同时改变 Gaussian 的位置、大小、方向和剪切状态。(CVPR_2024_PhysGaussian Physics-Integrated 3D Gaussians for Generative Dynamics.pdf)

---

2. 传统物理动画管线存在表示不一致

传统计算机图形学中，负责模拟的几何和负责渲染的几何经常不是同一个：

• 高精度表面网格用于渲染；
• 低精度四面体或代理笼子用于模拟；
• 模拟结果再插值回渲染模型。

这会带来几个问题：

• 模拟分辨率和视觉分辨率不一致；
• 细小纹理和局部几何容易丢失；
• 网格提取可能失败；
• 四面体化困难；
• 拓扑变化、断裂、颗粒材料处理复杂；
• 整个流程有很多人工步骤。

PhysGaussian 的出发点是：既然 3DGS 已经把物体表示成一组空间中的“椭球颗粒”，那么为什么不直接把这些椭球颗粒视作连续介质的材料点？

论文的三项贡献也围绕这一点展开：

1. 用连续介质力学演化 Gaussian 及其球谐外观；
2. 用统一的 Gaussian 表示完成模拟和渲染；
3. 在弹性体、金属、沙土、粘塑性流体等多种材料上验证。(CVPR_2024_PhysGaussian Physics-Integrated 3D Gaussians for Generative Dynamics.pdf)

---

三、整套方法的流程

论文第 3 页的 Figure 2 是全文的总览图。流程可拆成五步：(CVPR_2024_PhysGaussian Physics-Integrated 3D Gaussians for Generative Dynamics.pdf)

第一步：从照片重建静态 3DGS

输入是：

• 多视角图像；
• 相机内外参数。

优化得到一组 Gaussian：

$$\left\{ \mathbf x_p,\sigma_p,\mathbf A_p,\mathbf C_p \right\}_{p\in\mathcal P}$$

分别表示：

• $\mathbf x_p$：中心位置；
• $\sigma_p$：不透明度；
• $\mathbf A_p$：三维协方差；
• $\mathbf C_p$：球谐系数，即视角相关颜色。

---

第二步：可选的内部填充

标准 3DGS 的 Gaussian 通常集中在可见表面附近。

这对于渲染没有问题，因为相机主要看到表面；但对于物理模拟是一个严重问题：

一个本应是实心的物体，在物理上会变成一层薄薄的空壳。

因此作者尝试根据 Gaussian 的 opacity 构造一个连续场，并在被判断为物体内部的区域补充粒子。

---

第三步：为 Gaussian 赋予物理属性

每个 Gaussian 不再只是渲染元素，还具有：

• 质量 $m_p$；
• 体积 $V_p^0$；
• 密度 $\rho_p$；
• 速度 $\mathbf v_p$；
• 形变梯度 $\mathbf F_p$；
• 应力；
• 材料参数。

例如：

$$m_p=\rho_p V_p^0$$

---

第四步：用 MPM 推动物理演化

作者采用 Material Point Method，即材料点法。

MPM 的特点是：

• 材料随粒子运动；
• 动量和碰撞在背景网格上处理；
• 每一步结束后网格可以被清空；
• 不需要永久连接的网格拓扑；
• 非常适合大变形、断裂、颗粒、流体和碰撞。

---

第五步：更新 Gaussian 并直接渲染

模拟得到：

• 新位置；
• 新形变梯度；
• 新的 Gaussian 协方差；
• 新的球谐方向。

然后直接调用原始 3DGS 的 splatting 渲染器，不需要将结果再传给传统离线渲染器。

---

四、3D Gaussian Splatting 部分如何理解？

标准 3DGS 中，每个 Gaussian 可以理解成一个半透明、带颜色、具有方向性的三维椭球。

渲染时，它被投影到二维图像平面，并按照深度顺序进行 alpha compositing：

$$\mathbf C = \sum_k \alpha_k \operatorname{SH}(\mathbf d_k;\mathbf C_k) \prod_{j<k}(1-\alpha_j)$$

直观上：

• $\alpha_k$ 表示第 $k$ 个 Gaussian 对该像素贡献了多少；
• $\operatorname{SH}$ 给出当前观察方向下的颜色；
• 后面的乘积表示前方 Gaussian 对后方内容的遮挡。

这也是 3DGS 比 NeRF 容易操纵的原因：NeRF 的场景隐藏在神经网络参数中，而 3DGS 的位置和形状都是显式参数。(CVPR_2024_PhysGaussian Physics-Integrated 3D Gaussians for Generative Dynamics.pdf)

但要注意，Gaussian 的协方差不仅是一个“尺寸参数”。

一个三维协方差矩阵可以同时表达：

• 长轴方向；
• 短轴方向；
• 椭球的三个尺度；
• 旋转；
• 非轴对齐的空间分布。

因此只要能正确更新协方差，Gaussian 就能自然表达拉伸、旋转和剪切。

---

五、连续介质力学：论文的物理基础

作者不是把物体视为刚性点集，而是把它视为连续介质。

1. 形变映射

定义：

$$\mathbf x=\phi(\mathbf X,t)$$

其中：

• $\mathbf X$：物体在初始材料空间中的位置；
• $\mathbf x$：时刻 $t$ 在世界空间中的位置；
• $\phi$：从初始状态到当前状态的形变映射。

例如，一块橡胶被拉长时，每个原始点 $\mathbf X$ 都会被映射到一个新的 $\mathbf x$。

---

2. 形变梯度

形变梯度定义为：

$$\mathbf F(\mathbf X,t)=\nabla_{\mathbf X}\phi(\mathbf X,t)$$

这是全文最关键的物理量之一。

$\mathbf F$ 描述某个点附近的微小材料块发生了什么：

• 旋转；
• 拉伸；
• 压缩；
• 剪切。

位置 $\mathbf x$ 只告诉我们“这个点去了哪里”；
形变梯度 $\mathbf F$ 告诉我们“这个点周围的材料是怎么变形的”。

因此，仅更新 Gaussian 中心是不够的。必须用 $\mathbf F$ 更新 Gaussian 的椭球形状。

论文随后用质量守恒和动量守恒决定 $\phi$ 和速度场的演化。动量方程的核心形式是：

$$\rho\dot{\mathbf v} = \nabla\cdot\boldsymbol\sigma + \mathbf f^{\rm ext}$$

左边是质量乘加速度，右边是：

• 内部应力；
• 外力，例如重力。

(CVPR_2024_PhysGaussian Physics-Integrated 3D Gaussians for Generative Dynamics.pdf)

---

3. 弹性与塑性

论文将总形变梯度分解为：

$$\mathbf F=\mathbf F^E\mathbf F^P$$

其中：

• $\mathbf F^E$：弹性形变，可恢复；
• $\mathbf F^P$：塑性形变，代表永久改变。

例如：

• 橡胶被压后恢复：主要是 $\mathbf F^E$；
• 金属罐被压瘪后不恢复：产生了 $\mathbf F^P$。

塑性模型中的 return mapping，可以理解为：

先根据速度计算一个“试探形变”，如果超过材料的屈服边界，就把它投影回允许的弹性区域，超出的部分记入永久塑性形变。

这使同一套框架能够表达完全不同的材料行为。

---

六、为什么选择 MPM？

MPM 同时使用两种表示：

• 拉格朗日粒子：跟随材料移动；
• 欧拉背景网格：在固定空间中计算力和动量交换。

一轮 MPM 基本分三步。

1. Particle to Grid

将粒子的：

• 质量；
• 动量；
• 应力产生的力

传递到临时背景网格。

2. Grid Update

在网格上处理：

• 重力；
• 内部弹性力；
• 塑性；
• 边界条件；
• 碰撞；
• 摩擦。

3. Grid to Particle

再把更新后的速度传回粒子，并更新：

• 粒子位置；
• 速度；
• 形变梯度；
• 应力状态。

论文采用 B-spline 核在粒子和网格间双向传输，并使用前向 Euler 做时间积分。(CVPR_2024_PhysGaussian Physics-Integrated 3D Gaussians for Generative Dynamics.pdf)

MPM 特别适合这篇论文，是因为它不要求粒子之间存在固定的网格连接。

对于：

• 断裂；
• 沙子散开；
• 糊状材料流动；
• 多物体碰撞；

这比固定四面体网格更自然。

但 MPM 并不是“每个 Gaussian 单独根据牛顿第二定律乱跑”。网格步骤会让邻近材料点通过应力场相互作用，因此物体仍然表现为连续材料，而不是一团互不相关的粒子。

---

七、全文最重要的数学推导：Gaussian 如何随物体变形？

这是本文的核心创新。

1. 原始 Gaussian

在材料空间中，一个 Gaussian 可写为：

$$G_p(\mathbf X) = \exp \left[ -\frac12 (\mathbf X-\mathbf X_p)^T \mathbf A_p^{-1} (\mathbf X-\mathbf X_p) \right]$$

$\mathbf A_p$ 决定椭球的形状。

---

2. 一般非线性形变后的困难

经过形变映射 $\phi$ 后，理论上应当使用逆映射：

$$G_p(\mathbf x,t) = G_p\bigl(\phi^{-1}(\mathbf x,t)\bigr)$$

但一般的非线性映射会把一个椭球变成弯曲、扭曲的非 Gaussian 形状。

例如，一个比较大的椭球跨越弯曲区域时，它可能变成香蕉形，而不是另一个椭球。

这会破坏 Gaussian Splatting 的基本假设。

---

3. 局部仿射近似

作者假定，在单个 Gaussian 覆盖的小区域内，形变可以近似成仿射变换：

$$\tilde\phi_p(\mathbf X,t) = \mathbf x_p + \mathbf F_p(\mathbf X-\mathbf X_p)$$

也就是：

• 平移由 $\mathbf x_p$ 表达；
• 局部旋转、拉伸、剪切由 $\mathbf F_p$ 表达。

在这个假设下，变形后的核仍然是 Gaussian：

$$G_p(\mathbf x,t) = \exp \left[ -\frac12 (\mathbf x-\mathbf x_p)^T (\mathbf F_p\mathbf A_p\mathbf F_p^T)^{-1} (\mathbf x-\mathbf x_p) \right]$$

于是得到：

$$\boxed{ \mathbf x_p(t)=\phi(\mathbf X_p,t) }$$ $$\boxed{ \mathbf A_p(t) = \mathbf F_p(t)\mathbf A_p\mathbf F_p(t)^T }$$

(CVPR_2024_PhysGaussian Physics-Integrated 3D Gaussians for Generative Dynamics.pdf)

---

4. 这条公式为什么如此关键？

可以通过几个简单情况理解。

纯旋转

如果：

$$\mathbf F=\mathbf R$$

其中 $\mathbf R$ 是旋转矩阵，那么：

$$\mathbf A' = \mathbf R\mathbf A\mathbf R^T$$

Gaussian 的尺度不变，只改变方向。

单方向拉伸

假设：

$$\mathbf F= \begin{bmatrix} 2&0&0\\ 0&1&0\\ 0&0&1 \end{bmatrix}$$

那么 Gaussian 在 $x$ 方向被拉长两倍，其协方差在该方向会相应增大。

剪切

如果 $\mathbf F$ 有非对角元素，Gaussian 会从轴对齐椭球变成倾斜椭球，从而表达局部剪切。

因此，这个方法比“只移动 Gaussian 中心”强很多。

如果只移动中心，那么物体被拉长后，Gaussian 自身尺寸不变，Gaussian 之间会出现孔洞；如果只允许刚性旋转，又无法表达拉伸和剪切。

---

八、球谐颜色为什么也必须旋转？

3DGS 的颜色通常依赖观察方向。

例如，一个表面有高光，从不同方向看颜色不同。这种视角相关外观由球谐函数表示。

问题是：

物体发生旋转后，球谐外观应该跟着物体旋转，而不能仍然固定在世界坐标中。

否则会出现一种错误：

• 物体已经转过去了；
• 但高光和方向性纹理仍像黏在世界空间里。

作者对形变梯度做极分解：

$$\mathbf F_p=\mathbf R_p\mathbf S_p$$

其中：

• $\mathbf R_p$：局部旋转；
• $\mathbf S_p$：拉伸部分。

然后不直接修改球谐基函数，而是对观察方向做逆旋转：

$$f^t(\mathbf d) = f^0(\mathbf R^T\mathbf d)$$

这相当于把相机方向变换回材料局部坐标系。(CVPR_2024_PhysGaussian Physics-Integrated 3D Gaussians for Generative Dynamics.pdf)

这个设计很实用，因为原始 3DGS 中的球谐基通常写死在渲染实现中。改变观察方向比重新旋转所有球谐系数更容易集成。

不过它只能处理“由于物体转动造成的视角变化”，不能处理：

• 材料拉伸后颜色改变；
• 表面破裂后新截面材质；
• 光照和阴影变化；
• 法线改变引起的真实 BRDF 变化。

---

九、增量更新为什么存在？

前述方法需要累计总形变梯度：

$$\mathbf A_p(t)=\mathbf F_p(t)\mathbf A_p^0\mathbf F_p(t)^T$$

作者还提出了一个增量版本：

$$\dot{\mathbf A} = (\nabla\mathbf v)\mathbf A + \mathbf A(\nabla\mathbf v)^T$$

离散后，每个时间步直接从当前协方差更新到下一步。(CVPR_2024_PhysGaussian Physics-Integrated 3D Gaussians for Generative Dynamics.pdf)

这一版本的意义在于：

1. 不必始终保存相对于初始状态的总 $\mathbf F$；
2. 更适合 updated Lagrangian 框架；
3. 可兼容不直接用形变梯度作为应变度量的材料模型；
4. 对流体或长期大变形可能更自然。

但显式离散也可能积累数值误差，因此时间步、正定性和长期稳定性仍然很重要。

---

十、内部填充：一个必要但并不完美的补丁

这是论文中很重要、也很值得批判性思考的一部分。

1. 为什么需要内部填充？

3DGS 的优化目标是重建图像，不是重建真实材料密度。

因此 Gaussian 多数分布在：

• 外轮廓；
• 可见表面；
• 纹理和颜色变化明显的位置。

物体内部通常没有 Gaussian。

如果直接把这些表面 Gaussian 当作材料点，物体实际上是一层薄壳：

• 在重力下容易塌陷；
• 质量分布错误；
• 体积刚度错误；
• 泊松效应不正确；
• 断裂后内部是空的。

---

2. 作者怎样填充？

作者用所有 Gaussian 构造 opacity 场：

$$d(\mathbf x) = \sum_p \sigma_p \exp \left[ -\frac12 (\mathbf x-\mathbf x_p)^T \mathbf A_p^{-1} (\mathbf x-\mathbf x_p) \right]$$

然后：

1. 将连续场离散到三维网格；
2. 沿六个坐标方向发射射线；
3. 检测射线是否穿过 opacity 阈值边界；
4. 进一步根据交点数量判断网格是否位于内部；
5. 在内部网格中生成粒子。

补充粒子的颜色和 opacity 从最近的原始 Gaussian 继承。(CVPR_2024_PhysGaussian Physics-Integrated 3D Gaussians for Generative Dynamics.pdf)

---

3. 这里存在一个有趣的思想张力

论文主张“what you see is what you simulate”，但内部填充说明：

真正的物理模拟不能只模拟“看得见的 Gaussian”。

原始 Gaussian 是视觉表示，而内部粒子是根据视觉表示推测出来的隐变量。

所以严格来说，PhysGaussian 更接近：

用可见 Gaussian 作为表面和外观表示，再自动补充一套与其兼容的隐式内部物理表示。

这并不削弱方法的价值，但说明 WS² 更像一个方向性理念，而不是百分之百严格成立的事实。

---

十一、为什么需要各向异性正则化？

3DGS 喜欢使用非常扁、非常细的 Gaussian，因为这能高效贴合表面。

但这些“薄片状 Gaussian”在静态渲染时没有问题，在大形变下可能出现：

• 长刺；
• 毛边；
• 破碎绒毛状结构；
• 椭球长轴从表面伸出去。

作者加入正则项，限制 Gaussian 最大轴和最小轴的比例：

$$\mathcal L_{\rm aniso} = \frac1{|\mathcal P|} \sum_p \left[ \max \left( \frac{\max(\mathbf S_p)}{\min(\mathbf S_p)},r \right)-r \right]$$

其目的不是让所有 Gaussian 都变成球形，而是避免极端细长。

论文 Figure 8 显示，不加正则时，凳子在变形区域会出现明显尖刺和毛刺；加入后表面连续性更好。(CVPR_2024_PhysGaussian Physics-Integrated 3D Gaussians for Generative Dynamics.pdf)

这也反映出一个更深的问题：

为静态图像重建优化出的最佳表示，不一定是适合物理变形的最佳表示。

因此 PhysGaussian 实际上对 3DGS 的训练目标进行了“simulation-aware”的修正。

---

十二、不同材料是怎样实现的？

论文并没有为每种材料训练不同神经网络，而是在同一 MPM 框架中切换本构模型。

附录给出了使用的主要材料模型。(CVPR_2024_PhysGaussian Physics-Integrated 3D Gaussians for Generative Dynamics.pdf)

1. Fixed Corotated Elasticity

适合一般弹性物体，例如：

• 狐狸玩偶；
• 花瓶中的植物；
• 沙发；
• 面包等。

它把刚体旋转从形变中分离出来，仅对真实拉伸和剪切产生弹性应力。

优点是稳定、计算高效。

---

2. Neo-Hookean

一种经典超弹性模型，适合较大形变和较明显的非线性弹性。

论文在体积保持的麦克风实验中使用了这一模型。

---

3. von Mises 塑性

适合延展性金属。

其核心特点是：

• 剪切应力超过屈服阈值后发生塑性；
• 对静水压力相对不敏感；
• 可以产生永久变形。

论文用它模拟飞机和金属罐。

---

4. Drucker–Prager 塑性

适合：

• 沙子；
• 土壤；
• 颗粒材料。

它将屈服条件与压力和摩擦角相关联，能够描述：

• 堆积；
• 摩擦；
• 剪切破坏；
• 颗粒体塌落。

---

5. Herschel–Bulkley

适合带屈服应力的非牛顿材料，例如：

• 果酱；
• 糊状物；
• 泡沫；
• 凝胶。

材料在应力较小时像固体；超过屈服应力后开始流动，并且流动黏度可随剪切率变化。

论文使用这些模型，覆盖弹性、金属塑性、颗粒、粘塑性等场景。(CVPR_2024_PhysGaussian Physics-Integrated 3D Gaussians for Generative Dynamics.pdf)

---

十三、实验结果应该怎样看？

1. 材料多样性实验

Figure 3 展示了：

• 狐狸：弹性；
• 飞机：塑性金属；
• 吐司：断裂；
• 废墟：颗粒沙土；
• 果酱：粘塑性物质；
• 沙发：碰撞。

(CVPR_2024_PhysGaussian Physics-Integrated 3D Gaussians for Generative Dynamics.pdf)

在速度方面，论文报告部分场景达到：

• plane：30 FPS；
• toast：25 FPS；
• jam：36 FPS。

作者以 $1/24$ 秒为实时帧预算，因此这些案例可以达到实时或接近实时。(CVPR_2024_PhysGaussian Physics-Integrated 3D Gaussians for Generative Dynamics.pdf)

不过这里需要注意：

• 不是所有案例都实时；
• 速度与粒子数、网格分辨率、时间步数强相关；
• 实验硬件是 RTX 3090；
• 论文没有给出非常完整的规模—速度曲线。

因此“real-time”更准确地说是：

在部分中等复杂度场景中，物理模拟加 Gaussian 渲染可以达到实时。

---

2. Lattice Deformation Benchmark

由于真实世界中很难获得物体变形后的多视角 ground truth，作者使用 Blender 合成数据：

• 先生成未变形状态的 100 个视角；
• 再用 lattice 工具施加弯曲和扭转；
• 生成变形后的 100 个 ground-truth 视角。

比较对象包括：

• NeRF-Editing；
• Deforming-NeRF；
• PAC-NeRF。

PhysGaussian 在六个测试条件中的 PSNR 都最高。(CVPR_2024_PhysGaussian Physics-Integrated 3D Gaussians for Generative Dynamics.pdf)

表 1 中：

场景	操作	Ours PSNR
Wolf	Bend	26.96
Wolf	Twist	26.46
Stool	Bend	31.15
Stool	Twist	26.15
Plant	Bend	25.81
Plant	Twist	23.87

(CVPR_2024_PhysGaussian Physics-Integrated 3D Gaussians for Generative Dynamics.pdf)

这里的提升有两个来源：

1. 3DGS 本身具有较高的渲染质量；
2. $\mathbf F\mathbf A\mathbf F^T$ 能保留局部拉伸、剪切和旋转。

因此这一实验主要证明：

当形变场已知时，PhysGaussian 能比只移动点、使用代理笼子或低维形变映射更好地保持变形后的视觉质量。

它并不能直接证明其物理模拟比其他物理求解器更准确，因为 benchmark 中使用的是预先规定的 lattice 形变，而不是动力学过程。

---

3. 消融实验告诉了我们什么？

作者进行了三个主要消融：

Fixed Covariance

只移动 Gaussian 中心，不改变协方差。

结果：物体一旦被拉伸，Gaussian 无法覆盖新表面，出现孔洞和破碎。

Rigid Covariance

Gaussian 可以旋转，但不能拉伸和剪切。

结果：比固定协方差好，但依然无法适应非刚性形变。

Fixed Harmonics

Gaussian 几何正常变化，但球谐方向不旋转。

结果：几何基本正常，但视角相关颜色一致性下降。

所有增强组合在一起获得最佳指标。(CVPR_2024_PhysGaussian Physics-Integrated 3D Gaussians for Generative Dynamics.pdf)

这一消融很有说服力，因为它验证了文章最重要的三层运动：

1. 中心的平移；
2. 协方差的完整仿射变形；
3. 外观坐标系的旋转。

---

4. 内部填充实验

Figure 6 表明，没有内部填充时，不管怎样调整 Young’s modulus，物体都会更像空壳一样在重力下塌陷。

填充内部粒子后：

• 增大 Young’s modulus $E$，物体更硬；
• 增大 Poisson ratio $\nu$，物体更倾向于保持体积。

(CVPR_2024_PhysGaussian Physics-Integrated 3D Gaussians for Generative Dynamics.pdf)

这说明内部填充不是单纯改善画面，而是影响了材料参数是否具有合理的物理意义。

---

十四、这篇论文最强的地方

1. 数学接口非常干净

很多“视觉 + 物理”工作只是把两个系统拼在一起。

PhysGaussian 找到了一个极其自然的接口：

$$\text{连续介质形变梯度} \quad\longrightarrow\quad \text{Gaussian 协方差}$$

而且这个接口不是经验网络预测，而是由 Gaussian 在仿射变换下的闭包性质推导出来的。

这是全文最具有长期价值的思想。

---

2. 统一表示减少了传统中间环节

不需要：

• marching cubes；
• 表面网格提取；
• 四面体化；
• cage mesh；
• 从模拟几何插值回视觉几何。

这不仅简化工程，也避免了不同分辨率之间的信息损失。

---

3. MPM 与 Gaussian 的粒子结构天然契合

3DGS 是一组无结构空间核；MPM 是一组无固定拓扑的材料点。

二者都具有：

• 粒子化；
• 无显式连接；
• 容易并行；
• 可处理大形变。

因此这种组合不是随意选择，而是表示结构上的相互匹配。

---

4. 不是只能模拟软体

论文用不同本构模型覆盖了：

• 弹性；
• 金属塑性；
• 断裂；
• 沙土；
• 果酱；
• 碰撞。

说明统一表示并不意味着只能使用单一材料模型。

---

十五、论文的关键局限

作者自己承认：

• 没有处理阴影随运动的变化；
• 材料参数需要人工设置；
• 未来可结合分割和可微 MPM 从视频估计参数；
• 可使用 geometry-aware 3DGS 改善重建；
• 液体等更复杂材料仍需进一步研究。(CVPR_2024_PhysGaussian Physics-Integrated 3D Gaussians for Generative Dynamics.pdf)

除此之外，还可以看到更深层的局限。

---

1. “视觉粒子”不一定是好的“物理粒子”

3DGS 的 Gaussian 密度由视觉优化决定：

• 纹理复杂处可能很多；
• 平坦区域可能很少；
• 遮挡区域可能缺失；
• Gaussian 尺度差异很大。

但物理离散通常希望：

• 质量采样较均匀；
• 体积积分准确；
• 邻域覆盖合理；
• 数值条件较稳定。

论文用“网格体积除以网格中的粒子数”为每个粒子分配体积，这是一种实用近似，但没有严格保证这些 Gaussian 构成高质量的物理积分点。

因此：

同一表示服务于视觉和物理，是它最大的优点，也同时是潜在矛盾。

---

2. Gaussian 在非线性形变下保持 Gaussian 只是局部近似

$$\mathbf A'=\mathbf F\mathbf A\mathbf F^T$$

依赖单个 Gaussian 支撑区域内形变近似仿射。

当：

• Gaussian 很大；
• 形变曲率很高；
• 发生剧烈弯折；
• 局部断裂；

一个 Gaussian 的真实形状可能不再接近椭球。

这时理想策略可能包括：

• 自适应拆分 Gaussian；
• 合并或重采样；
• 根据形变误差调整核尺度。

论文没有处理动态 densification 或 topology-aware resampling。

---

3. 外观被大幅简化

论文假设：

• opacity 基本不变；
• 球谐系数不变；
• 只旋转球谐坐标；
• 阴影不更新。

(CVPR_2024_PhysGaussian Physics-Integrated 3D Gaussians for Generative Dynamics.pdf)

这意味着当物体：

• 被压扁；
• 被拉薄；
• 发生断裂；
• 暴露内部；
• 表面粗糙度改变；

其颜色、反射、透光和材质并不会真正根据物理过程变化。

尤其是断裂，几何上的粒子可以分开，但新产生断面的视觉纹理主要来自邻近 Gaussian 的继承，并不是真正重建出的内部材质。

---

4. 物理参数和控制仍然依赖人工

实验中作者手动：

• 选择模拟区域；
• 归一化模拟区域；
• 指定材料模型；
• 设置密度、Young’s modulus、Poisson ratio、屈服应力等；
• 修改一部分粒子的初始速度来触发运动。

(CVPR_2024_PhysGaussian Physics-Integrated 3D Gaussians for Generative Dynamics.pdf)

因此它还不是：

给定一段现实视频，自动理解物体是什么材料，然后生成准确动力学。

它更接近：

给定一个 3DGS 场景，由用户选择材料与控制条件，系统生成物理合理的新运动。

---

5. 实验更强地证明了“渲染保持”，而不是“物理准确”

论文的定量表主要使用 PSNR，衡量变形后图像与 ground truth 的差异。

但没有系统报告：

• 位移误差；
• 应力误差；
• 体积误差；
• 动量误差；
• 能量漂移；
• 与真实物理实验的视频轨迹对比；
• 不同时间步和网格分辨率的收敛性。

因此，文章的证据最充分地支持：

1. 统一表示有效；
2. Gaussian 在已知形变下能保持高质量；
3. MPM 可生成视觉上合理的多材料运动。

但“高精度物理数字孪生”还不是它已经完成的目标。

---

十六、如何理解论文中的“Generative Dynamics”？

这里的 generative 不应当理解成扩散模型或概率生成模型。

PhysGaussian 不是学习一个：

$$p(\text{motion}\mid \text{text})$$

也不是从数据中随机采样动作。

它的“生成”是指：

给定一个静态场景、材料参数、初始条件和外力，用物理规律合成训练数据中没有出现过的新运动。

所以更准确地说，它是：

• physics-conditioned motion synthesis；
• simulation-driven generation；
• 静态重建到动态内容生成。

---

十七、这篇工作的更深层意义

1. 它在尝试消除“重建对象”和“模拟对象”的边界

传统视觉系统关注：

我怎样从图片重建一个看起来正确的场景？

传统物理系统关注：

我怎样构建一个计算稳定、材料属性明确的离散模型？

PhysGaussian 尝试让一个表示同时承担两种角色。

这代表一个重要趋势：

$$\text{视觉表示} + \text{几何表示} + \text{物理表示} \rightarrow \text{统一场景表示}$$

---

2. 3DGS 不只是一个渲染表示

这篇文章展示，Gaussian 的协方差实际上可以成为一个局部运动学载体。

一旦为 Gaussian 加上：

• 速度；
• 质量；
• 形变梯度；
• 应力；
• 材料状态；

它就从“可渲染点云”变成了某种可视化材料点。

这也说明 3DGS 的潜力不只在新视角合成，还包括：

• 编辑；
• 动画；
• 机器人交互；
• 仿真；
• 数字孪生；
• 具身世界模型。

---

3. 真正困难的是隐藏物理属性

照片能比较直接地告诉我们：

• 颜色；
• 轮廓；
• 表面纹理。

但不能唯一确定：

• 密度；
• 内部结构；
• Young’s modulus；
• 屈服应力；
• 摩擦系数；
• 是否中空；
• 内部是不是多材料。

PhysGaussian 通过人工设置参数和启发式填充绕过了这个逆问题。

下一步真正关键的研究方向不是仅仅“更快地模拟”，而是：

怎样从视觉、触觉或者交互中推断隐藏的材料和结构。

---

十八、可以继续推进的研究方向

基于这篇论文，比较自然的后续方向有：

自动材料识别

从视频中的运动反推：

• 密度；
• 弹性模量；
• 泊松比；
• 屈服应力；
• 黏度；
• 摩擦角。

这需要可微物理模拟和多视角跟踪。

多材料分割

现实物体往往不是单一材料，例如：

• 花盆是陶瓷，植物是柔性茎叶，内部是土壤；
• 沙发包含布料、泡沫、木架；
• 玩具有毛皮、填充物和硬质眼睛。

需要为不同 Gaussian 分配不同本构模型。

学习内部结构

用生成模型根据表面和物体类别预测：

• 实心还是中空；
• 内部密度分布；
• 骨架；
• 多层材料。

这会比基于 opacity 阈值的填充更真实。

动态重采样

Gaussian 在剧烈形变下自动：

• 分裂；
• 合并；
• 重定向；
• 调整质量和体积。

这样可以缓解局部仿射假设失效的问题。

物理一致的外观演化

把球谐旋转扩展为：

• 基于法线和 BRDF 的动态光照；
• 阴影变化；
• 拉伸导致的纹理坐标变化；
• 裂纹和断面的新材质生成；
• 湿润、融化、塑性损伤等外观变化。

---

十九、我对这篇论文的总体评价

这是一个思想非常清晰、数学连接非常优雅、工程效果很强，但物理验证仍偏视觉导向的工作。

它最值得记住的不是具体的 MPM 实现，而是下面这组对应关系：

$$\begin{aligned} \text{Gaussian center} &\leftrightarrow \text{material point position},\\ \text{Gaussian covariance} &\leftrightarrow \text{local deformation},\\ \text{spherical harmonic orientation} &\leftrightarrow \text{material-frame appearance},\\ \text{Gaussian cloud} &\leftrightarrow \text{continuum discretization}. \end{aligned}$$

其中最核心的一行是：

$$\boxed{ \mathbf A_p(t) = \mathbf F_p(t)\mathbf A_p^0\mathbf F_p(t)^T }$$

它将计算力学中的局部形变，精确转成 Gaussian Splatting 能直接渲染的椭球变化。

因此，这篇论文可以被理解为：

将 3D Gaussian 从“场景外观基元”升级成“兼具外观和物理状态的材料基元”。

但目前它仍然需要人工提供材料和控制，内部结构是推测的，外观不会随真实光照和材料变化而充分演化，定量实验也更多证明渲染质量而不是动力学精度。

所以它更像是一个非常有说服力的起点：

证明“直接让重建出的 Gaussian 世界获得物理规律”是可行的，而不是已经彻底解决了从现实图像到准确物理世界模型的问题。