对称性广泛存在于各种物理系统中。它在对生成模型提出对称性要求的同时，是否也能通过指出冗余自由度而减轻模型学习负担？
近日，北京中关村学院刘畅团队联合北京大学贺笛团队提出商空间扩散模型，并以Oral口头报告形式发表在国际顶级机器学习会议ICLR 2026上（评分排名前0.26%）。该工作从第一性原理出发，给出了能够减轻模型学习负担同时保证生成分布正确性的生成式建模框架。此前，包括AlphaFold 3和GeoDiff在内的诸多知名工作曾尝试通过对齐操作来利用对称性减轻模型学习负担，但未能保证生成正确的分布。实际表现上，商空间扩散模型超越了一众等变扩散模型以及使用对齐方法的模型，甚至在蛋白质结构生成上仅用30%参数量的小模型就超越了这些已有方法的表现。
• 论文链接：https://openreview.net/forum?id=3JPAkwSVc4
• arXiv地址：https://arxiv.org/abs/2604.21809
利用对称性减轻模型学习负担：AlphaFold想做但没做对的事情
很多科学问题中系统都具有一定的对称性。例如在分子三维结构生成问题中，一个分子结构在整体平移旋转（即刚体运动）下得到的各种结构都应视为等价的，因为这只相当于坐标系的变化。经过近几年的快速发展，使用等变扩散模型或数据增强（表1第一行）已经可以保证分布的对称性，但它们仍然未能利用对称性减轻模型的学习负担（第三、四列）：对称性意味着有些自由度只在等价状态之间变化，本质上是冗余的，因而模型需要学习的自由度理应可以减少。
表1：各种考虑对称性的生成模型框架在减轻模型学习负担（第三、四列）和生成过程正确性（第五列）方面的对比。
对此，分子结构生成领域一些里程碑式的工作已经有尝试，包括最早的分子结构生成模型之一GeoDiff以及获得2024年诺贝尔化学奖的AlphaFold后续版本AlphaFold 3，它们各自在训练目标中引入了通过平移旋转将两个分子结构对齐（alignment）的操作以期去掉这些冗余自由度（表1第二、三行）。团队分析发现，这些基于直觉的对齐操作会改变模型的学习目标（第二列），不再匹配原本的生成过程，使得生成分布与目标分布之间存在偏差（第五列）。而商空间扩散模型通过严格的数学推导，得到了匹配的学习目标和生成过程，首次在去除冗余自由度的同时保证了生成分布的正确性（第四行）。
图2：商空间扩散模型原理示意：①原空间生成过程与商空间的概念、②商空间上扩散过程、③拉回到原空间的生成过程、以及④在分子三维结构生成情况下的表达式及解读。
商空间扩散模型：刻画内在状态的生成过程
团队从第一性原理角度考虑此问题，提出应在商空间上分析和设计生成模型才是从根本上解决此问题的思路。商空间将原空间中一组等价状态（即等价类）看作一个元素（图2 ①），从设计上就消除了冗余自由度。团队首先将原空间上的扩散过程（①）投影到商空间上（②），继而考虑到商空间难以表示和模拟，利用水平提升（horizontal lift）这一数学构造，将生成过程再拉回到原空间（③），使之能与原生成过程一样方便地模拟。
图3：对于二维旋转对称分布，（左）相比于等变扩散过程（浅色实线）在整个二维空间上曲折运动，商空间扩散过程（深色虚线）只沿径向直线运动，而不会产生旋转的角向运动，（右）同时最终产生服从正确目标分布的样本。
从效果上看，商空间生成过程通过一个投影算符去除了原生成过程中在冗余自由度上的运动，这在分子结构生成中恰好就是去除总（线）动量和总角动量的操作（图2 ④），使得在生成过程中分子不会发生刚体运动，而专注在“形状”的塑造上。在图3（左）的示例中，商空间扩散过程甚至是一条直线。但这一投影操作也不是可以随意加的。团队基于严格的推导，发现应有一个额外的运动项来抵消投影操作对分布的偏移，从而保证最终生成服从目标分布的样本（图3右）。
投影算符的出现使得模型只需在投影后的子空间上给出准确的预测，而在被投影去除的子空间上则没有任何限制。对于分子结构生成，这意味着模型的输出可以有任意的总（线）动量和总角动量，减轻了模型学习负担（表1第四行）。模型可专注学习如何对分子结构进行变形，将参数用在了刀刃上。
实际效果
更快的训练收敛速度：以生成效果为衡量标准，商空间扩散模型通过减轻模型学习负担，确实加速了模型训练收敛。它比GeoDiff对齐方法有明显加速，而尽管AlphaFold 3对齐方法一开始收敛更快，但因其学习目标与生成过程不匹配，最终无法得到正确的生成结果。
图4：商空间扩散模型（绿线）充分利用对称性减轻了模型学习负担，从而比GeoDiff对齐方法（橙线）收敛更快，而AlphaFold 3对齐方法（蓝线）则因无法保证生成过程的正确性而最终导致生成效果退化。
小分子结构生成：在覆盖率和精度等多种指标下，商空间扩散模型普遍提升了传统等变扩散模型的表现，并在一些情况下达到更大规模模型的表现。相比之下，GeoDiff和AlphaFold 3对齐方法因其破坏了生成过程的正确性，在大多情况下都影响了生成效果。
表5：小分子结构生成结果。同样情况下的最好结果以下划线标注。
蛋白质结构生成：在蛋白质设计的场景下，人们需要知道合理的蛋白质结构都可以是什么样的，因而需要建模汇集了各种蛋白的无条件骨架结构分布。结果表明，商空间扩散模型在所有情况和所有单点及分布指标下都提升了传统等变及数据增强的扩散模型的效果。它甚至可以让一个较小模型（60M参数；表6最后一行）取得超越显著更大模型（200M参数；倒数第四行）的表现。
表6：无条件蛋白质骨架结构生成结果。同样情况下的最好结果以下划线标注
结语
商空间扩散模型展示了从基础理论的角度分析问题并为直觉性的目标给出严格实现的成功。它突破了各种基于直觉性的方法，在减轻扩散模型学习负担的同时保证了方法的正确性，为AI推进解决各种科学问题建立了扎实的算法基础。