扭转TIDE：面向扩散大语言模型的跨架构蒸馏

论文信息

标题: Turning the TIDE: Cross-Architecture Distillation for Diffusion Large Language Models

作者: Gongbo Zhang, Wen Wang, Ye Tian, et al.

发布日期: 2026-04-29

PDF链接: 下载PDF

扩散语言模型与知识蒸馏的交汇

近年来，扩散语言模型（Diffusion Large Language Models, dLLMs）凭借并行解码能力和双向上下文建模，在文本生成领域展现出独特优势。与自回归（AR）模型逐个生成词元的串行方式不同，dLLM 通过逐步去噪过程从完全掩码的序列中恢复出完整文本，天然支持高效推理和更丰富的上下文依赖。然而，性能优异的 dLLM 往往需要数十亿参数，例如 8B 以上的稠密模型或 16B 以上的混合专家模型，这极大限制了它们在资源受限场景下的部署。

知识蒸馏是解决这一困境的经典手段，但已有的 dLLM 蒸馏工作仅局限于同一架构内部，例如将多步扩散学生蒸馏为少步模型，教师和学生拥有相同的注意力机制、分词器乃至网络结构。现实需求恰恰相反：我们希望把庞大而昂贵的教师模型（如 8B 稠密或 16B MoE）压缩到一个轻量级的 0.6B 学生模型中，且学生可能采用完全不同的架构和分词器。这种跨架构蒸馏面临三重核心挑战：教师和学生之间的架构异构性、扩散过程中教师预测可靠性的变化规律，以及不同分词器导致的对齐难题。论文 Turning the TIDE 首次系统性地解决了这些问题，提出了一个模块化的跨架构 dLLM 蒸馏框架，通过三个相互协作的组件，成功将大教师的知识注入小模型的扩散生成全过程。

为什么需要跨架构蒸馏？挑战与动机

传统自回归模型的蒸馏相对成熟，教师和学生的输出分布可以直接通过 KL 散度对齐，且推理过程是确定的单向流。但对于扩散语言模型，蒸馏需要在扩散时间的每一个噪声尺度上对齐分布，同时面临三大特有障碍。

第一，架构差异。教师可能是一个基于 Transformer 的稠密模型，而学生可能是更高效的结构，例如线性注意力或稀疏激活的变体。两者在特征表达、注意力模式、甚至层数上完全不同，直接的逐层匹配不可行。

第二，教师可靠性的噪声依赖性。在扩散过程中，早期时间步（高噪声）下，输入序列被大量掩码，教师自身的预测能力也严重退化，盲目匹配教师输出反而会向学生注入噪声；而在后期时间步（低噪声）时，教师预测接近真实，其指导价值极高。因此，蒸馏强度需要随训练进程和当前扩散时间步动态调节。

第三，分词器不匹配。不同模型常使用不同的分词器（tokenizer），即使语义相近的词元序列在长度、切分边界上也会不同。已有的跨分词器蒸馏方法（如 CALM）通过最大化块级似然来对齐，但在扩散蒸馏中，若直接沿用该方法，会出现梯度爆炸和噪声放大的问题。

TIDE 正是针对上述三座大山，分别设计了 TIDAL 调度器、CompDemo 增强器和 Reverse CALM 对齐目标，形成一套完整的跨架构扩散蒸馏流水线。

TIDE 框架的三大支柱

TIDAL：时间与步骤联合调节的蒸馏强度

TIDAL 全称为 Timestep-Aware Integrated Distillation Adjustment and Leveling，其核心思想是：教师信号的可靠程度不仅依赖于当前的扩散时间步 $t$ （从完全噪声到干净数据），还与整个训练过程的阶段 $s$ （从初始到收敛）有关。在训练初期，学生尚未建立对教师行为的稳定感知，过强的蒸馏约束可能将其推向局部次优；而在训练后期，则可以逐步收紧对齐要求。同样，在扩散的高噪声步 $t$ 接近 $T$ 时，掩码比例极高，教师自身输出置信度低，应当降低蒸馏权重；在低噪声步 $t$ 接近 $0$ 时，教师接近真实数据，蒸馏权重应提升。

TIDAL 引入一个联合调制函数 $\lambda(s, t)$ ，将训练进度 $s \in [0,1]$ 和扩散时间步 $t \in [0,T]$ 映射为蒸馏损失项的系数。具体实现上，论文采用一个可学习的二维调度面，或基于混合高斯函数构建平滑曲面，确保从高噪声到低噪声、从训练早期到后期的过渡都连续可导。这使得学生可以在早期专注于自身去噪能力的构建，在后期则充分吸收教师在高信噪比阶段的精细知识。这种动态蒸馏强度远优于固定权重或仅依时间步衰减的简单策略，显著提升了跨架构蒸馏的稳定性。

CompDemo：互补掩码增强教师预测

扩散模型在训练时会对输入序列进行随机掩码，这导致在高噪状态下，教师接收到的上下文严重碎片化，尤其当掩码率超过 80% 时，教师预测下一个（组）词元的条件概率几乎随机。CompDemo（Complementary Mask Splitting for Demonstration Enrichment）通过巧妙的掩码拆分技巧来缓解这一问题。

该方法将原本单一的随机掩码 $M$ 拆分为两个互补子掩码 $M_1$ 和 $M_2$ ，使得 $M_1 \oplus M_2 = M$ ，且两者互不重叠。在每一个训练样本上，教师分别在两个不同的掩码版本上执行前向传播：一次接收按 $M_1$ 掩码后的上下文，预测被 $M_2$ 掩盖的部分；另一次则交换角色。这样一来，教师可以利用相对完整的另一半上下文来补充信息，其预测质量大幅提升。学生则通过模仿这两次“丰富上下文”下的教师输出来学习，而无需在自己的推理过程中增加额外计算。CompDemo 在不改变教师模型结构的前提下，将高噪状态下的教师信号质量提高了数个信息量级，是对扩散蒸馏中教师端的关键加强。

Reverse CALM：跨分词器的反向块级匹配

Reverse CALM 是应对分词器不一致的核心创新。已有的跨分词器对齐方法 CALM（Chunk-level Likelihood Matching）通过将教师词元序列切块，最大化学生序列下每个块的似然，但这一目标函数在扩散模型框架下会引发梯度无界问题：当学生生成的词元概率分布与教师目标块差异极大时，负对数似然的梯度呈指数增长，导致训练崩溃。此外，扩散过程中的多步去噪会将这种不稳定性逐时间步传播和放大。

Reverse CALM 以“反转”的方式重写目标：它不再最大化学生词元序列 $y$ 下教师定义块 $c$ 的似然 $p(c|y)$ ，而是要求学生的词元序列能够使得教师语言模型在块级别上的“困惑”最小化，等价于求解一个梯度有界的分布匹配问题。公式上，Reverse CALM 最小化两个分布之间的平滑距离：

$\mathcal{L}_{\text{RC}} = D_{\text{sm}}(p_{\theta}^{\text{student}}(y) \parallel \pi_{\text{teacher}}(c))$

其中 $\pi_{\text{teacher}}(c)$ 表示教师对块 $c$ 的建模分布，经过 softmax 温度缩放和梯度截断，保证整个蒸馏过程平稳。更巧妙的是，Reverse CALM 天然支持双端噪声过滤：教师端通过 CompDemo 提升输入质量，学生端在计算该损失时仅对低噪声时间步加权，防止高噪步骤的不匹配信息污染梯度。这一设计使得跨分词器的知识传递首次在扩散模型中变得可行且稳定。

实验亮点：从 8B 到 0.6B 的性能飞跃

论文将上述三个组件集成后，在两条差异极大的蒸馏管道上进行验证：管道一将 8B 稠密扩散教师（基于 MDLM 架构）蒸馏到一个 0.6B 的学生（采用不同的注意力变体和 25% 更少的层）；管道二则将 16B 的混合专家（MoE）教师压缩到相同的 0.6B 学生中。评价涵盖 8 个通用 benchmark，包括阅读理解、常识推理与代码生成。

结果显示，TIDE 蒸馏的学生模型在所有基准上平均高出基线 1.53 分。尤其亮眼的是代码生成任务：在 HumanEval 评测中，自回归基线仅得 32.3%，而 TIDE 蒸馏的学生达到 48.78%，提升幅度超过 16 个百分点。这表明跨架构扩散蒸馏不仅能保留语言理解能力，还特别有利于需要结构化、可并行生成的代码场景，因为扩散模型天然的并行性和双向上下文更适合生成语法严谨的代码块。

消融实验表明，移除 TIDAL 导致收敛不稳定，尤其在训练后期严重震荡；去掉 CompDemo 则使高噪时间步的蒸馏几乎失效，最终性能下降 0.8 分；将 Reverse CALM 换为普通 CALM 则频繁出现梯度溢出，最终无法完成训练。三个组件缺一不可，共同保障了跨架构蒸馏的成功。

实践启示与应用建议

TIDE 的提出对量化交易、边缘部署、多模型融合乃至量子-经典混合系统等实践领域均有启发。

在量化交易领域，高频策略对模型延时有极高要求，大型语言模型往往难以直接部署在交易执行路径上。通过 TIDE，可将一个数十亿参数的金融领域扩散语言模型（例如用于新闻情感分析、财报解读）压缩到仅数亿参数，并保留其对事件的双向理解能力。结合 CompDemo 增强的情境预测，可提升在信息碎片化环境下的信号质量。实施建议：选取预训练的金融 dLLM 作为教师，设计一个延迟敏感的学生架构（如线性注意力），采用 Reverse CALM 对齐定制金融 tokenizer，再利用 TIDAL 动态调节蒸馏强度，以在模型体积缩小 10 倍的同时，将预测精度损失控制在 1% 以内。

对于多模态或跨语言应用，分词器不匹配是常态。Reverse CALM 提供了通用的跨词表知识传递方案，可轻松扩展至中文、多语言混合分词的场景。在边缘设备上，可利用 TIDE 将云端大模型的常识和推理能力蒸馏到一个离线运行的轻量扩散模型中，保持并行解码的低延迟优势。

未来还可以探索将 TIDAL 的调度思想与强化蒸馏结合，根据下游任务奖励自动调整蒸馏强度；或将 CompDemo 思想泛化为任意掩码增强策略，例如利用对抗掩码进一步提升教师鲁棒性。对于量子机器学习，扩散模型的并行本质与量子叠加态存在天然联系，跨架构蒸馏可为量子-经典混合模型的知识迁移提供新范式。

局限与未来方向

尽管 TIDE 取得了突破性成果，仍有几个值得探索的方向。第一，论文主要针对文本生成任务，未涉及多模态扩散模型（如图文混合生成）的跨架构蒸馏。第二，TIDAL 的调度函数目前依赖于经验设计的参数化形式，未来可引入元学习自动发现最优调度面。第三，Reverse CALM 的有界性依赖于温度缩放和梯度裁剪，虽在实验中稳定，但理论上仍缺乏全局收敛保证，设计具备天然梯度有界性的散度度量（如 Sinkhorn 距离）可能是更优雅的替代。第四，当前蒸馏仅利用教师的输出分布，未利用其中间层特征，若能结合跨架构的表示对齐，或许能进一步缩小师生差距。

结语

TIDE 作为首个面向扩散大语言模型的跨架构蒸馏框架，巧妙地解决了模型异构性、噪声依赖性可靠性和分词器不匹配三大难题。通过 TIDAL 的联合强度调度、CompDemo 的互补掩码增强和 Reverse CALM 的块级反向匹配，论文实现了将 8B/16B 教师的知识高效压缩至 0.6B 学生，并在多个基准上取得一致提升。这项工作不仅拓宽了扩散语言模型的实用边界，也为跨架构知识迁移提供了普适性方法论。随着大模型向更高效、更专用的方向演进，TIDE 所代表的设计哲学——尊重教师本身在噪声下的特性、灵活适应架构差异、从损失层面解决分词器鸿沟——无疑将影响未来几代模型压缩与协同训练的技术路线。