递归多智能体系统

论文信息

标题: Recursive Multi-Agent Systems

作者: Xiyuan Yang, Jiaru Zou, Rui Pan, et al.

发布日期: 2026-04-28

arXiv ID: 2604.25917v1

PDF链接: 下载PDF

论文背景与研究动机

近年来，语言模型的规模化扩展（scaling）已成为推动人工智能进步的核心动力之一。除了传统的增加模型参数、扩大训练数据等维度，一种新的扩展思路正在兴起：递归式语言模型。这类方法通过将模型在隐状态空间中进行循环计算，反复精炼内部表示，从而在不增加外部参数量的前提下加深推理深度。例如，一些工作将循环结构引入Transformer，使得模型能够在固定的隐状态上迭代多次，显著提升复杂推理任务的表现。

然而，现有的递归扩展方案几乎都聚焦于单个模型内部的优化。当我们将视角转向多智能体系统（Multi-Agent Systems, MAS）时，一个自然的问题浮现出来：智能体之间的协作本身，能否通过递归机制来扩展？ 多智能体系统通过多个专门化模型的交互来完成复杂任务，在数学推理、代码生成、知识搜索等场景中展现了巨大潜力。但传统的多智能体协作通常以文本消息传递为基础，多个智能体在对话循环中交换自然语言信息。这种方式虽然灵活，却面临两个瓶颈：一是文本生成导致推理速度慢、延迟高；二是智能体之间的交互是离散且单向的，缺乏端到端可微的联合优化能力，系统整体性能的提升往往依赖人工设计协作策略。

正是在这样的背景下，论文 Recursive Multi-Agent Systems 提出了全新的框架 RecursiveMAS，致力于将递归扩展的理念从单一模型推广到多智能体系统。论文的核心洞察是：如果将整个多智能体系统视为一个统一的隐空间递归计算过程，不仅可以打破文本交互的桎梏，还能实现系统级的可微优化，大幅提升协作效率与推理性能。

核心方法：将多智能体协作变成隐空间递归

RecursiveMAS 的设计围绕一个关键模块——RecursiveLink 展开。该模块连接了多个异构智能体，形成一个协作循环，使得整个系统在隐空间中进行递归计算。每个智能体不再是独立输出文本，而是产生隐空间思维状态（latent thoughts），并通过 RecursiveLink 在不同智能体之间转移。

具体来说，RecursiveMAS 将一轮完整的系统推理过程视作一次递归迭代。每一次迭代包含三个阶段：

• 隐思维生成：每个智能体根据当前任务输入和上一轮（或初始）的隐状态，利用自身的模型参数生成当前的隐思维向量 $h_t$。这里不再需要解码为自然语言，而是停留在一个连续向量空间中。
• 跨智能体隐状态转移：RecursiveLink 接收各智能体的隐思维，通过轻量级的神经网络（例如注意力融合或门控机制）进行信息整合，然后为每个智能体生成下一轮迭代的初始隐状态。这种转移保持了整个系统的连续性，使得智能体能够基于其他智能体的“内部思考”来调整自己的后续推理。
• 递归迭代：上述过程被重复执行 $K$ 次，形成深度为 $K$ 的隐空间递归。最终，系统从最后一次迭代的隐状态中解码出最终答案。

图景上，这就好比将传统的多智能体“对话”从显式的文字交流转化为隐式的向量流传递。每个智能体在每次循环中接收其他智能体的压缩思想，而不是阅读冗长的文本回复。这一转变带来了多方面的优势。

为了训练这个隐空间递归系统，论文提出了一种内外双循环学习算法。内循环指在单次前向传播中的 $K$ 次递归迭代，外循环则指梯度更新的训练步。关键在于：通过跨递归轮次共享的梯度信用分配（credit assignment），系统可以对整个递归过程进行端到端优化。传统多智能体系统由于文本生成操作不可微，优化目标只能针对单个智能体分别设计；而 RecursiveMAS 利用隐空间连续表示，使得梯度可以从最终输出反向传播到每一个递归步骤和每一个智能体，从而实现联合协同优化。理论分析表明，这种设计保证了递归训练过程中梯度的稳定性，避免了梯度消失或爆炸等问题。

此外，论文对 RecursiveMAS 的运行时间复杂度和学习动态进行了形式化分析。结果表明，与标准基于文本的 MAS 相比，RecursiveMAS 的总推理复杂度显著降低，同时保持了计算效率。这一点在实验中也得到了充分验证。

创新点与主要贡献

RecursiveMAS 的主要创新可以归纳为以下四个方面：

1. 递归扩展范式的泛化：首次将递归计算从单模型内部扩展至多智能体系统层面，证明了“通过递归扩展协作”这一想法的有效性。这为多智能体系统的规模化提供了全新的维度。

2. 隐空间交互与 RecursiveLink 模块：放弃文本消息，直接在隐向量空间中实现智能体间的信息交换。RecursiveLink 作为一个适配层，使得异构智能体能够无缝协作，并且整个交互过程保持可微性。这种设计极大减少了 token 消耗和文本生成的延迟。

3. 内外循环联合优化算法：针对隐空间递归系统，提出了共享梯度信用分配的训练方法，实现了多个智能体在多个递归轮次上的协同优化。相比传统的独立训练或强化学习方法，该算法更加稳定且高效。

4. 全面的理论与实验验证：论文不仅在数学上分析了时间复杂度与梯度性质，还在 4 种代表性的智能体协作模式（如辩论、级联、聚合等）下，在 9 个覆盖数学、科学、医学、搜索、代码生成的基准上进行了评估。实验结果一致表明，RecursiveMAS 在准确率、推理速度、token 消耗上全面优于先进的单智能体、多智能体以及递归计算基线模型。

实验结果深度分析

论文的实验设计严谨且丰富。作者将 RecursiveMAS 实例化在四种不同的协作模式下，分别为：

• Sequential：智能体顺序工作，后续智能体看到前序结果。
• Debate：智能体互相质疑并精炼答案。
• Aggregate：多个智能体独立生成结果后投票融合。
• Hierarchical：一个管理者智能体分派任务并整合结果。

这些模式覆盖了多数实际应用场景。对比的基线包括强单模型（如 GPT-4 级）、标准文本型多智能体系统、以及具备递归结构的单模型。

结果显示，RecursiveMAS 在所有 9 个基准测试上平均准确率提升 8.3%。尤为值得注意的是，端到端推理速度提高了 1.2 倍至 2.4 倍，同时 token 使用量减少了 34.6% 到 75.6%。这一降本增效的直接原因，正是隐空间递归避免了大量中间文本的生成与解析。在数学推理任务（如 MATH）中，递归隐状态允许模型进行深层次的链式思考，保持了推理的连贯性；在代码生成和搜索任务中，跨智能体的隐状态快速传递极大地缩短了响应时间。

此外，消融实验验证了 RecursiveLink 设计和递归轮次 $K$ 的影响。增加递归轮次能够持续提升性能，但收益逐渐饱和；当 $K=4$ 或 $5$ 时通常达到最佳平衡。移除 RecursiveLink 恢复文本交互后，系统性能大幅下降，且推理成本急剧上升，充分说明隐空间递归的核心作用。

实践应用建议

基于 RecursiveMAS 的特性，我们可以在以下几个方面给出具体的实践建议：

• 复杂推理系统构建：如果你在构建一个需多步骤推理或需要多专家观点融合的系统（例如医学诊断辅助、数学题解算），可考虑采用隐空间递归架构。将各领域模型作为智能体，通过轻量 RecursiveLink 连接，可显著提升系统的整体推理深度与效率，同时降低 API 调用成本。
• 降低多智能体系统成本：当前基于文本交互的多智能体系统常因冗长的对话而消耗大量 token，RecursiveMAS 提供了绝佳的降本方案。在实践中，可训练一个适配层将原有智能体的输出映射为隐向量进行交互，仅在最终输出时生成文本，从而大幅压缩 token 开销。
• 联合微调策略：对于需要同时优化多个协同工作的模型的任务（如企业内多个 AI 助手共同完成客户服务），可利用 RecursiveMAS 的内外循环训练框架进行端到端微调。这比分开训练每个模型更有利于发现系统层面的协作策略。
• 实时性要求高的场景：将 RecursiveMAS 的推理部署思路迁移到实时对话系统或自动驾驶等低延迟场景中。隐状态传递避免了文本解码的串行瓶颈，可有效降低响应延迟。

未来发展方向

RecursiveMAS 为多智能体系统的演进打开了一个新方向，未来的探索可以从以下几个角度深化：

1. 更大规模异构系统：当前实验使用了有限数量智能体，未来可研究数十或上百个智能体下的递归扩展策略，并结合模型路由（model routing）动态决定哪些智能体参与每轮递归。
2. 自适应递归深度：开发动态提前终止（early exit）机制，让系统根据任务难度自动调整递归轮次 $K$，避免不必要计算。
3. 跨模态递归：将递归隐空间交互从文本扩展到图像、音频等多模态任务，例如将视觉问答中的多个模态专家通过 RecursiveLink 连接。
4. 理论深化：进一步分析递归多智能体系统的收敛性、信息瓶颈等理论性质，为架构设计提供更坚实的指导。
5. 安全与可解释性：隐空间交互虽高效，但其透明性低于文本对话。未来需研究如何使隐状态可解释，并确保递归协作过程的安全性，防止有害思想的传播。

总结与展望

RecursiveMAS 提出了一种将多智能体系统重构为统一隐空间递归计算的范式，极具创新价值。它成功地将递归扩展从单一模型推向多智能体协作层面，通过 RecursiveLink 实现了高效、可微的跨智能体隐状态交互。理论分析和实验结果一致证明，该框架在提升准确率的同时，大幅降低了推理成本和延迟。这项工作不仅为解决复杂推理任务提供了强有力的工具，也为下一代多智能体系统的设计指明了方向：从显式对话走向隐式协同，从离散优化走向端到端可微递归。随着未来研究的深入，我们有理由相信，递归多智能体系统将在更广泛的智能应用中发挥核心作用。