深圳初创企业在大模型领域取得新突破

在回答大模型问题时，是否必须逐字生成？一家位于深圳的创业公司正在探寻不同的解决方案。10月28日，扩散智能DiffuSpace发布并开源了其最新模型Clover-35B-A3B-Preview。该模型采用混合专家架构（MoE），具有350亿的总参数量，其中每个Token激活约30亿参数，专门用于智能体编程和工具使用等任务。这标志着该公司将扩散语言模型从实验室研发转向实际应用的重要进展。

与主流自回归生成模型不同，DiffuSpace选择了扩散语言模型（dLLM）。自回归模型按顺序预测下一个Token，而扩散语言模型则尝试在多个位置同时补全内容，通过迭代逐步形成答案。DiffuSpace在发布新模型之前，已成功完成两轮融资，总额达数亿元人民币，由经纬创投、顺为资本和君联资本联手投资。

DiffuSpace成立于2023年5月，由香港大学NLP实验室的孔令鹏教授及其团队创办。早在2022年，该公司的核心团队已开始研究扩散语言模型，是全球最早在该技术路径上进行深入探索的团队之一。选择不同的生成方式并不容易，因此团队需确保生成速度在模型扩大的同时不受影响，并关注测试结果在实际任务中的表现。 乐玩国际

理解DiffuSpace的选择需要从大模型的内容生成方式入手。自回归模型的生成方式就像是顺序续写，通过预测下一个最合适的Token来逐步构建文本，这也限制了并行处理的可能性。而扩散语言模型则使用不同的方法，可以并行预测多个位置的内容，逐步减少不确定性，适合需要考虑多个约束的代码和结构化输出。

新发布的Clover模型采用分块扩散方法，在各个文本块内并行补全内容，同时引入双向信息交互，保持块与块之间的关系。其目标是在扩展模型规模时有效控制计算开销和生成质量。Clover的总参数量为350亿，每个Token激活约30亿参数，通过部分专家参与计算。

DiffuSpace将智能体编程和工具使用作为其发展的重点，这是基于明确的应用逻辑。与单次问答不同，智能体任务常涉及多次理解需求和工具调用，因此一次生成所节省的时间可能在多步任务中累积。Clover在六项智能体评测中表现优异，得分超过对比模型，并在整体生成速度上表现出色。 乐玩国际

此外，DiffuSpace还计划推出基于Clover的决策模型，并扩展其多模态能力，旨在一次生成中处理多个互相关联的问题，以减少前后矛盾。深圳的团队正在从研究转向市场，为未来的发展铺平道路。