首次超越自回归模型!蚂蚁集团开源业内首个高性能扩散语言模型推理框架dInfer
新浪科技讯 10月13日下午消息,首次蚂蚁集团正式开源业界首个高性能扩散语言模型推理框架dInfer。归模个高
据介绍,型蚂性在基准测试中,蚁集源业语dInfer将扩散语言模型的团开推理推理速度相比于英伟达扩散模型框架Fast-dLLM提升了10.7倍;在代码生成任务HumanEval上,dInfer在单批次推理中创造了1011Tokens/秒的内首速度,首次在开源社区中实现扩散语言模型的扩散框架单批次推理速度显著超越自回归模型。dInfer的模型工作表明,扩散语言模型具备显著的首次效率潜力,可以通过系统性的归模个高创新工程兑现,为通往AGI的型蚂性架构路径提供极具竞争力的选项。
在配备8块NVIDIA H800 GPU的蚁集源业语节点上,dInfer的团开推理性能表现令人瞩目:
在与先前的dLLM推理方案Fast-dLLM的对比中,dInfer在模型效果持平的内首情况下,平均推理速度(avg TPS)实现了10.7倍的扩散框架巨大提升(681 vs 63.6) ;在代码生成任务HumanEval上,dInfer在单批次推理中创造了1011 tokens/秒的速度 ;与在业界顶尖的推理服务框架vLLM上运行的、参数量和性能相当的AR模型Qwen2.5-3B相比,dInfer的平均推理速度是其2.5倍(681 vs 277) 。
蚂蚁集团表示,dInfer连接了前沿研究与产业落地,标志着扩散语言模型从“理论可行”迈向“实践高效”的关键一步。此次开预案,也是诚邀全球的开发者与研究者共同探索扩散语言模型的巨大潜能,构建更加高效、开放的AI新生态。

责任编辑:何俊熹
相关文章:
- 金山办公回应商务部采用WPS格式:定义符合中国企业的办公标准,既是责任更是使命
- 大众点评正式上线“品质外卖”频道!号称“真品质,真堂食,真评价”
- 菜鸟员工将获“双倍年终”奖金,知情人士:只要8月1号在职就有奖金
- 淘宝闪购饿了么官宣八位城市骑士代言人,将身着新制服登中文版《福布斯》封面
- 世界杯欧洲区预选赛赛事前瞻:瑞典vs科索沃
- 巨人网络2025中报:营收16.62亿元,同比增长16.47%
- 美团客服回应“退款疑问”:已修复退款信息滞后问题,将帮助用户追溯每一笔担心的订单
- 完美世界2025半年报:营收36.91亿元,同比增长33.74%
- 曼联高层与球员进行会谈 阿莫林帅位悬而未决
- 钉钉无招:外界对钉钉有误解,做考勤是为了让考勤更人性化、更方便