蚂蚁技术研究院李建国:扩散语言模型或成LLM新方向,生成速度可达传统模型4倍以上

专题:2026北京智源大会

蚂蚁技术研究院李建国:扩散语言模型或成LLM新方向,生成速度可达传统模型4倍以上-第1张图片

  6月12日至13日 ,2026第八届北京智源大会在北京中关村国际创新中心举行 。蚂蚁技术研究院深度学习实验室负责人李建国出席并演讲。

蚂蚁技术研究院李建国:扩散语言模型或成LLM新方向,生成速度可达传统模型4倍以上-第2张图片

  李建国表示,扩散模型或将成为语言模型下一阶段的重要发展方向和补充 ,其在生成速度和可编辑性方面展现出显著优势。

蚂蚁技术研究院李建国:扩散语言模型或成LLM新方向,生成速度可达传统模型4倍以上-第3张图片

  他解释到,扩散模型在图像生成领域已是主流范式,应用非常广泛 。正向过程是通过对图像逐步添加噪声直至变为白噪声 ,反向过程是从白噪声中逐步去噪,恢复出原始图像 。

  而在语言领域,当前主流范式是“Next Token Prediction”。“就像打字机一样 ,我前面打出一个字,后面接着就依赖前面去产生下一个字。扩散语言模型则将图像领域的范式迁移到语言中,可以像印刷机一样批量 、成批地输出词元 。 ”

  李建国以今年2月发布的LLaDA 2.1模型(可编辑扩散生成)与蚂蚁百灵2.0模型(100B参数)对比为例。LLaDA的生成速度约为1000 token/秒 ,而百灵2.0约为200 token/秒,速度相差4倍以上。

  他指出,从核心特性看 ,有两个速度,一个是传统的AR模型,一次只输出一个token ,即使采用投机采样方法(如MTP)也只能做到2-3个 。另外一个速度 ,就是扩散语言模型,起步平均能做到5-6个,在代码生成、智能体等场景中 ,实际观察可超过10个,最高可达15个。

  此外,扩散语言模型的另一个重要特性是可改写性。例如在生成过程中某个字出现错误 ,可以通过“悔改”机制只修改错误的那一个位置,而无需重新生成整个序列 。

  新浪声明:所有会议实录均为现场速记整理,未经演讲者审阅 ,新浪网登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。

标签:

相关推荐

  • 留学生都用什么邮箱/留学生邮箱名

    留学生都用什么邮箱/留学生邮箱名

    【日本留学生进】用什么邮箱可以给日本手机邮箱发邮件?你好!随便什么电子邮箱都可以,包括gmail和163。用任何邮箱,英文都不会乱码。他们在中国的话,就要取决于他们的手机了。一般是不行的。不但是QQ邮箱,163,新浪等邮箱都可以给日本的邮箱发邮件。日本的邮箱也可以收到。但有个问题是,如果你用中文发邮件去日本邮箱的话,对方收到的内容有可能会是乱码。可以把邮件...

  • 【哈尔顿伯灵顿公立学校,伯灵顿学院】

    【哈尔顿伯灵顿公立学校,伯灵顿学院】

    加拿大哈尔顿华人比例高么〖壹〗、加拿大哈尔顿华人相对其他地方比较少,哈尔顿天主教教育局是一个典型的学习教育局,教育局内绝大多数都是信奉天主教信仰。学生的成绩遥遥领先于安省其它教育局的学生,哈尔顿教育局提供从小学到中学的课程,在校学生超过31000名学生。〖贰〗、哈尔顿区是加拿大安大略省的地方行政区,下辖伯灵顿市、奥克维尔、米尔顿及哈尔顿山。〖叁〗、教育质量...

  • 去日本居住的条件(去日本长时间居住需要办理什么)

    去日本居住的条件(去日本长时间居住需要办理什么)

    日本申请永驻条件〖壹〗、住所条件:申请者须在日本连续拥有住所达5年以上。这是最基本的条件,意味着申请者必须在日本居住5年以上才有资格提出申请。申请者须在日本提交申请,而原先的《国籍法》允许在日本国外的日本领事馆提交申请,但现在已取消此规定。同时,申请者必须具备合法的在留资格。临时离境或住所变动不会影响申请。〖贰〗、收入条件:年收入需达300万日元以上,若个...

  • M大学学生(将m大学生)

    M大学学生(将m大学生)

    我是一名大一学生用英语怎么说?我是一名大一学生。英语:Imafreshman.大一生活充满了挑战与机遇。在这里,我不仅能够学习到专业知识,还能够结交到志同道合的朋友。新生阶段,我需要适应新的学习环境,同时培养自己的独立生活能力。到了大二,我已经是二年级的学生了。我是一名大一学生。英语:Imafreshman.我是一名大二学生。英语:Im...

    2026/06/16
  • 美国钢琴留学(美国钢琴名校)

    美国钢琴留学(美国钢琴名校)

    音乐留学丨报考钢琴博士?美国15所顶尖DMA院校速览〖壹〗、所著名美国钢琴DMA院校茱莉亚音乐学院:世界顶尖音乐学府,钢琴专业师资力量强大,教学理念注重传统与创新的结合,培养众多知名钢琴家。伊斯曼音乐学院:以严谨的学术氛围和卓越的表演训练著称,钢琴专业课程设置全面,为学生提供丰富实践机会。耶鲁音乐学院:依托耶鲁大学优质资源,强调音乐与其他学科的交叉融合,钢...

    2026/06/16
  • 日本大学国公立排名/日本国公立大学数量

    日本大学国公立排名/日本国公立大学数量

    2024年日本国公立大学申请倍率排名榜出炉!哪所大学竞争最激烈?_百度...024年日本国公立大学申请倍率排名榜中,竞争最激烈的国立大学是东京艺术大学,公立大学是岐阜药科大学。具体介绍如下:国立大学东京艺术大学:在国立大学中排名第一,招募学生人数471人,申请人数3664人,申请倍率为8。旭川医科大学:排名第二,招募人数98人,申请人数697人,申请倍率未...

  • AI催生就业热潮,但新手难分一杯羹

    AI催生就业热潮,但新手难分一杯羹

      导语  各大企业掀起人才竞价大战,争抢有实战经验的成熟从业者,也引发业内思考:企业该如何吸纳新生代求职者。  美国各大企业争相填补人工智能相关岗位,但想要入行AI行业的新人却屡屡碰壁。  一份独家提供给CNN的最新调研显示,当下经济最热门的AI赛道,就业机会大多留给资深从业者,而非零基础新人。  追踪企业AI落地应用的研究机构...

    2026/06/16
  • Anthropic将与特朗普政府就Mythos模型争议举行会谈

    Anthropic将与特朗普政府就Mythos模型争议举行会谈

      据一位消息人士透露,Anthropic的高级员工周一正在华盛顿特区与特朗普政府官员举行会谈,试图解决这家AI公司近期与美国政府之间引发高度关注的争端。  据Anthropic发表声明称,公司于周五收到了一份援引“国家安全权力”的出口管制指令,被要求“暂停美国境内外的任何外籍人士”访问其最新AI模型Fable5和Mythos5。  为了确保遵守该指令...

    2026/06/16
  • 约克大学宿舍条件(约克大学宿舍条件如何)

    约克大学宿舍条件(约克大学宿舍条件如何)

    加拿大约克大学是几本加拿大约克大学是一本。其详细内容如下:定义和地位:一本是中国的重点大学,通常包括教育部直属的大学以及其他一些在学术水平、师资力量等方面表现优秀的大学。这些大学在中国的高等教育中处于重要地位,具有很高的声誉和影响力。招生录取:一本大学的招生录取通常是在高考中成绩优异的学生中进行的。加拿大约克大学在我国大学体系中,相当于吉林大学。以下是具体...

  • 中国警告韩国留学生/中国留学生在韩国遇害

    中国警告韩国留学生/中国留学生在韩国遇害

    中国比较多的外国留学生〖壹〗、024年在华留学生中,韩国留学生数量比较多,达06万人,占在华留学生总数的12%,连续十余年稳居首位。以下从规模、分布、成因及次要生源国四个维度展开分析:韩国留学生规模与占比根据教育部及多机构统计,2024年在华留学生总数突破50万人,其中韩国留学生以06万人的规模占据首位,占比超10%。〖贰〗、中国留学生数量比较多的国家是韩...

返回顶部