英伟达再破世界纪录,每秒1000 token!刚刚,全球最快Llama 4诞生
编辑:编辑部 XZH
【新智元导读】英伟达,亲手打破了自己的天花板!刚刚,Blackwell单用户每秒突破了1000个token,在Llama 4 Maverick模型上,再次创下了AI推理的世界纪录。在官博中,团队放出了不少绝密武器。
你以为,AI推理的速度已经够快了?
不,英伟达还能再次颠覆你的想象——就在刚刚,他们用Blackwell创下了AI推理的新纪录。

仅仅采用单节点(8颗Blackwell GPU)的DGX B200服务器,英伟达就实现了Llama 4 Maverick模型每秒单用户生成1000个token(TPS/user)的惊人成绩!

单节点使用8块B200 GPU
这项速度记录,由AI基准测试服务Artificial Analysis独立测量。

而且,更令人咋舌的是,单台服务器(GB200 NVL72,配备72颗Blackwell GPU)的整体吞吐量,已经达到了72,000 TPS!

GB200 NVL72液冷机架原型机
这场速度革命的幕后,是一整套精心布局的技术组合拳——
使用TensorRT-LLM优化框架和EAGLE-3架构训练推测解码草稿模型;在GEMM、MoE及Attention计算中全面应用FP8数据格式,有效缩小模型体积并提高计算效率;应用CUDA内核优化技术(如空间分区、GEMM权重重排、Attention内核并行优化、程序化依赖启动(PDL)等);运算融合(如FC13+SwiGLU、FC_QKV+attn_scaling、AllReduce+RMSnorm融合)。由此,Blackwell的性能潜力彻底被点燃,一举实现了4倍加速,直接把之前的最强Blackwell基线甩在身后!

迄今测试过最快Maverick实现
这次优化措施在保持响应准确度的同时,显著提升了模型性能。
英伟达针对GEMM(通用矩阵乘法)、MoE(混合专家模型)及Attention(注意力)运算运用了FP8数据类型,旨在减小模型体积,并充分利用Blackwell Tensor Core技术所带来的高FP8吞吐量优势。
如下表所示,采用FP8数据格式后,模型在多项评估指标上的准确度可与Artificial Analysis采用BF16数据格式(进行测试)所达到的准确度相媲美:


为何减少延迟至关重要?
大部分用生成式AI的场景,都要在吞吐量(throughput)和延迟(latency)之间找一个平衡点,好让很多用户同时使用时,都能有个「还不错」的体验。
但是,有些关键场景,比如要迅速做出重要决策的时候,「响应速度」就变得特别重要,哪怕一点延迟都可能带来严重后果。
无论你想要的是同时处理尽可能多的请求,还是希望既能处理很多请求、响应又比较快,还是只想最快地服务单个用户(即最小化单个用户的延迟),Blackwell的硬件都是最佳选择。
下图概述了英伟达在推理过程中应用的内核优化和融合(以红色虚线框标示)。

英伟达实现了若干低延迟GEMM内核,并应用了各种内核融合(如FC13+SwiGLU、FC_QKV+attn_scaling以及AllReduce+RMSnorm),从而使Blackwell GPU在最小延迟场景下表现出色。

CUDA内核优化与融合
在内核优化与融合方面,英伟达采用了以下几项关键技术:
空间分区与高效内存加载利用空间划分(也称为warp专业化)并设计GEMM内核,可以高效的方式从内存中加载数据,从而最大限度地利用NVIDIA DGX所提供的巨大内存带宽——总计64TB/s。
GEMM权重重排将GEMM权重以一种优化的swizzled格式进行重排。
由此可以确保在使用Blackwell第五代Tensor Core完成矩阵乘法计算后,从Tensor内存加载计算结果时能够获得更理想的数据布局。
Attention内核并行优化通过沿K和V张量的序列长度维度对计算进行划分,优化了Attention内核的性能,使得计算任务能够在多个CUDA线程块上并行执行。
此外,还利用分布式共享内存机制,在同一线程块集群内的不同线程块之间高效地进行结果规约,从而避免了访问全局内存的需要。
运算融合通过启用不同运算之间的融合,来减少内核执行间的开销以及内存加载/存储的次数。
例如,将AllReduce运算与紧随其后的RMSNorm运算及量化(Quantize)运算融合成单一的CUDA内核,以及将SwiGLU运算与其前置的GEMM运算进行融合。

程序化依赖启动(PDL)
程序化依赖启动(PDL)是一项CUDA功能,它能够减少同一CUDA流上两个连续CUDA内核执行之间的GPU空闲时间,甚至允许这两个内核部分重叠执行。
默认情况下,当多个内核在同一个CUDA流上启动时,第二个内核必须等待第一个内核执行完毕后才能开始。
这种机制会导致两个主要的性能问题:
其一,两个连续的内核执行之间会产生微小的间隙(如下图所示),在此期间GPU处于闲置状态。其二,当第一个内核的执行接近尾声时,它可能仍会占用一部分流式多处理器(SM)来完成剩余的CUDA块计算,这使得GPU上的其他SM处于空闲,从而导致GPU整体计算能力的利用率不足。
通过在CUDA中运用程序化依赖启动API,英伟达允许次级内核(secondary kernel)在主内核(primary kernel)仍在运行时就开始执行。
在初始准备阶段(preamble period),次级内核可以执行那些不依赖于主内核执行的计算任务,并加载相应的数据。
这不仅消除了两个连续内核之间的执行间隙,也显著提升了GPU的利用率;因为当主内核仅占用GPU上的部分SM时,其余空闲的SM便可以开始运行次级内核。


推测解码
推测解码(Speculative Decoding)是一种广受欢迎的技术,用于在不牺牲生成文本质量的前提下,加速LLM的推理速度。
该技术通过一个规模更小、速度更快的「草稿」模型来预测一个推测token序列,然后由规模更大(通常也更慢)的LLM并行验证这些token。
其加速效果源于:在目标模型的一次迭代中,有机会生成多个token,代价则是草稿模型带来的一些额外开销。

端到端的工作流
首先,在目标模型完成上下文阶段(此阶段亦会生成token t1)之后,草稿模型会迅速生成一连串潜在的token(例如d2-d4)。
随后,目标模型进入生成阶段,在这一阶段,它会针对整个草稿序列,一次性地并行验证(或生成)每个位置的下一个token。
如图所示,如果草稿token与目标模型自身将要生成的token相匹配,目标模型便可能「接受」其中的若干token(如d2、d3),同时「拒绝」其他的token(如d4)。
这个循环不断重复:被接受的token得以保留;若发生拒绝(例如,在d4被拒绝后),目标模型会提供正确的下一个token(如t4);然后,草稿模型会生成一个新的推测序列(例如d5-d7)。
通过并行验证多个token——而不是依赖(速度较慢的)目标模型逐个生成它们——并充分利用草稿模型的快速推测能力,系统能够实现显著的速度提升,尤其是当草稿模型的预测准确率较高时。
「接受长度(AL)」定义为在单次验证步骤中,平均能够成功生成的token数量。
AL值越高,加速效果越显著。
对此,英伟达采用了一种基于EAGLE3的架构作为其推测解码方法,主要通过调整推测层中前馈网络(FFN)的大小来优化接受长度(AL)。
在推理过程中,需要在目标模型的前向传播阶段记录低、中、高三个层级的特征(即初始、中间及末端解码层输出的隐藏状态)。
之后,再将这些隐藏状态与token嵌入相结合,并将结果输入到推测层。该推测层随后以自回归方式生成一个草稿token序列,供目标模型进行并行验证。
推测层的开销虽然不大,但也不可忽视。因此,关键的挑战在于如何在草稿长度与端到端加速效果之间取得理想的平衡。
草稿长度越长,AL通常也越高,但相应地,运行草稿模型所产生的额外成本也会增加。根据英伟达在下方实验中展示的结果,当草稿长度设置为3时,可获得最佳的加速效果。

通过CUDA Graph和重叠调度器减少主机端开销
推测解码的另一个挑战在于减少主模型与草稿模型之间的通信和同步开销。
如果英伟达将采样/验证逻辑置于主机端,便会在主机与设备之间引入额外的同步点,进而破坏CUDA Graph的完整性。
因此,英伟达选择将验证逻辑保留在设备端,从而能够将目标模型的前向传播、验证逻辑以及草稿模型的前向传播都整合到同一个CUDA Graph中。
此外,英伟达还启用了TensorRT-LLM的重叠调度器,以进一步让当前迭代的模型前向传播与下一次迭代的输入准备及CUDA Graph启动过程实现重叠。
使用torch.compile()优化草稿模型层
由于验证逻辑是采用Torch原生操作在设备端实现的,这导致英伟达最终生成了大量细小的Torch原生内核。
手动融合这些内核不仅复杂,且容易出错。
为此,英伟达采用torch.compile(),借助OpenAI Triton的能力来自动完成这部分内核的融合,并生成最优化的版本。
这一举措帮助英伟达将草稿模型的开销从25%成功降低到了18%(当草稿长度为3时)。

总结
总的来说,这一创世界纪录的速度,是强大Blackwell架构、自CUDA层面起直至上层应用的深度软件优化,以及英伟达量身定制的推测解码实现所带来的显著加速三者结合的成果,它直接响应了下一代AI交互应用对低延迟的迫切需求。
正如英伟达所展示的那样,这些技术进步确保了即便是超大规模模型,也能够提供足够的处理速度和响应能力,以支持无缝的实时用户体验和复杂的AI智能体部署场景。

作者介绍
Yilin Fan

Yilin Fan是英伟达的高级深度学习工程师,专注于TensorRT/TensorRT-LLM的性能。
他拥有卡内基梅隆大学的软件工程硕士学位和北京航空航天大学的学士学位。
在加入英伟达之前,他曾在小马智行工作,负责优化与部署自动驾驶汽车上的深度学习模型。
Po-Han Huang

Po-Han Huang是英伟达的深度学习软件工程师。
在过去六年多的时间里,他一直致力于通过TensorRT和CUDA优化来加速已训练深度神经网络模型的推理。
他拥有伊利诺伊大学厄巴纳-香槟分校的电子与计算机工程硕士学位,专业知识涵盖深度学习加速、计算机视觉和GPU架构。
Ben Hamm

Ben Hamm是英伟达的技术产品经理,专注于LLM推理性能与优化。
此前,他曾在亚马逊担任产品经理,负责Alexa的唤醒词检测机器学习栈。之后加入OctoAI并担任LLM托管服务的产品经理。随着公司被收购,他也跟着一起来到了英伟达。
有趣的是,作为一名计算机视觉的爱好者,他甚至还发明了一款AI驱动的猫门。
大家都在看
-
第六次打破吉尼斯世界纪录!大漠大无人机万绿湖上演“水幕叙事” 7月9日晚,数以万计的无人机如星辰般排列组合,在河源市东源县万绿湖景区上空编织出一幅幅壮美画卷。大漠大以11198架次无人机第六次打破吉尼斯世界纪录,再度刷新“最多无人机同时飞行”吉尼斯世界纪录。这不仅是一 ... 世界记录07-12
-
3分48秒68!女子1500米之王基普耶根第三次打破世界纪录 直播吧7月6日讯 在凌晨结束的钻石联赛尤金站中,女子1500米之王基普耶根第三次打破世界纪录。基普耶根在强力冲刺过后以3分48秒68撞线,将自己保持的世界纪录又提高了0.36秒,也将女性带入3分49秒以内的时代。 ... 世界记录07-07
-
钻石联赛尤金站 诞生两项世界纪录 女子5000米突破14分大关 北京时间7月6日,在美国进行的2025世界田联钻石联赛尤金站比赛诞生两项新的世界纪录。肯尼亚选手切贝特以13分58秒06的成绩打破女子5000米世界纪录,她的同胞基普页真在女子1500米比赛中以3分48秒68的成绩刷新自己保 ... 世界记录07-07
-
连续打破世界纪录,她们突破女性运动员新极限 在尤金举行的钻石联赛(普雷方丹精英赛)中,两位来自肯尼亚的女子中长跑选手比阿特丽斯・切贝特和费思・基普耶根,通过在女子5000米以及女子1500米这两项比赛中的惊艳表现,不仅将这两个项目的女子世界纪录带进全新 ... 世界记录07-07
-
切贝特、基普页真双破世界纪录 新华社华盛顿7月5日电 5日在美国进行的2025世界田联钻石联赛尤金站比赛诞生两项新的世界纪录。肯尼亚选手切贝特打破女子5000米世界纪录,她的同胞基普页真在女子1500米比赛中刷新自己保持的世界纪录。 切贝特在比赛 ... 世界记录07-07
-
挑战吉尼斯世界纪录!这次,漳州成功! 【来源:闽南日报】7月4日,经过精心筹备与严格认证,一项新的吉尼斯世界纪录在平和县小溪镇正式诞生,平和龙艺成功挑战“最长的龙艺”吉尼斯世界纪录称号,为这项传承数百年的非物质文化遗产写下崭新篇章!“我宣布 ... 世界记录07-07
-
切贝特打破女子5000米世界纪录,成为首位跑进14分的女选手 直播吧7月6日讯 在凌晨结束的钻石联赛尤金站女子5000米中,切贝特凭借着13分58秒06的成绩,打破了女子5000米世界纪录。切贝特最后200米跑出惊人冲刺,最终飙出13分58秒06,一口气将策盖保持的世界纪录提高了2秒多, ... 世界记录07-06
-
11787架!中国无人机表演缘何能一再刷新吉尼斯纪录,记者独家揭秘幕后故事 每经记者:陈利 黄婉银 每经编辑:何小桃,陈旭无人机表演现场6月的重庆,闷热潮湿。在长江与嘉陵江交汇处的广场上,一群人正围着一堆“无人机机巢”忙碌着,那里面装着11800架等待起飞的无人机,它们即将进行一场吉 ... 世界记录07-06
-
24小时121人,沈阳又创造了一项世界纪录 继成功创造了“10年内完成除皱手术量最高的整形医院” 的世界纪录之后,7月4日,世界纪录认证机构(WRCA)再一次宣布,此前一日即7月3日,辽宁杏林整形外科医院在一天的时间内成功完成了121台双眼皮手术而被认证为“ ... 世界记录07-05
-
11787架!中国无人机表演缘何能一再刷新吉尼斯纪录 记者独家揭秘幕后故事 每经记者:陈利 黄婉银 每经编辑:陈旭6月的重庆,闷热潮湿。在长江与嘉陵江交汇处的广场上,一群人正围着一堆“无人机机巢”忙碌着,那里面装着11800架等待起飞的无人机,它们即将进行一场吉尼斯纪录的挑战。一场表 ... 世界记录07-04
相关文章
- 11787架!中国无人机表演缘何能一再刷新吉尼斯纪录,记者独家揭秘幕后故事
- 24小时121人,沈阳又创造了一项世界纪录
- 337.88米 平和龙艺创吉尼斯世界纪录
- 11787架!中国无人机表演缘何能一再刷新吉尼斯纪录 记者独家揭秘幕后故事
- 22年收藏1200件《宝可梦》耿鬼纪念品,90后小伙创吉尼斯世界纪录
- 18岁小将王子菲登顶女子10米气步枪世界第一,4月曾破世界纪录
- 刷新8项“世界纪录”!荣耀Magic V5打破大折叠天花板
- 2024吉尼斯世界纪录合集:见证人类的无限可能!
- 这些世界纪录都已保持n年 看到它们你会觉得人类已经停止进化
- 紫砂界的7个世界纪录
- 这些世界纪录,有多久没被打破了?
- 连打40万页创世界纪录,奔图“扛打”护航2025达沃斯论坛
- 湖北平顶脉冲磁场刷新世界纪录
- 在天山之巅刷新三项世界纪录,《环球时报》记者直击世界最深高速公路竖井贯通
- 吉尼斯世界纪录到底有多奇葩?
- 大山“肚子”里修立交桥,四川这个工程创世界纪录
- 国产打印机奔图“扛打”系列连打40万页创世界纪录
- 刚刚,吉尼斯纪录!无锡创造!
- 除了无人机,重庆还有勒些吉尼斯世界纪录!
- 我国刷新平顶脉冲磁场世界纪录
热门阅读
-
世界上最大的男性生殖器,奇人的丁丁长度达34厘米 07-10
-
十种最舒服的安乐死,千万不要尝试哦! 07-11
-
陈冠希张柏芝艳照门图片曝光,堪比激情大片(高清) 04-26
-
巩新亮整容前后差异大 网友直呼惨不忍睹 05-05
-
张柏芝私人相册照片流出,尺度大的惊人(艳照门图) 05-06
-
美国史上最惨不忍睹的分尸案,黑色大丽花惨案 04-25