DeepSeek开源真香，vLLM/SGLang连夜性能反超，推理速度卷出新高度 - 胜负彩开奖结果

还得是这位「源神」——D老师，慷慨啊！

自家推理引擎DeepInfer发布不到一周，开源社区已经迅速响应，纷纷拿出成果。

真是一鲸“落”万物生，第一波开源效果已经亮相：

立志学习DeepSeek、成为DeepSeek、超越DeepSeek。（bushi）

[图片]

vLLM、SGLang这些成熟的推理框架率先迎来T0升级包——

在各自公布的测试配置下，性能已经接近甚至部分超越DeepInfer。

不错不错！DeepInfer最初基于vLLM构建，设计上也借鉴了SGLang的思路。

如今DeepSeek把打磨后的实现公开，这两家又接着吸收、继续优化。

这几个才是把开源玩出了花样。

[图片]

还有一些受DeepInfer灵感启发的开发者个人项目陆续上线，从硬件适配、推理加速到部署优化，各有不同。

但效果倒是出奇一致：都更强了！

这下DeepInfer一开源，社区都活跃起来。

推理竞速进入白热化，It’s showtime～

开源社区玩转DeepInfer

先看vLLM。

这次交出的成绩，已经从「追平DeepInfer」一路延伸到了整机架部署。

通过集成DeepSeek的开源内核，并对预填充和解码阶段进行大量优化，vLLM现在的性能曲线已经能与DeepInfer持平。

在相同解码配置（131K上下文、每轮3个草稿token）下，vLLM使用GB200测得的吞吐量，在批大小为8到256的范围内，与DeepInfer差距仅为6%。

预填充这边，新增token的吞吐量也提升了35.6%～43.9%。

[图片]

再把部署规模拉到NVIDIA GB300 NVL72机架。

配合预填充与解码分离、扩大专家并行，vLLM在SemiAnalysis AgentX测试中的每卡吞吐高达95.4万tokens/s，是此前单节点结果的7.9倍。

[图片]

同一个DeepSeek，还真被他们继续挤出了速度……

要说这些提升怎么来的？团队几乎做到了每一个细节都不放过。

比如处理输入时，稀疏注意力需要从一批候选中筛出值得关注的内容，这就涉及top-k选择。

此前的一条路径，会先把DeepGEMM输出的BF16分数转换成FP32，再进行筛选。

新的实现则直接让DeepSelect处理BF16数据，把中间那次转换省掉。

少启动一道计算，看起来只是一个小改动，但在对应的算子测试中，这部分top-k处理速度能达到原来的约3.7倍。

vLLM团队还自己另外改了一套CPU通信方式，采用递归倍增等方式交换信息，减少同步所需的轮次。

对应Agent常用的小批量解码，vLLM也选择单独支持DSpark草稿生成，并使用完整CUDA Graph执行专用解码路径。

[图片]

SGLang紧接着交出的答卷，则走得更远，把输入、输出两个阶段都覆盖到了。

SGLang分别在4张B300、4张GB300上测试预填充，最高吞吐比DeepInfer高出约4%。

解码测试时，同样使用64张GB300。

每卡256个请求时，DeepInfer每步耗时31.19毫秒，SGLang为28.88毫秒，单步时间缩短约7.4%；每卡8个请求时，两者则基本持平。

[图片]

具体操作中，SGLang先是将Mega内核（MegaMoE、MegaAttention、Mega-mHC、MegaGate）、SWA有界重放以及Engram优化通通集成。

达到对标DeepInfer的性能后，再继续迭代，引入更多内核融合方案。

随后通过支持可拆分CUDA图，实现高效预填充。

最终对比DeepInfer的开源版本，SGLang更为完整，额外补充了关键的服务组件，包括KV缓存系统、预填充/解码分离架构以及负载均衡模块。

[图片]

值得一提的是，SGLang为了更严谨地对比，还在GB300和B300上，将DeepInfer重新跑了一遍。

结果不跑不知道，DeepInfer部分配置的吞吐，比原先公布的成绩还高……

好家伙！原来D老师真是老实人，测试成绩相当实在！

[图片]

推理加速循环

开发者Eric Zhang又把玩法往前推了一步。

此前他一直在开发一套用于搭建大模型推理引擎的实验性积木库——Resin。

它把多个模型都会用到的部分做成公共底座，比如调度器、KV缓存管理等。再由用户自行补上特定模型、特定硬件需要的计算实现，就能组合出一个独立引擎。

Eric自述，最近一周他受DeepInfer启发，成功让不少功能和并行机制跑了起来。

根据测试结果，在DeepSeek-V4.1-Flash上，Resin的性能与DeepInfer相差约5%～10%，同时具备HTTP服务、前缀缓存和指标等功能。

[图片]

接着，他又给这个底座配了个Skill。

任务是教会AI如何基于Resin实现模型，再把Codex放上去通宵干。

据他披露，Agent完成了支持MTP的GLM-5.3-Flash引擎；在B200、EP4配置下，输入吞吐最高达到6万tokens/s，输出吞吐最高达到1.6万tokens/s。

[图片]

而且！Resin依旧开源。

泪目了，大肥鱼，这开源盛世如你所愿。

DeepInfer从开源来，又回归开源。成熟框架接着继续集成和优化，个人开发者也得以吸收其中的设计，接力开源。

So，大肥鱼才是真正领悟了可持续开源的真谛～

本文来自微信公众号“量子位”，作者：关注前沿科技，36氪经授权发布。