- 技术 :
- 应用 :
英伟达杀疯了！DeepSeek V4推理成本狂砍80%
快科技7月2日消息，英伟达宣布其Blackwell平台通过全栈推理软件优化，DeepSeek V4模型的单Token成本在一个月内最多降至五分之一。
随着企业从AI试点走向生产型AI工厂，基础设施决策已从芯片规格峰值转向每元、每瓦特及延迟目标内能交付多少有用Token。
英伟达通过三层架构实现Token成本的大幅下降。生产运营层负责分布式服务编排与自动扩缩容，应用加速层通过计算通信重叠和内核融合进行运行时优化，基础设施访问层则直接调用GPU、网络与系统能力。
多项技术叠加后，Blackwell平台单GPU的Token吞吐量最高可提升20倍。这些技术包括分离式服务、基于NVLink的大规模专家并行、NVFP4精度以及多Token预测。
英伟达将单Token成本列为AI总拥有成本的核心指标，Blackwell平台已将其降至行业最低水平。
多家推理服务商已从中获益。Baseten利用TensorRT-LLM开源库在Blackwell上服务DeepSeek V4 Pro，每秒Token输出量提升高达50%。
Cognition借助Dynamo推理框架管理GPU，无需从零构建即可扩展强化学习工作负载。Together AI用TensorRT-LLM帮助Cursor加速从模型优化到生产终端的路径。
开源生态进一步放大了全栈优势。PyTorch等主流框架原生基于CUDA构建，使新研究成果能立即在NVIDIA GPU上运行。
DeepSeek V4发布后，vLLM和SGLang等框架随即为Blackwell提供部署方案，一个月内性能提升高达5倍。
来源：快科技
原文标题 : 英伟达杀疯了！DeepSeek V4推理成本狂砍80%
扫码关注公众号 
分享
发表评论
登录
手机
验证码
手机/邮箱/用户名
密码
立即登录即可访问所有OFweek服务
还不是会员？免费注册
忘记密码其他方式
请输入评论内容...
请输入评论/评论长度6~500个字
暂无评论
暂无评论