混合推理

聊聊大模型推理系统之 BlendServe：通过资源感知批处理策略，最大化硬件资源利用率和推理吞吐量

作者：InternLM、Qwen 等 LLM 全文约 2600 字，预计阅读 7 分钟近年来，大型语言模型（LLM）的广泛应用推动了推理服务系统的不断优化。然而，在离线批量推理场景中，如何平衡计算资源利用效率和性能仍是一个亟待解决的问题

大模型推理 BlendServe 2025-04-30

国产六大推理模型激战OpenAI？

“DeepSeek-R1如同当年苏联抢发的第一颗卫星，成为AI开启新时代的斯普特尼克时刻。” 2025年春节前，DeepSeek比除夕那天的烟花先一步在世界上空绽放。离年

人工智能六小龙 DeepSeek 2025-04-25

GoogleTPU：为AI推理任务准备的Ironwood

芝能智芯出品在2025年Google Cloud Next大会上，Google正式发布了其第七代张量处理单元（TPU），代号“Ironwood”。作为Google迄今为止性能最强大的AI芯片，Ironwood专为AI推理任务设计，标志着AI技术从传统的“反应式”模型向“主动式”智能体的转型

Google TPU 2025-04-17

联想集团香港创新科技大会：混合式AI赋能“人工智能+”生态创新

2025年3月5日，香港——联想集团香港创新科技大会成功举办，大会汇聚了来自海内外众多企业、专家，共同探讨了人工智能领域目前发展现状及挑战，并展示了联想混合式AI战略及全栈AI解决方案，涵盖硬件设备及

联想集团 2025-03-06

Claude发布全球首款混合推理模型，这会是AI的新标准？

一个模型，两种思考方式。北京时间 2 月 25 日，Anthropic 最新发布的 Claude 3.7 Sonnet 和 Claude Code，让 AI 技术圈再次炸开了锅。对于开发者来说，基于 Claude 3.7 Sonnet 模型打造 Claude Code 是一份意外惊喜

DeepSeek claude OpenAI GPT 混合推理 2025-02-26

AI 推理引擎：如何选择硬件及其商业模式？

芝能智芯出品人工智能（AI）技术的快速发展，AI推理引擎在各行业的应用越来越广泛。推理引擎的硬件选择至关重要，它关系到推理速度、功耗、成本等多个方面。对于创业公司而言，选择如何提供推理引擎&m

芯片 AI 2025-01-20

HPE 2024财年Q4 财报：在布局AI、混合云领域成绩显著

芝能智芯出品 HPE 在 2024 财年第四季度交出了一份出色的财报： ● 总收入 84.6 亿美元，同比增长 15.1%； ● 营业收入增长 36.7%； ● 全年收入达 301 亿美元，增长 3.3%

HPE AI 混合云 2024-12-11

AI推理下的CPU“打怪”进阶之路

AIGC时代，新的计算范式正在探索发展之中。用CPU加速AI推理过程，这已经是被实践检验和验证的最佳路径。CPU在执行涉及大量顺序计算的推理任务时尤为高效。QYResearch的调研报告显示，20

AI推理 CPU AMD 2024-09-13

OpenAI o1预览模型发布：推理能力更强可达理科博士生水准

快科技9月13日消息，今日凌晨，OpenAI正式推出了OpenAI o1预览模型。对于复杂推理任务而言，新模型代表着人工智能能力的崭新水平，其特点就是会在回答之前花更多时间进行思考，就像人类思考解决问题的过程一样

OpenAI GPT-4o 2024-09-13

苹果VS安卓大战升温！谷歌、高通、三星已联手，但这次的战场是“混合现实”

2023年6月6日万众瞩目的苹果MR头显——Vision Pro正式登场，而在此之前，安卓阵营的谷歌、高通、三星早已联合起来共同研发新的MR设备，看来MR领域的竞争将延续iOS阵营与安卓阵营两强争霸的局面，本期的锐评，我们就此展开讨论

苹果安卓谷歌高通 2023-06-19

引领混合办公新时代，联想thinkplus强势推出一栈式混合办公全场景方案

3月22日，联想thinkplus在北京举办一栈式混合办公全场景方案发布会。联想重磅发布以thinkplus会议平板S+系列领衔的多款高效办公新品，旨在为企业客户和职场人士塑造智慧办公会议新体验，开启“混合办公新视界”

联想 thinkplus 2023-03-22

昇腾AI边缘推理解决方案，打通AI落地行业的“最后一公里”

科技创新是人类社会发展的重要引擎，也是我国硬实力的重要组成部分。“十四五”规划明确提出，要瞄准人工智能等前沿领域，强化国家战略科技力量。作为新一轮科技革命和产业变革的重要引擎，人工智能为经济社会高质量

昇腾AI 2022-06-17

研华紧凑型边缘推理平台AIR-020新品上市

研华AIR－020系列边缘推理平台，是一款搭载NVIDIA Jetson系列核心模块、由边缘人工智能系统驱动的超紧凑边缘智能整机。 AIR－020系列具有仅139 x 110 x 44.5毫米的小尺寸

研华边缘计算 AI 2022-05-30

混合办公：携程的“元宇宙”，梁建章的“新杰作”

文｜孟永辉外界以为携程对于元宇宙是认真的，没想到携程对于混合办公是认真的。2022年2月14日，携程对外宣布，将会实行「3＋2」混合办公的新模式。即，允许员工在每周三和周五在家办公。对此，梁建章表示，混合办公既有助于缓解员工照顾家庭和孩子的焦虑，又能提升生育率，社会效用巨大

携程元宇宙混合办公 2022-02-17

研华Mini-ITX AIMB-277/287新品上市！搭载第10代Intel Core处理器，密集型AI加速推理运算应用

研华推出两款搭载第十代 Intel Core 处理器的创新型工业主板，即AIMB－277和AIMB－287主板，分别采用Mini－ITX和Thin Mini－ITX尺寸设计，可将工厂自动化、医疗和自助服务应用中的AI解决方案的整点运算能力提升31％

：研华工业主板 AI推理工业自动化医疗自助服务 AIMB-277 AIMB-287 2021-08-24

如何使用Python OpenCV混合图像？

在这篇文章中，我们将提供一些使用OpenCV的示例。在OpenCV中混合图像我们将提供一个逐步的示例，说明如何使用Python OpenCV混合图像。下面我们展示了目标图像和滤镜图像。目标图像滤镜图像

OpenCV 人脸检测图像处理 2021-06-15

深兰科技多条推理任务解决方案分享

2021年6月6日－11日，自然语言处理（NLP）领域的顶级会议NAACL在线上举办。深兰科技DeepBlueAI团队参加了Multi－Hop Inference Explanation Regene

深兰科技自然语言处理腾讯哈尔滨工业大学 2021-06-09

混合云为何成了“一朵云”？

建设数字中国,已经成为“十四五”规划的重点方向。无论是数字产业化,还是产业数字化,数字化转型早已势不可挡。2020年疫情带来的影响,再次加速了数字化转型,从而对云提出了新的要求。一方面需要发挥出多云更强大的协同效应,如多地多级协同、公有私有协同、中心边缘协同等

云混合云 2021-04-21

高通Cloud AI 100、AMD EPYC™ 7003系列处理器和技嘉服务器解决方案共同推动AI推理突破每秒千万亿次运算

AI无疑已经成为推动下一代用户体验的驱动力。无论是快速浏览喜爱的社交应用，还是基于数万次AI推理提供的在线购物推荐，几乎每一项移动终端体验都与AI密不可分。目前，这些平台每天承载着数百万的用户量，这又意味着什么呢？它们需要海量性能出众的高密度服务器，来提供满足上述平台持续运行所需的AI推理性能

高通 Cloud AI 100 技嘉服务器 AI推理千万亿次 2021-03-17

技术文章：Yolov3 CPU推理性能比较-Onnx、OpenCV、Darknet

为实时目标检测应用程序选择正确的推理框架变得非常具有挑战性,尤其是当模型应该在低功耗设备上运行时。在本文中,你将了解如何根据你的需要选择最佳的推理检测器,并发现它可以给你带来巨大的性能提升。通常,当我们将模型部署到CPU或移动设备上时,往往只关注于轻量级的模型体系结构,而忽略了对快速推理机的研究

CPU yolov3 2021-02-09

凌华科技推出深度学习加速平台DLAPx86系列实现更智能的边缘AI推理

全球领先的边缘计算解决方案提供商—凌华科技推出高度紧凑且支持GPU的全新DLAPx86系列深度学习加速平台，是市场上最紧凑的GPU深入学习加速平台。

凌华科技深度学习 DLAPx86系列边缘AI 2021-02-02

燧原科技发布首款人工智能推理产品 “云燧i10”

上海2020年12月21日／美通社／－－燧原科技今日发布首款人工智能推理产品 “云燧?i10”。这是一款面向云端数据中心的高性能推理卡。云燧i10是单槽位标准卡，支持PCIe 4．0，FP32算力达到17．6TFLOPS，BF16／FP16算力70．4TFLOPS

燧原科技人工智能推理产品云燧(R)i10 深度学习 2020-12-22

IBM打造最佳混合云存储体验

对于希望通过数字化转型实现全面升级的企业来说，上云可以说是一条必经之路。然而在上云的过程中，对企业而言最重要的事情是什么呢？“上云之旅并不是一蹴而就，而是一个漫长而艰辛的过程。”IBM大中华区系统部存

IBM 存储混合云 2020-11-17

重新定义“数字孪生”，通过混合现实和人工智能增强一线员工

就制造业而言，对广大一线工作者的使用场景进行降本增效已经是普遍需求。面对“降本增效”的问题，通过“混合现实＋人工智能”的技术，DataMesh Digital Twin打造数字孪生时代的操作系统助力企业一线员工。

DataMesh 李劼数字孪生 2020-07-06

阿里AI研究成果入选国际顶会ICML 2020，AI推理速度提升3倍

近日，人工智能国际顶会ICML 2020公布了论文收录结果，阿里巴巴7篇论文入选，是入选论文数量最多的中国科技公司。ICML是机器学习领域全球最具影响力的学术会议之一，今年接受率仅为21．8％。

阿里 AI ICML 2020 机器学习 2020-06-19

IBM新CEO走马上任，未来将专注于AI和混合云

AI和混合云，既是IBM的机遇，也是它的挑战。美国当地时间周一，IBM新任CEO Arvind Krishna走马上任，接替Ginni Rometty开始履行职责。据了解，Krishna已经在IBM工

AI IBM 混合云 2020-04-07

Oral: 自监督学习-通过辅助推理任务实现高效的视觉语义导航

自监督学习——通过辅助推理任务实现高效的视觉语义导航。关于作者朱峰达本科毕业于北航软件工程系，是蒙纳士大学信息技术学院数据科学与人工智能系的博士生，师从蒙纳士大学的常晓军老师和中山大学的梁小丹老师。他的研究兴趣在于机器学习中的视觉语言导航和推理任务

自监督学习视觉语义导航 2020-04-01

英伟达发布自动驾驶故障推理测试平台DriveFI

安全性，一直都是自动驾驶研发的关键问题。前几天，美国官方判定2019年3月全球首个自动驾驶汽车撞死行人事故中，Uber无罪又引起了广泛关注。无疑，自动驾驶安全性依旧是业内外人士关注的重点。近日，伊利诺

自动驾驶 2019-11-15

声智科技携手全志科技推出离在线混合语音模组，引爆行业AI升级之路

近日，声智科技联合全志科技推出离在线混合语音模组，以成熟高效方案助力行业客户智能化升级，为AI语音模组市场带来了新的惊喜。

混合语音模组在线语音模组离线语音模组 2019-11-11

MLPerf公布首轮AI推理基准测试结果，平头哥含光800单芯片推理性能第一

11月7日报道北京时间11月7日，MLPerf基准联盟公布首轮AI推理基准测试结果，阿里巴巴平头哥的AI芯片含光800在Resnet50基准测试中获得单芯片性能第一。MLPerf 推理基准测试设有五个基准，每个对应四种场景，重点面向图像分类、对象检测和机器翻译等常见机器学习任务

图像分类计算存储通信阿里巴巴微软 2019-11-08

天数智芯AI推理芯片流片成功，AI技术真正落地

对于算法方面，芯片针对CNN主流神经网络进行优化，支持物体检测、物体识别、人脸识别、行为识别、姿势识别等不同应用场景，可以广泛应用于不同的边缘计算中，对计算力有需求的场景。

AI 数字化芯片 2019-10-21

含光剑出，AI推理芯片如何创新

9月25日，阿里巴巴集团首席技术官兼阿里云智能总裁、达摩院院长张建锋发表了题为《构建数字经济基础设施》的演讲。在演讲中，张建锋重磅推出AI推理芯片含光800，引发了众多关于它的讨论。

AI 人工智能 2019-09-27

2019年的数据和人工智能市场格局：将出现下一波混合浪潮

如今的数据格局如果没有人工智能就不再完整。商业智能领域出现了一个整合浪潮，这引发了一个问题，是否会推出新一代人工智能？混合云现在不再成为大多数企业的抽象术语。与五年前不同的是，Hadoop不再是分析大数据的唯一途径

人工智能 2019-08-28

人机融合和混合智能的起源和新应用场景

?1956年夏季，以麦卡赛、明斯基、罗切斯特和申农等为首的一批有远见卓识的年轻科学家在一起聚会，共同研究和探讨用机器模拟智能的一系列有关问题，并首次提出了“人工智能”这一术语，它标志着“人工智能”这门新兴学科的正式诞生。

人机融合混合智能新应用场景人工智能 2019-07-29

云端视觉推理AI芯片面世

近日，依图科技发布了自研云端人工智能芯片，这款智能、性价比全球领先的视觉推理芯片，由依图科技和人工智能芯片初创团队ThinkForce联合开发。过去半个多世纪以来，依靠摩尔定律的奇迹，人类成功地在更小的空间里容纳下更多的计算力

AI芯片云端视觉 2019-06-14

正式进军云服务器市场，高通发布Cloud AI 100推理芯片

提起高通，业内对它的直接印象就是移动芯片领域的巨头。一直以来，高通也确实只在移动通信领域深耕，并从芯片到底层平台一揽子都包下。而现在，高通冷不丁扔出的一枚“炸弹”也将一改以往大家对它的认知。

Cloud AI 100推理芯片高通云服务 2019-04-11

综述：面向智能车辆的驾驶员意图推理研究

加拿大滑铁卢大学曹东璞教授团队提出了在基于驾驶员行为分析的基础上，进一步明确驾驶员人脑意图产生机制并建模，从而希望在驾驶员执行具体车辆操作之前获得准确的驾驶意图判断。

智能车辆意图推理 2019-03-22

超低功耗与智能结合的混合芯片来袭，你准备好了么？

据外媒报道称，近日，佐治亚理工学院的研究人员称，一种受大脑启发的超低功耗混合芯片可以帮助手掌大小的机器人协作并从他们的经验中学习。

混合芯片机器人 2019-03-14

可以戴在头上的骁龙850产品！微软发布新一代混合现实头显

2月25日，微软发布了旗下混合现实设备最新产品Hololens 2。相比上一代产品，Hololens 2的可视角度扩大到了过去的两倍，并能在每个角度显示的47像素内容，依旧处于行业领导者位置。

混合现实头显微软 2019-02-26

手机触屏竟成混合现实？苹果指戴式设备拿下专利

苹果向来擅长把用户界面从个人电脑推广到手机和智能手表上。目前，苹果的工程师正在考虑将手机触屏转变为混合现实（Mixed Reality，MR），很可能会构建出良好的用户体验。

苹果指戴式设备 2019-01-29