知识推理

聊聊大模型推理系统之 BlendServe：通过资源感知批处理策略，最大化硬件资源利用率和推理吞吐量

作者：InternLM、Qwen 等 LLM 全文约 2600 字，预计阅读 7 分钟近年来，大型语言模型（LLM）的广泛应用推动了推理服务系统的不断优化。然而，在离线批量推理场景中，如何平衡计算资源利用效率和性能仍是一个亟待解决的问题

大模型推理 BlendServe 2025-04-30

国产六大推理模型激战OpenAI？

“DeepSeek-R1如同当年苏联抢发的第一颗卫星，成为AI开启新时代的斯普特尼克时刻。” 2025年春节前，DeepSeek比除夕那天的烟花先一步在世界上空绽放。离年

人工智能六小龙 DeepSeek 2025-04-25

GoogleTPU：为AI推理任务准备的Ironwood

芝能智芯出品在2025年Google Cloud Next大会上，Google正式发布了其第七代张量处理单元（TPU），代号“Ironwood”。作为Google迄今为止性能最强大的AI芯片，Ironwood专为AI推理任务设计，标志着AI技术从传统的“反应式”模型向“主动式”智能体的转型

Google TPU 2025-04-17

三位95后联手打造独角兽企业，下一个美版“知识星球”

作者：XuuShan 编辑：伊凡在Whop上，万物皆可卖。“3月28日下午4:04，一位创作者在Whop上的收入刚刚突破100万美元。”“3月28日下午4:30，一位创作者在Whop上的收入刚刚突破10万美元

Schwartz 平台 2025-04-03

Claude发布全球首款混合推理模型，这会是AI的新标准？

一个模型，两种思考方式。北京时间 2 月 25 日，Anthropic 最新发布的 Claude 3.7 Sonnet 和 Claude Code，让 AI 技术圈再次炸开了锅。对于开发者来说，基于 Claude 3.7 Sonnet 模型打造 Claude Code 是一份意外惊喜

DeepSeek claude OpenAI GPT 混合推理 2025-02-26

AI 推理引擎：如何选择硬件及其商业模式？

芝能智芯出品人工智能（AI）技术的快速发展，AI推理引擎在各行业的应用越来越广泛。推理引擎的硬件选择至关重要，它关系到推理速度、功耗、成本等多个方面。对于创业公司而言，选择如何提供推理引擎&m

芯片 AI 2025-01-20

AI“统治”诺贝尔奖背后，知识的贬值已经开始了

这两天，诺贝尔奖逐步公布，AI成了最大赢家。 10月8日，瑞典皇家科学院宣布，2024年诺贝尔物理学奖授予美国科学家约翰·霍普菲尔德（John J. Hopfield）和英裔加拿大科学

AI AlphaFold 2024-10-11

AI推理下的CPU“打怪”进阶之路

AIGC时代，新的计算范式正在探索发展之中。用CPU加速AI推理过程，这已经是被实践检验和验证的最佳路径。CPU在执行涉及大量顺序计算的推理任务时尤为高效。QYResearch的调研报告显示，20

AI推理 CPU AMD 2024-09-13

OpenAI o1预览模型发布：推理能力更强可达理科博士生水准

快科技9月13日消息，今日凌晨，OpenAI正式推出了OpenAI o1预览模型。对于复杂推理任务而言，新模型代表着人工智能能力的崭新水平，其特点就是会在回答之前花更多时间进行思考，就像人类思考解决问题的过程一样

OpenAI GPT-4o 2024-09-13

大模型没有“知识围城”

最近，两大知识平台开始“反击”大模型。一是知网。就是引发学术界震动、开启“天临元年”的那个知网，要求秘塔AI搜索终止对他们内容的搜索和链接

AI 大模型 2024-08-27

ChatGPT的胜利，宣告知识图谱的消亡？

过去10年，知识图谱可谓是最接近“人工智能”的概念。业内普遍认为，知识图谱的概念最先是由谷歌于2012年正式提出，主要用来支撑下一代搜索和在线广告业务。此后，这项技术迅速火爆，被国内外多家搜索引擎公司

ChatGPT 知识图谱 2023-05-25

推平“知识高峰”，AI将如何影响我们的学习？

过去5个多月时间里，生成式AI的热潮愈演愈烈。在新一轮的技术革命面前，有人不安，担心自己会被AI替代；有人兴奋，认为新的机会窗口已经打开。不只是个体的躁动，几乎所有行业都会被问到这样一个问题：怎么应对充满创造力和不确定性的新世界？其中必须要作答的可能就有知识服务赛道

AI 人工智能 GPT-4 2023-04-15

知识图谱走出至暗时刻

世界拥有不计其数的实体，以人力已无法将实体和概念建立完整的联系，而知识图谱可以弥补这样的空缺。＠数科星球原创作者丨科科编辑丨十里香人工智能行至半途，在各行各业，AI的渗透与日俱增。作为人工智能的分支，知识图谱可谓历史已久

知识图谱 ERP 2022-12-13

科普｜消费者必须要知道的自动驾驶知识

本文来源：智车科技／导读／近些年，随着自动驾驶技术的越来越普及，日常生活中见到的自动驾驶车辆也逐渐增多，新能源车上，也大都配备了各种各样的辅助驾驶功能。而对于行业外的民众们而言，其实不太能弄得清自

自动驾驶激光雷达传感器 2022-09-28

昇腾AI边缘推理解决方案，打通AI落地行业的“最后一公里”

科技创新是人类社会发展的重要引擎，也是我国硬实力的重要组成部分。“十四五”规划明确提出，要瞄准人工智能等前沿领域，强化国家战略科技力量。作为新一轮科技革命和产业变革的重要引擎，人工智能为经济社会高质量

昇腾AI 2022-06-17

研华紧凑型边缘推理平台AIR-020新品上市

研华AIR－020系列边缘推理平台，是一款搭载NVIDIA Jetson系列核心模块、由边缘人工智能系统驱动的超紧凑边缘智能整机。 AIR－020系列具有仅139 x 110 x 44.5毫米的小尺寸

研华边缘计算 AI 2022-05-30

Python中OpenCV的基础知识

从安装到基本图像处理OpenCV 是一个流行的开源计算机视觉库，可用于不同的编程语言，例如 Python、C＋＋和 JavaScript。它提供了一套丰富的工具来处理和分析图像和视频，让你可以从调整单张图片的大小到构建复杂的对象识别应用程序

Python OpenCV 图像处理 2022-05-09

解决抗衰老问题！AI知识图谱Metanovas Biotech宣布完成近千万美元天使轮融资

利用AI，将AI知识图谱结合多组学分析技术解决抗衰老问题！3月31日消息，将AI知识图谱结合多组学分析技术运用于解决衰老问题的公司Metanovas Biotech，宣布完成近千万美元天使轮融资。据悉，本轮融资由丹麓资本与健壹资本（原国药资本）联合领投，Neux Capital跟投

Ai 知识图谱融资 2022-03-31

知识产权机遇袭来，但市场仍旧慢热

2022年，知识产权再度被提上新的高度。据世界知识产权的全球创新指数报告显示，2021年，我国的创新综合排名居世界第12位。在2013年至今，这个排名正在稳步提升。在城市中，深圳、香港、广州和北京排名靠前

知识产权专利企业创新 2022-03-09

知识增强千亿大模型发布,AI产业步入大模型时代

几年来，预训练大模型逐渐从一个AI领域内的技术语言，变成了强势出圈的产业热点与社会关注话题。但如果大家关注这一话题，会很容易注意到越来越多的声音开始反思大模型的发展之路。比如，大模型是不是应该一味追求

百度文心大模型 AI 2021-12-10

HBase 知识体系吐血总结

HBase 涉及的知识点如下图所示，本文将逐一讲解：本文目录如上图本文档参考了关于 HBase 的官网及其他众多资料整理而成，为了整洁的排版及舒适的阅读，对于模糊不清晰的图片及黑白图片进行重新绘制成了高清彩图

getBytes 数据 HBase configuration 2021-11-17

一文详解Flink知识体系

本文目录:一、Flink简介二、Flink 部署及启动三、Flink 运行架构四、Flink 算子大全五、流处理中的 Time 与 Window六、Flink 状态管理七、Flink 容错八、Flin

Flink 数据 2021-09-13

研华Mini-ITX AIMB-277/287新品上市！搭载第10代Intel Core处理器，密集型AI加速推理运算应用

研华推出两款搭载第十代 Intel Core 处理器的创新型工业主板，即AIMB－277和AIMB－287主板，分别采用Mini－ITX和Thin Mini－ITX尺寸设计，可将工厂自动化、医疗和自助服务应用中的AI解决方案的整点运算能力提升31％

：研华工业主板 AI推理工业自动化医疗自助服务 AIMB-277 AIMB-287 2021-08-24

一文详解Hive知识体系

Hive涉及的知识点如下图所示,本文将逐一讲解:正文开始:一． Hive概览1．1 hive的简介Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能

hive 函数数据仓库工具 2021-08-19

明略科技亮相2021WAIC 以数据和知识驱动产业数字化落地

2021年7月8日，2021世界人工智能大会（WAIC）在上海开幕，全球知名学者、研究机构和产业界代表，围绕“AI赋能城市数字化转型”，畅谈前沿技术创新与产业落地。明略科技，作为领先的全球企业级认知智能服务平台，全方位展示和解读了数据与知识双驱动的产业数字化路线图及落地成果。

明略科技 2021-07-08

一文读懂什么是知识蒸馏

前言:知识蒸馏是一种在繁琐的模型中提炼知识并将其压缩为单个模型的方法,以便可以将其部署到实际应用中。AI的教父Geoffrey Hinton和他在Google的两个同事Oriol Vinyals和Jeff Dean于2015年引入了知识蒸馏

计算机视觉知识蒸馏 2021-06-29

一文了解CRC校验算法知识

一口君最近工作用到CRC校验,顺便整理本篇文章和大家一起研究。一、CRC概念1．什么是CRC?CRC(Cyclic Redundancy Checksum)是一种纠错技术,代表循环冗余校验和。数据通信领域中最常用的一种差错校验码

CRC校验数据通信 2021-06-29

计算机视觉专业术语解析：先验知识、语义信息、embedding等

在计算机视觉中存在很多的专业术语,如先验知识,语义信息,embedding,head,neck等。这些术语的解释无法直接在网上搜到,也没有在哪一篇论文中定义它们的概念和意义,因此,对于第一次听到这些术语的读者来说会非常的困惑

计算机视觉先验知识语义信息 2021-06-21

算法知识：三步学会所有递归

「递归」在算法初学者眼中总是一个令人头疼的问题但其实，这种可以将一个问题拆解为多个重复子问题的算法只要我们掌握了其中的 “套路” ，便可以游刃有余的解决所有递归类问题。下面我们就开始吧～一、青蛙跳台阶

递归算法青蛙跳二叉树 2021-06-21

深兰科技多条推理任务解决方案分享

2021年6月6日－11日，自然语言处理（NLP）领域的顶级会议NAACL在线上举办。深兰科技DeepBlueAI团队参加了Multi－Hop Inference Explanation Regene

深兰科技自然语言处理腾讯哈尔滨工业大学 2021-06-09

一文了解图像中通道的相关知识

有少数颜色空间可以表示图像,如RGB,BGR,HSV,CMYK等,但它们都有一些共同点。它们是这些色彩空间用来共同形成图像的通道。让我们看看频道的一些定义。维基百科上说,彩色数字图像由像素组成,像素由一系列代码表示的原色组合而成

图像像素 2021-05-06

高通Cloud AI 100、AMD EPYC™ 7003系列处理器和技嘉服务器解决方案共同推动AI推理突破每秒千万亿次运算

AI无疑已经成为推动下一代用户体验的驱动力。无论是快速浏览喜爱的社交应用，还是基于数万次AI推理提供的在线购物推荐，几乎每一项移动终端体验都与AI密不可分。目前，这些平台每天承载着数百万的用户量，这又意味着什么呢？它们需要海量性能出众的高密度服务器，来提供满足上述平台持续运行所需的AI推理性能

高通 Cloud AI 100 技嘉服务器 AI推理千万亿次 2021-03-17

Mysql查询语句进阶知识集锦

前言上次咱们简单的学习了一下select的用法，大概有了一些基本的了解。咱们接着上次继续来看叭！查询数据如下or查询我们在上学时，会听到这样的话，某某某，你把谁谁谁或者谁谁谁叫过来。这样子的话，我们我们要查询的，就是一个或（or）的关系了

Mysql 查询语句 or查询 in／notin查询 2021-03-15

技术文章：Yolov3 CPU推理性能比较-Onnx、OpenCV、Darknet

为实时目标检测应用程序选择正确的推理框架变得非常具有挑战性,尤其是当模型应该在低功耗设备上运行时。在本文中,你将了解如何根据你的需要选择最佳的推理检测器,并发现它可以给你带来巨大的性能提升。通常,当我们将模型部署到CPU或移动设备上时,往往只关注于轻量级的模型体系结构,而忽略了对快速推理机的研究

CPU yolov3 2021-02-09

凌华科技推出深度学习加速平台DLAPx86系列实现更智能的边缘AI推理

全球领先的边缘计算解决方案提供商—凌华科技推出高度紧凑且支持GPU的全新DLAPx86系列深度学习加速平台，是市场上最紧凑的GPU深入学习加速平台。

凌华科技深度学习 DLAPx86系列边缘AI 2021-02-02

燧原科技发布首款人工智能推理产品 “云燧i10”

上海2020年12月21日／美通社／－－燧原科技今日发布首款人工智能推理产品 “云燧?i10”。这是一款面向云端数据中心的高性能推理卡。云燧i10是单槽位标准卡，支持PCIe 4．0，FP32算力达到17．6TFLOPS，BF16／FP16算力70．4TFLOPS

燧原科技人工智能推理产品云燧(R)i10 深度学习 2020-12-22

2020年面向人工智能新基建的知识图谱行业白皮书

前言：人工智能二十世纪七十年代以来被称为世界三大尖端技术之一。人工智能是新一轮科技革命和产业变革的核心驱动力，在新基建的三大领域中，两大领域都直接提及人工智能。作者｜方文在信息基础设施领域，人工智

人工智能知识图谱云计算 2020-12-14

从数据到知识,这些痛点是拦路虎

每当提到亚马逊,飞轮效应是一个必定会谈及的话题。作为亚马逊的核心商业理念,飞轮效应在亚马逊二十余年发展历程中体现的淋漓尽致。如今,飞轮效应甚至被商业界奉为圭臬。所谓飞轮效应,即一个巨大的飞轮,要想把它转动起来

知识管理大数据 AnyShare 2020-12-12

ARM模式、寄存器、流水线等基础知识详解

关于ARM的一些基本概念,大家可以参考我之前的文章:《到底什么是Cortex、ARMv8、arm架构、ARM指令集、soc?一文帮你梳理基础概念【科普】》关于ARM指令用到的IDE开发环境可以参考下面

ARM ARM模式寄存器流水线 2020-12-03

华为郑叶来：知识计算是实现行业知识与AI结合的全新途径

今世界，新一轮科技革命和产业变革方兴未艾，并带动数字技术快速发展。在这一背景下，世界互联网大会·互联网发展论坛于11月23日在浙江乌镇开幕。在24日的“育新机开新局”人工智能分论坛上，华为公司副总裁、华为云计算技术有限公司董事长郑叶来发表《创新加速AI普惠，共创行业新价值》主题演讲

华为 2020-11-26