近日,AWS 正式宣布其云对象存储服务 S3 Vectors 全面上线。
该服务原生支持向量数据的存储与查询。此次正式发布将单索引容量提升 40 倍,最高可容纳 20 亿条向量,并实现低于 100 毫秒的查询延迟。
该服务于今年七月曾开放预览。根据 AWS 披露,预览期间用户已创建超过 25 万个向量索引,并累计处理逾 400 亿条向量。预览阶段单索引上限为 5000 万条向量,而AWS首席开发者 Sebastian Stromacq 表示:
“
现在单索引可支持高达 20 亿条向量的存储与检索……用户可将全部向量数据集整合至单一索引,无需再通过分片或复杂的联合查询逻辑管理多个小型索引。
此外,该服务提升了查询性能:低频查询可在 1 秒内返回结果,高频查询延迟则控制在100毫秒以内,这对对话式 AI 等交互应用尤为有利。
官方数据显示,单次查询最多可获取 100 条结果,增强了检索增强生成(RAG)应用的上下文质量。写入性能方面,单向量更新最高支持每秒 1000 次 PUT 操作,支持小批量高吞吐写入,并能实时检索来自多并发源的新数据。
储存优先,节省成本
AWS 同时宣布两项关键集成结束预览、全面开放:用户可将 S3 Vectors 用作 Amazon Bedrock 知识库的向量存储引擎;其与 Amazon OpenSearch 的集成也已正式上线,用户可在使用 OpenSearch 进行搜索分析的同时,将 S3 Vectors 作为底层向量存储层。
开发者 Jalaj Nautiyal 在 LinkedIn 发文评价:S3 Vectors 将向量搜索从“计算优先”模式转变为“存储优先”方案。这一“无服务器”转型意味着用户不再需要管理集群、容器或分片,可像处理普通S3对象一样管理向量,轻松实现数十亿向量的存储。
成本方面,预计可将总拥有成本降低高达 90%,仅需支付 S3 存储费用(成本较低)与查询费用,无需承担闲置计算资源开销。
他进一步指出,对于 80% 的内部 RAG 应用与自主智能体场景,或许无需追求顶级配置的向量数据库。一个可靠且容量无限的“后备箱”已足够——S3正成为这样的存在。
目前S3 Vectors已在14个AWS区域上线(预览阶段为5个)。服务定价基于三个维度计算:
上传定价:按用户上传向量的逻辑GB量计费(每向量包含逻辑向量数据、元数据及键值)
存储成本:取决于各索引逻辑存储总量
查询费用:包含每次API调用费用,以及按索引规模(不含不可过滤元数据)折算的每TB数据查询费
生态集成
作为 AWS 数据生态的核心,它与 Amazon Bedrock 知识库、Amazon OpenSearch 服务均实现了原生集成。这意味着用户可以在构建 RAG 应用时,直接从托管的向量存储中受益。
在 Amazon Bedrock 中创建知识库时,可以选择 S3 Vectors 作为向量存储。此集成有四大优点:
对于使用大型向量数据集的 RAG 应用程序,可节省成本
与 Amazon Bedrock 的完全托管式 RAG 工作流程无缝集成
由 Amazon Bedrock 服务处理的自动向量管理
知识库检索操作的查询延迟为亚秒级
Amazon Bedrock 知识库提供了完全托管式的端到端 RAG 工作流程。使用 S3 Vectors 创建知识库时,Amazon Bedrock 自动从 S3 数据来源获取数据,将内容转换为文本块,生成嵌入,并将其存储在向量索引中。然后,可以查询知识库,并根据从源数据中检索的分块生成响应。
参考资料:
https://docs.amazonaws.cn/zh_cn/AmazonS3/latest/userguide/s3-vectors-bedrock-kb.html
https://www.infoq.cn/article/xb5VDXD96B8sdi8dcqp0
发表评论
登录
手机
验证码
手机/邮箱/用户名
密码
立即登录即可访问所有OFweek服务
还不是会员?免费注册
忘记密码其他方式
请输入评论内容...
请输入评论/评论长度6~500个字
暂无评论
暂无评论