大模型的“黄金搭档”来了 腾讯云发布AI原生向量数据库
来源:深圳商报     时间:2023-07-06 01:36:24


(资料图)

腾讯云日前正式发布AI 原生(AI Native)向量数据库Tencent Cloud VectorDB。该数据库能够被广泛应用于大模型的训练、推理和知识库补充等场景,加速大模型落地行业。

向量数据库专门用于存储和查询向量数据,业界称之为大模型的“海马体”。据介绍,腾讯云向量数据库最高支持10亿级向量检索规模,延迟控制在毫秒级,相比传统单机插件式数据库检索规模提升10倍,同时具备百万级每秒查询(QPS)的峰值能力。

大模型时代的到来,拥抱大模型成为企业的刚需。向量数据库通过把数据向量化然后进行存储和查询,可以极大地提升效率和降低成本。它能解决大模型预训练成本高、没有“长期记忆”、知识更新不足、提示词工程复杂等问题,突破大模型在时间和空间上的限制,加速大模型落地行业场景。

值得关注的是,腾讯云重新定义了AI原生的开发范式,提供了接入层、计算层、存储层的全面AI化解决方案,使用户在使用向量数据库的全生命周期,都能应用到AI能力。企业原先接入一个大模型需要花1个月左右时间,使用腾讯云向量数据库后,3天时间即可完成,极大降低了企业的接入成本。

腾讯云数据库副总经理罗云表示,AI原生时代已经到来,“向量数据库+大模型+数据”,三者将产生“飞轮效应”。

腾讯云向量数据库基于腾讯集团每日处理千亿次检索的向量引擎(OLAMA),经过腾讯内部海量场景的实践,数据接入AI的效率也比传统方案提升10倍,运行稳定性高达99.99%,目前已经应用在了腾讯视频、QQ浏览器、QQ音乐等30多款国民级产品中。数据显示,使用腾讯云向量数据库后,QQ音乐人均听歌时长提升3.2%、腾讯视频有效曝光人均时长提升1.74%、QQ浏览器成本降低37.9%。

关键词: