1.向量数据库——AI Infra的兵家必争之地
1.1.向量数据库与AIGC密不可分向量数据库，就是用于存储、索引和搜索向量数据的仓库。向量数据库早在2018年便开始应用，主要面向AI企业用户，曾被质疑天花板不高。一方面大模型出现前，向量数据库的使用场景常限于推荐系统、视觉检索等，应用场景局限被投资者质疑市场天花板不高，空间有限。另一方面由于用户可以基于诸如Faiss、pgvector等开源的向量检索插件自己研发满足需求，因此向量数据库被认为市场需求弱。向量数据库作为大模型的外置“记忆体”,其重要性今非昔比。在AI时代浪潮下，涉及大型语言模型、生成式AI和语义搜索的应用程序，都依赖于向量嵌入，即不同于传统关系型数据库的数据以表格形式存储，向量数据库中的数据均以向量的形式存储。嵌入由AI模型生成，具有许多属性或特征，因此难以管理、复杂性较高，但是对于AI大模型和机器学习模型却至关重要。向量数据库允许以向量形式储存和索引向量嵌入，同时具备快速检索和相似性搜索的功能，借助向量数据库，我们可以向AI添加知识，例如语义信息检索、长期记忆等。与独立向量索引相比，向量数据库具备更专业的数据管理、数据存储和筛选、可扩展性、实时更新、备份和收集、生态系统集成、数据安全和访问控制等多个优势，为处理向量嵌入提供了卓越的解决方案。向量数据库是大模型开发过程中的重要软件基础设施。在传统的关系型数据库中，数据往往被存储为表格形式。然而，随着AI时代的到来，众多企业面临着海量的非结构化数据，例如图像、音频和文本等。根据Gartner的数据，非结构化数据占企业生成的新数据比例高达90%,并且增长速度比结构化数据快三倍。这些数据无法简单地用表格形式存储，因此需要通过机器学习算法从中提取出“特征”,向量数据库的兴起便是为了解决对这些向量进行存储与计算的问题。向量数据库是专门用于存储和管理向量数据，其具备的快速检索、混合存储、向量嵌入等能力很好的解决了AI大模型技术中普遍存在的知识时效性低、输入能力有限、回答问题准确度低等问题。向量数据库的优势：对比传统数据库>可存储非结构化数据向量数据库专门为非结构数据检索而设计，通过向量嵌入函数(vectorembeding)来精准描写文本、语音、图像、视频等非结构化数据的特征，从而提供查询、删除、修改、元数据过滤等操作。而像SQL、Mysql这样传统的数据库根本无法完成这些操作。>近似最近邻搜索(Approximate Nearest Neigh bor Search,ANNS)不同于传统数据库只能在行跟列中进行一一对应的精确检索，向量数据库通过将向量数据组成一个“立体高维空间”,在空间中进行模糊检索，输出权重最高的答案，向量数据库不仅能够完成传统数据库所具备的基本的CRUD(添加、读取查询、更新、删除)等操作，还能够对向量数据进行更快速的相似性搜索，商业化潜力巨大，可应用于搜索广告推荐、图像音视频检索、文本挖掘、语言识别处理等广泛领域。>具备高性能的快速检索与分析能力
向量化执行引擎可以减少节点间的调度，提高CPU的利用率。不同于传统
本文来自知之小站
PDF报告已分享至知识星球，微信扫码加入立享3万+精选资料，年更新1万+精选报告
（星球内含更多专属精选报告.其它事宜可联系zzxz_88@163.com）
