向量数据库：AIGC时代的必备基础工具

今天分享的AIGC系列深度研究报告：《向量数据库：AIGC时代的必备基础工具》。

（报告出品方：广发证券）

报告共计：47页

点击添加图片描述（最多60个字）编辑

一、向量数据库为 AI 大模型全生命周期管理提质增效

随着AI大模型的发展，向量数据库已成为赋能MLOps各环节必备的软件基础设施在Al模型全生命周期过程中，MLOps (Machine Learning Operations，机器学习运营体系)代表机器学习的开发、部署和应用，是涵盖从训练到推理全流程，提升从数据到AI模型生产效率的工具。AI大模型的技术已成为业内主流发展方向，在训练的数据量不断增多，算力集群规模持续扩大的趋势下，从数据到模型的全生命周期管理需要更加专业的软件工具用于生产效率的提升、流程的优化和成本的节省。其中向量数据库具备的快速检索、混合存储、向量嵌入等能力很好的解决了AI大模型在MLOps过程中存在的知识时效性低、输入能力有限、回答问题准确度低等问题，未来发展前景广阔。

（一）MLOps 已成为 AI 模型规模化开发的必备软件工具

AI大模型的训练和推理各环节过程复杂、步骤较多，需要统一的软件工具链进行管 理。从原始的训练数据训练成为AI大模型的过程需要经过数据预处理、特征提取、模型测试、训练监控、生产部署等环节，任何一个环节出现问题亦或不同环节之间的 衔接不流畅，则会影响整体的开发效率和成果转化率。根据Gartner调查结果，只有 53%的项目能够从AI原型转化为生产，AI生产转化率低的主要原因在于模型全链路 生命周期管理存在跨团队协作难度大、过程和资产管理欠缺、生产和交付周期长等问题。因此，开发从数据到模型，贯通从开发到部署等多环节统一的流水线软件 MLOps是保障AI模型生产和管理的稳定性、持续性、规模化和效率的关键。

MLOps的目标是提高A项目全生命周期的效率、可扩展性和可靠性。在MLOps的框架下，机器学习项目的生命周期被划分为几个关键阶段，包括需求设计、开发阶段、交付阶段和运营阶段，这种结构化的运行方法提供了一个清晰的路线图，可以帮助团队有效减少数据质量、模型过拟合和部署困难等难题,较大提高了项目推进效率此外,MLOps还通过自动化持续集成/持续部署(CI/CD)等方式加快模型迭代速度保证模型在生产过程中的连续性。

MLOps的系统框架不是简单的线性推进，而是各个环节的相互作用与结合MLOps的生命周期包含了多个反馈循环，模型测试和运维监控阶段的结果可能会反情到数据工程和模型开发环节，集成效果会影响模型上线后的性能，模型上线运行的效果又影响业务需求和开发方向。MLOps的生命周期不是一次性的过程，需要反复进行数据收集和准备、模型开发和训练、模型验证和测试等步骤，以不断对模型进行送代与优化，目前，MLOps对Al全生命周期的管理和应用正逐渐走向成熟，对各个环节都有对应的软件实现效率的提升，这些软件和工具在各环节发挥着重要的作用，共同构建了一个完整、高效的MLOps生态系统。

1.需求管理: 业务人员基于对产业和业务的深刻认知，在复杂的业务场景中提炼出痛点问题并形成需求，交付于数据科学家进行对接，数据科学家通过需求文档初步建立算法模型 (demo)，明确业务需求，并对需求的可行性进行评估与检验，在双方的有效沟通下对方案多次修改直到达成一致，以确保业务需求被正确认知，建模方案可行而高效，避免不同角色对于需求的理解不一致及风险不可控等问题，从源头提升项目质量，降低需求变更带来的影响。

2.数据工程: 明确了需求之后，就要从业务场景中提取建模所需的数据。业务场景覆盖范围宽广且涉及情景复杂，获取的数据格式、口径、类型都大不相同，取数场景可能涉及到从各种源(如数据库、日志文件、API等) 收集数据，获取的数据可能是结构化的(如表格数据)，也可能是非结构化的(如文本或图像)，也可能包含错误、缺失或异常值，需要识别并处理，以提高数据的质量。此外，获取的数据一般不符合机器学习模型的特定格式要求,需要数据工程师进行相应的处理，如编码分类变量、标准化数值变量等。与此同时，数据工程师雪要从原始数据中进行特