向量数据库:AI 时代的记忆引擎

向量数据库入坑指南:聊聊来自元宇宙大厂 Meta 的相似度检索技术 Faiss faiss 是相似度检索方案中的佼佼者,是来自 Meta AI(原 Facebook Research)的开源项目,也是目前最流行的、效率比较高的相似度检索方案之一。虽然它和相似度检索这门技术颇受欢迎,在出现在了各种我们所熟知的“大厂”应用的功能中,但毕竟属于小众场景,有着不低的掌握门槛和复杂性。所以,不要想着一口气就完全掌握它,咱们一步一步来。当然,如果你实在懒得了解,希望能够和写简单的 Web 项目一样,写几行 CRUD 就能够完成高效的向量检索功能,可以试试启动一个Milvus 实例。 阅读详情

玄同 765

大语言模型 (LLM) 开发工程师 | 中国传媒大学 · 数字媒体技术(智能交互与游戏设计)

优快云 · 个人主页 | GitHub · Follow


关于作者

  • 深耕领域:大语言模型开发 / RAG 知识库 / AI Agent 落地 / 模型微调
  • 技术栈:Python | RAG (LangChain / Dify + Milvus) | FastAPI + Docker
  • 工程能力:专注模型工程化部署、知识库构建与优化,擅长全流程解决方案

「让 AI 交互更智能,让技术落地更高效」
欢迎技术探讨与项目合作,解锁大模型与智能交互的无限可能!


向量数据库:AI 时代的记忆引擎

2023 年,ChatGPT 的爆火让所有人意识到大语言模型的潜力。但真正构建 AI 应用的人很快发现,模型本身只是冰山一角。如何让模型"记住"知识、如何实现语义搜索、如何构建个性化推荐——这些问题的答案都指向同一个技术:向量数据库。

从关键词到语义:搜索范式的转变

传统搜索引擎的工作方式是关键词匹配。用户搜索"苹果",系统在倒排索引中查找包含这个词的文档。这种方式简单直接,但有一个致命缺陷:它无法理解语义。

“水果"和"水果店"只差一个字,但语义相近。“苹果公司"和"苹果手机"都包含"苹果”,但指的可能是完全不同的东西。更复杂的是跨语言场景——中文的"苹果"和英文的"Apple”,字面上毫无关联,语义上却完全等价。

向量嵌入(Vector Embedding)改变了这一切。它将文本、图像、音频等数据转换为高维空间中的点,语义相近的点在空间中距离更近。这样,搜索就变成了几何问题:找到距离查询向量最近的那些点。

向量搜索

用户查询: 苹果

Embedding 模型

查询向量

向量相似度计算

语义相关的文档

传统搜索

用户查询: 苹果

关键词匹配

包含'苹果'的文档

向量数据库的核心能力

向量数据库是专门为存储、索引和查询向量数据而设计的系统。它与传统数据库最大的区别在于:传统数据库处理的是精确匹配和范围查询,向量数据库处理的是相似度搜索。

一个成熟的向量数据库需要具备几个核心能力。首先是高效的索引结构。当数据量达到百万甚至十亿级别时,暴力计算所有向量的距离是不现实的。向量数据库使用近似最近邻(ANN)算法,在精度和速度之间取得平衡。

其次是元数据过滤。实际应用中,用户往往需要在特定范围内搜索。比如电商场景中,“找和这件衣服相似的、价格在 500 元以下的商品”。向量数据库需要同时处理向量相似度和标量过滤。

索引类型

查询流程

用户查询

向量化

向量搜索

元数据过滤

排序返回

HNSW
图索引

IVF
聚类索引

Flat
暴力搜索

第三是分布式扩展。随着数据量增长,单机无法承载。向量数据库需要支持数据分片、负载均衡、故障恢复等分布式特性。

最后是持久化和可靠性。向量数据库首先是数据库,不能像纯内存索引那样丢失数据。它需要支持数据持久化、备份恢复、高可用部署。

主流向量数据库格局

2025 年的向量数据库市场已经形成了清晰的格局。不同产品有不同的定位和适用场景。

Pinecone 是完全托管的向量数据库服务。它的卖点是零运维——用户不需要关心部署、扩展、备份,只需要调用 API。这对于快速迭代的创业团队很有吸引力,但代价是成本较高,且数据不在自己掌控中。

Milvus 是开源界的重量级选手。由 Zilliz 开发,支持十亿级向量的分布式部署。它的架构设计借鉴了 Snowflake 的存算分离理念,查询、索引、存储三层独立扩展。Discord、Johnson & Johnson 等公司都在使用 Milvus。

Weaviate 定位为"AI 原生数据库"。它内置了向量化模块,可以直接存储原始文本,自动生成嵌入。同时支持 GraphQL 查询,对开发者友好。

Qdrant 用 Rust 编写,主打高性能和资源效率。它的过滤能力很强,支持复杂的布尔表达式。对于隐私敏感的场景,Qdrant 的自托管方案很有吸引力。

Chroma 走的是轻量化路线。它可以嵌入到 Python 应用中运行,无需独立部署。对于原型开发和中小规模应用,Chroma 是最简单的选择。

Faiss 比较特殊,它不是一个完整的数据库,而是 Meta 开发的向量搜索库。Faiss 提供了高效的索引算法,但没有持久化、分布式等数据库能力。很多向量数据库(包括 Milvus)底层都使用了 Faiss 的索引。

搜索库

开源数据库

底层使用

托管服务

Pinecone
零运维,高成本

Milvus
分布式,企业级

Weaviate
AI 原生,GraphQL

Qdrant
高性能,Rust

Chroma
轻量,嵌入式

Faiss
索引算法,无持久化

向量索引算法:速度与精度的博弈

向量搜索的核心挑战是:在高维空间中快速找到最近的点。暴力搜索(Flat Index)精度最高,但时间复杂度是 O(N),当 N 达到百万级时,查询延迟会变得不可接受。

业界主流的解决方案是近似最近邻(Approximate Nearest Neighbor,ANN)算法。它牺牲一定的精度,换取数量级的速度提升。

HNSW(Hierarchical Navigable Small World) 是目前最流行的索引算法。它构建一个多层图结构,上层是稀疏的"高速公路",下层是密集的精确搜索。查询时从顶层开始,逐层向下逼近目标。HNSW 的查询速度极快,精度也很高,代价是内存占用较大,构建索引较慢。

IVF(Inverted File Index) 采用聚类的思想。它将向量空间划分为多个簇(Voronoi 单元),每个簇维护一个倒排列表。查询时,只搜索距离最近的几个簇。IVF 的优点是内存效率高,缺点是精度受聚类质量影响。

PQ(Product Quantization) 是一种压缩技术。它将高维向量分解为多个子向量,每个子向量独立量化。这样可以将向量压缩到原来的 1/8 甚至更小,代价是精度损失。PQ 通常与 IVF 结合使用,形成 IVF-PQ 索引。

PQ

原始向量 128D

子向量 32D

子向量 32D

子向量 32D

子向量 32D

码本

码本

码本

码本

IVF

Cluster 1

查询点

Cluster 2

Cluster 3

Cluster 4

HNSW

Layer 2
稀疏

Layer 1
中等

Layer 0
密集

RAG:向量数据库的杀手级应用

检索增强生成(Retrieval-Augmented Generation,RAG)是向量数据库最典型的应用场景。它解决了大语言模型的几个关键问题:知识过时、幻觉、私有数据无法访问。

RAG 的工作流程很简单:用户提问后,系统先在知识库中检索相关文档,然后将文档作为上下文提供给 LLM,最后 LLM 基于上下文生成回答。

LLM 向量数据库 RAG 系统 用户 LLM 向量数据库 RAG 系统 用户 提出问题 问题向量化 向量搜索 返回相关文档 问题 + 上下文 生成回答 返回结果

这个架构的妙处在于:知识库可以随时更新,不需要重新训练模型;企业可以将私有文档存入知识库,实现内部知识问答;通过引用来源,可以追溯答案的依据,减少幻觉。

选型建议

选择向量数据库时,需要考虑几个因素。

数据规模是首要考量。百万级向量,单机部署就够了,Chroma 或 Faiss 都能胜任。十亿级向量,必须考虑分布式方案,Milvus 或 Qdrant 更合适。

运维能力也很重要。如果团队没有专门的运维人员,托管服务(如 Pinecone 或 Zilliz Cloud)可以省去很多麻烦。如果对数据安全有严格要求,自托管是唯一选择。

查询模式决定了索引选择。如果查询量大、延迟敏感,HNSW 是首选。如果内存有限,IVF-PQ 更合适。如果需要高精度,暴力搜索不可替代。

生态集成是实际落地的重要因素。LangChain、LlamaIndex 等 AI 框架对向量数据库有不同程度的支持。选择生态成熟的产品,可以减少集成成本。

向量数据库是 AI 应用的基础设施,但它不是银弹。在选型时,要避免过度设计,选择适合当前阶段的方案。毕竟,一个能用的原型,胜过一个永远部署不完的完美架构。


延伸阅读

  • Milvus 官方文档:https://milvus.io/docs/
  • Faiss GitHub:https://github.com/facebookresearch/faiss
  • Chroma 官方文档:https://docs.trychroma.com/
  • HNSW 论文:Efficient and robust approximate nearest neighbor search using Hierarchical Navigable Small World graphs
记忆引擎Memori:让您的AI更聪明! Memori是一款开源内存引擎,旨在为AI模型赋予持久性记忆能力。通过简单的一行代码memori.enable(),即可让大型语言模型(LLM)获得可查询的长期记忆,数据存储在标准SQL数据库中且完全由用户掌控。Memori具有成本节约80-90%、SQL原生存储、智能记忆等优势,支持多种主流SQL数据库和LLM框架。其架构通过拦截LLM调用来实现上下文注入和记录,提供意识模式、自动模式和组合模式三种记忆方式。Memori适用于个人助手、研究工具等多种场景,并提供了丰富的示例和交互式演示。 阅读详情

相关推荐

浅析AI大模型为何需要向量数据库?从记忆存储到认知进化

在大模型时代,向量数据库正成为认知革命的核心基础设施。传统大模型虽具备强大推理能力,但面临存储困境,而向量数据库通过高维空间拓扑关系和多模态统一存储,重新定义了存储范式。它支持实时记忆更新和动态认知图谱,显著提升了大模型的知识时效性和上下文理解能力。向量数据库在医疗、金融、制造等领域的应用,展示了其强大的认知加速作用。未来,随着神经符号融合、边缘认知智能和量子拓扑索引的发展,向量数据库将继续推动AI认知范式的进化,成为构建数字意识觉醒的关键技术。掌握向量化思维的开发者将在这场认知革命中占据先机。

七刀的专栏 837

10个最流行的向量数据库【AI】

矢量数据库是一种将数据存储为高维向量的数据库,高维向量是特征或属性的数学表示。每个向量都有一定数量的维度,范围从几十到几千不等,具体取决于数据的复杂性和粒度。推荐:用快速搭建3D场景。矢量数据库(Vector Database)和矢量开发库(Vector Library)都是实现矢量相似性搜索的技术,但它们在功能和可用性上有所不同。矢量数据库可以存储和更新数据,处理各种类型的数据源,在数据导入期间执行查询,并提供用户友好和企业就绪的功能。

新缸中之脑 4万+

向量大模型与向量数据库:人工智能时代的双引擎驱动

在人工智能技术的浪潮中,以大规模预训练模型为基础的向量大模型与向量数据库正成为技术生态的核心支柱。两者如同DNA双螺旋结构般紧密交织,共同推动着语义理解、智能决策等领域的突破性进展。本文将深入解析这两项技术的本质差异与协同机制,揭示其在现代AI架构中的战略价值。

未来已来,AI时代,学AI编程,做AI量化,就来大鹏AI教育。 784

向量数据库:全面解锁AI时代的“语义记忆引擎“

向量数据库是一种专门设计用于存储、管理和搜索高维向量嵌入的数据库系统。它将非结构化数据(如文本、图像、音频等)转换为数值向量形式,以便进行高效的存储和相似性搜索。处理非结构化数据:通过向量嵌入将文本、图像等非结构化数据转换为数值向量高维向量处理:擅长在高维向量空间中存储和管理数据相似性搜索:核心功能是找到与查询向量最相似的向量动态更新:支持创建、读取、更新和删除(CRUD)操作数据模型:传统数据库使用表格结构存储结构化数据,而向量数据库使用向量空间模型存储非结构化数据。

dingyuana的专栏 907

主流向量数据库全面解析

随着大语言模型(LLM)的快速发展,RAG(检索增强生成)技术成为解决模型“幻觉”、提升专业领域回答精度的核心方案,而向量数据库则是RAG技术的底层支撑。向量数据库专门用于存储、管理和检索高维嵌入向量(Embedding),通过高效的相似度匹配算法,快速从海量数据中找到与查询向量最相关的结果。FAISS是由Meta(原Facebook)AI团队开源的轻量级向量检索库,并非严格意义上的“完整数据库”,而是专注于高维向量的高效相似度检索的核心算法库。

h a 6 6 6 c k 为 你解决复杂难题! 1745

向量数据库:AI时代的“记忆引擎”,正在重构人机交互的底层逻辑[特殊字符]

传统数据库只能匹配关键词“雨天”“徒步”“鞋子”,但**无法理解“防水”“防滑”“轻便”等语义关联**。这正是非结构化数据(文本、图片、视频)处理的痛点——**计算机看不懂人类的信息**。当ChatGPT回答你的问题、淘宝推荐“猜你喜欢”、手机相册自动识别宠物照片时,背后都藏着一个关键技术——**向量数据库**。**跨模态检索**:统一处理文本、图片、音频的“数学表达”,实现“以图搜图”“以文搜视频”**语义理解力**:将数据转化为高维向量(一组数字),使相似语义在向量空间中距离相近。

u013558123的博客 330

向量数据库深度解析:AI时代的“记忆宫殿”与RAG核心引擎

通俗定义:专为AI“记忆”而生的数据库向量数据库是旨在存储和管理向量嵌入(Vector Embeddings)的数据库,向量嵌入是高维空间中数据的数学表示形式。简单来说,它把一切非结构化数据(文字、图片、音频、视频)都转化为高维空间中的点(向量),然后通过计算点与点之间的“距离”来判断它们的语义相似度。向量数据库就是AI的“记忆宫殿”。在记忆宫殿里,你把知识放在固定位置,需要时瞬间找到;向量数据库则把所有信息转为向量,编码存入高维空间。当用户发起查询,系统先把问题转为向量,再在数据库里找。

✨ 欢迎来到【Seal ^_^ 的优快云博客】!✨ 833

智能枕头

睡觉和吃饭是一样重要的,一个人想要健康的体魄,不仅要饮食得当,更需要有一个好的睡眠质量。随着人们生活品质的提高,人们对于睡眠的要求越来越高,那么就非常需要一款舒适的枕头。为了适应市场的需求,我爱物联网推出了智能枕头。因为智能枕头可以给头部及颈椎一个良好的承托力,舒适、柔软、放松,让人更好的进入睡眠。 目录 一、智能枕头方案介绍 二、智能枕头的优点 三、智能枕头功能介绍 四、智能枕头APP开发 五、...

6108我爱物联网方案开发优快云博客 3660

Milvus 向量数据库:AI 时代的“记忆引擎”与新手实战指南

摘要:在大模型和RAG技术快速发展的背景下,Milvus作为全球领先的开源向量数据库,为AI系统提供了高效的长期记忆和精准检索能力。文章全面介绍了Milvus的核心特性:云原生架构、毫秒级检索性能、混合搜索能力,以及丰富的AI生态支持。针对不同使用场景,提供了版本选择建议,并给出5分钟快速上手的Python实战代码示例。特别强调了避坑指南,包括维度匹配、索引选择等关键注意事项,最后展望了结合本地大模型的完整RAG解决方案。

qq_63683271的博客 333

Windows 下安装 Hermes Agent 完整教程(含踩坑记录)

不支持原生 Windows,必须通过 WSL2 (Windows Subsystem for Linux 2) 运行。WSL2 是 Windows 内置的 Linux 兼容层,可以在 Windows 上运行完整的 Linux 环境。

weixin_50191542的博客 4284

硬件工程师必备核心知识点

硬件设计是一项系统化工程活动,涉及元器件选型、电源设计、信号完整性、EMC和PCB工艺等多个环节

硬核科技 340

向量数据库凭什么成为AI时代的记忆中枢

大模型的“记忆”和“联想”从哪来?比如你问“《流浪地球3》的剧情像不像《星际穿越》?”,大模型需要先从海量影视数据中找到两者的“语义相似性”——而这背后,正是向量数据库在支撑。向量数据库不是普通的“存数据的仓库”,它是专为AI设计的“语义记忆体”:把文本、图像、音频等非结构化数据转换成“向量”(一串数字),再通过高效索引让大模型快速找到“语义相近”的内容。本文将从现象、技术、落地三个角度,帮你搞懂这个AI时代的“基础设施”。向量数据库不是AI的“附属品”,而是AI落地的“基础设施”

沛哥儿的专栏 1369

GenomeSurvyIndex设计--随笔017

摘要: GenomeSurvyIndex是一款自动化多倍体基因组调查工具,整合FastK、Smudgeplot和GenomeScope2.0三大核心组件。该工具通过k-mer频谱特征自动识别基因组倍性类型,包括二倍体(1:2:4)和同源四倍体(1:2:3:4),并采用3a1b>2a2b算法判定同源/异源多倍体。工具提供完整的conda环境配置方案,封装为Python脚本实现全流程自动化分析,包含k-mer计数、倍性判定、基因组特征计算等功能,最终输出标准化报告和可视化图表。该方案可直接部署使用,适用于

weixin_44874487的博客 475

向量数据库真的能满足所有 AI Agent 的记忆需求吗?

当 AI Agent 执行长期任务时,如何有效管理和存储它们的"记忆"?向量数据库真的能满足所有 AI Agent 的记忆需求吗?我们今天为大家带来的文章中,作者指出当前主流的向量数据库虽然能够有效处理对话记忆,但无法完全满足 Agentic AI 系统在长期任务执行过程中的多样化记忆需求。文章首先介绍了 Agentic AI 系统的基本概念,以营销案例说明了其任务分解和执行能力。随后深入探讨了向量数据库在管理 AI 记忆方面的应用及其局限性,特别指出了数据质量问题。

2401_85373691的博客 1655

ANSYS软件二次开发(2):二次开发环境搭建与配置

ADK是ANSYS提供的一个开发工具包,它包含了用于二次开发的API、示例代码和开发指南。ADK支持Python和Tcl,但Python因其易用性和强大的社区支持,成为首选。在ANSYS软件中,自定义菜单与工具栏是实现二次开发的重要途径之一,它允许用户根据自己的需求和工作流程,创建个性化的操作界面。通过自定义菜单与工具栏,可以将常用的功能、自定义的脚本或宏命令整合到一起,提高工作效率。原因:材料参数输入错误,或者模型的物理假设与实际情况不符。解决方案仔细校验材料参数,确保与实验数据一致。

kkchenjj的博客 2208

在zcu102开发板上使用PetaLinux运行Qt程序

请注意,上述步骤只是一个概述,并且可能需要根据特定的开发环境和要求进行适当的调整。如果你是一个初学者或者对于这些领域不太熟悉,建议在尝试之前阅读相关的文档和教程,或者寻求专业人士的帮助。在"Projects"菜单中,选择"Build & Run"选项,并在"Build"步骤中选择正确的工具链。注意:如果Qt程序依赖于其他库文件,需要将这些库文件一起复制到PetaLinux工程的根文件系统目录中,并在Qt程序中正确地配置库文件路径。如果一切顺利,PetaLinux系统将启动,并自动运行Qt程序。

UhxzCombined的博客 698

关于AI Agent的长期记忆

AI智能体是当前的热门话题。总的来说,关于什么是代理AI系统?它们与生成式AI(Gen AI)或大型语言模型(LLM)代理有何不同?这些问题上仍然存在很多困惑。前排提示,文末有大模型AGI-优快云独家资料包哦!在本节中,我们将通过一个实际的营销用例来阐明AI智能体系统的功能/非功能需求,从而为这一争论带来一些清晰度——见图1所示。图1:代理AI执行营销用例(作者提供的图片)面对用户任务,AI智能体平台的目标是识别出能够执行该任务的智能体(或智能体组)。因此,我们需要的第一个组件是一个编排。

aolan123的博客 1598

完美解决unknown failed to transfer from http://0.0.0.0/ during a previous attempt的错误

完美解决unknown failed to transfer from http://0.0.0.0/ during a previous attempt的错误

念兮为美 2282

记忆的延伸:利用 MCP 协议对接外部向量数据库,为大模型提供永不遗忘的长短期记忆引擎

通过 MCP 协议对接外部向量数据库,我们不仅解决了 AI 的健忘症,更赋予了 AI 一种**“时间上的连续性”**。AI 助手从此不再是一个冷冰冰的、每次开机都要重新介绍自己的程序,而是一个能够伴随用户成长、积累共同经历、甚至形成独特协作默契的数字伙伴。

qq_63306561的博客 953

什么是 SAP S/4HANA 的 Brown Field 迁移和 Green Field 迁移

Brown Field实施涉及升级现有的 SAP 环境并继续使用一些遗留组件。它类似于传统升级,因为它涉及软件更新、一些数据转换和一些业务流程的调整。它仍然具有破坏性,但比Green Field实施要少得多。如果你是风险厌恶者,倾向于逐步使用 S/4HANA 的功能,或担心 S/4HANA Green Field方法的成本,那么你可能更喜欢这种方法。混合方法结合了Brown Field和Green Field迁移的一些元素。它从公司的 SAP 系统的副本开始,包括配置设置和定制。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1324

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

云原生向量计算引擎 PieCloudVector:为大模型提供独特记忆

作为 πDataCS 支持的第二款计算引擎,云原生向量计算引擎 PieCloudVector 支持海量向量数据存储、向量数据高效查询,是大模型时代的分析型数据库升维,目标是助力多模态大模型 AI 应用。

OpenPie的博客 2708

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

Godot RE Tools:Godot 项目反编译与恢复工具

Godot RE Tools(GDRE Tools)是一个 Godot 反编译与项目恢复工具,能从编译好的 PCK、APK、甚至嵌入 PCK 的 EXE 里把资源整个捞回来:GDScript 反编译、还原工程文件、把导入资源转回原始格式。最大的卖点是覆盖 Godot 2.x、3.x、4.x 全世代工程的整项目恢复,一条命令就能拿到可继续编辑的工程。 [![GDRE Tools Godot 反编译

gitblog_00120的博客 892

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

《GEO实战:AI时代的流量密码》实战精要

SEO让我们被搜索,GEO让我们被理解。在AI主导的内容新时代,每一家企业、每一个创作者,都必须建立属于自己的。

Baixue5209的博客 1531

深入理解AI Agent记忆模块:短期记忆与长期记忆的完美结合!

AI Agent的记忆模块分为短期记忆(对话历史)和长期记忆(RAG检索增强生成)。短期记忆维持当前对话连贯性,长期记忆通过向量数据库存储和检索历史经验。两者协作使AI具有状态,能够跨越多次交互保留信息。文章详细介绍了记忆模块的架构、实现技术和优化方案,包括记忆摘要、合并和淘汰机制等,确保系统在高频使用场景下长期稳定运行。

m0_65555479的博客 1692

一行代码,让你的 AI 拥有永久记忆!告别昂贵的向量数据库

今天,我们要介绍一个名为 Memori 的开源项目,它为 AI 的“失忆症”提供了一剂优雅且经济的良方。

2401_82469710的博客 940
上一篇: Redis 深度解析:从内存数据库到 AI 应用基础设施
下一篇: Jieba 中文分词:从基础到 LLM 应用的实践指南
玄同765
玄同765 新星创作者: 人工智能技术领域 新星创作者: 人工智能技术领域
博客等级 码龄6年 1万+粉丝 262原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值