Docker Compose 文件中设置Qdrant 的持久化存储

Qdrant向量数据库介绍和Docker单机(集群)部署 Qdrant是一个基于Rust开发的高性能开源向量数据库,专为AI和机器学习场景设计。它支持高效的相似性搜索(基于HNSW算法)、混合查询(向量+元数据过滤)及多语言集成,适用于RAG系统、推荐引擎和图像检索等应用。相比Milvus,Qdrant在中小规模实时场景中表现更优,提供REST/gRPC接口(默认端口6333/6334)。部署支持Docker单机或集群模式,通过docker-compose可快速搭建服务,内存管理灵活(支持RAM/DISK存储)。最新版本优化了推荐系统性能和增量索引构建能力。 阅读详情

Docker Compose 文件中,正确地设置了 Qdrant 的持久化存储。通过将本地目录 ./qdrant_storage 挂载到容器内的 /qdrant/storage 目录,Qdrant 的数据将被持久化存储在宿主机上,即使容器被删除或重启,数据也不会丢失。

以下是关于你的配置文件的一些说明和建议:

持久化存储

  • 挂载卷:你已经通过 volumes 配置将本地目录 ./qdrant_storage 挂载到容器内的 /qdrant/storage,这是正确的做法。这样,Qdrant 的索引和数据会存储在这个目录下,确保数据的持久性。

  • 确保目录存在:在启动服务之前,请确保宿主机上存在 ./qdrant_storage 目录。如果不存在,Docker 会自动创建一个空目录,但最好提前创建并设置适当的权限。

环境变量

  • QDRANT__CLUSTER__ENABLED:你已经将 QDRANT__CLUSTER__ENABLED 设置为 "false",这表示 Qdrant 将以单机模式运行。如果你不需要集群功能,这个设置是合适的。

  • 其他环境变量:根据你的需求,你还可以设置其他环境变量,例如:

    • QDRANT__SERVICE__HTTP_PORT:用于指定 REST API 的端口(默认是 6334)。

    • QDRANT__SERVICE__GRPC_PORT:用于指定 gRPC API 的端口(默认是 6333)。

    • QDRANT__STORAGE__PATH:用于指定存储路径(默认是 /qdrant/storage)。

完整的 Docker Compose 文件

以下是你的 Docker Compose 文件的完整版本,稍作优化和注释:

yaml

复制

version: '3.8'
services:
  qdrant:
    image: qdrant/qdrant:latest  # 使用 Qdrant 的最新版本
    ports:
      - "6333:6333"  # gRPC API 端口
      - "6334:6334"  # REST API 端口
    volumes:
      - ./qdrant_storage:/qdrant/storage  # 挂载本地目录作为持久化存储
    restart: on-failure  # 在容器失败时自动重启
    environment:
      QDRANT__CLUSTER__ENABLED: "false"  # 禁用集群模式

启动和管理

  1. 启动服务:

    bash

    复制

    docker-compose up -d

    这将以后台模式启动 Qdrant 服务。

  2. 检查服务状态:

    bash

    复制

    docker-compose ps
  3. 停止服务:

    bash

    复制

    docker-compose down
  4. 清理数据: 如果需要清理持久化存储的数据,可以手动删除 ./qdrant_storage 目录。

注意事项

  • 数据备份:虽然数据已经持久化存储,但建议定期备份 ./qdrant_storage 目录,以防止意外丢失。

  • 权限问题:确保宿主机上的 ./qdrant_storage 目录具有适当的权限,允许 Docker 容器访问和写入。

通过以上配置,你的 Qdrant 服务将运行在单机模式下,并且数据将被持久化存储。

复制

分享

向量数据消失的问题

复制

favicon

favicon

favicon

favicon

favicon

搜索 Qdrant 向量数据消失原因

根据搜索结果,Qdrant 向量数据消失的问题可能由多种原因导致,以下是一些常见原因和解决方法:

1. 数据持久化配置问题

  • 挂载卷配置错误:如果未正确配置数据卷,Qdrant 的数据可能无法持久化。确保在 Docker Compose 文件中正确挂载了宿主机的目录到容器内的 /qdrant/storage 目录。例如:

    yaml

    复制

    volumes:
      - ./qdrant_storage:/qdrant/storage

    如果挂载路径错误或未挂载,数据会在容器重启后丢失。

  • Windows 环境下的挂载问题:在 Windows 环境下,直接挂载宿主机目录可能导致文件系统同步问题,从而导致数据丢失。建议使用 Docker 命名卷来持久化数据:

    yaml

    复制

    volumes:
      - qdrant-data:/qdrant/storage

2. 存储机制问题

  • Write-ahead-log (WAL) 机制:Qdrant 使用 WAL 机制来确保数据的持久性和一致性。如果 WAL 文件损坏或未正确同步,可能会导致数据丢失。确保 Qdrant 的存储目录有足够的权限,并且宿主机的文件系统是可靠的。

  • 存储目录权限问题:如果宿主机的存储目录权限设置不当,Qdrant 可能无法正确写入数据,导致数据丢失。确保存储目录具有适当的权限,并且 Docker 容器可以访问和写入该目录。

3. 快照恢复问题

  • 快照管理:如果数据丢失,可以通过快照恢复数据。确保定期创建快照,并将快照存储在安全的位置。可以通过以下命令恢复快照:

    Python

    复制

    self.client.recover_snapshot(
        collection_name="__TEST__",
        location="http://localhost:6333/collections/__TEST__/snapshots/__TEST__-8742423504815750-2023-10-30-12-04-14.snapshot"
    )

4. 客户端配置问题

  • 客户端路径冲突:如果使用 Qdrant Python 客户端时,指定了本地存储路径(如 path="/home/Desktop/qdrant/qdrant.db"),可能会导致与服务器模式冲突。建议仅使用服务器模式,避免本地路径冲突。

5. 集群模式问题

  • 集群配置错误:如果启用了集群模式(QDRANT__CLUSTER__ENABLED=true),但未正确配置集群参数,可能会导致数据丢失。确保集群配置正确,并且所有节点的数据卷都已正确持久化。

6. 其他注意事项

  • 备份数据:定期备份存储目录(如 ./qdrant_storage)和快照文件,以防止意外丢失。

  • 监控存储健康:对于大规模数据,建议监控存储健康状况,及时发现并解决问题。

如果问题仍未解决,建议检查 Qdrant 的日志文件,查看是否有错误信息提示数据丢失的原因。

复制

分享

unbunto 如何配置Qdrant数据持久性和重新加载

复制

搜索 Ubuntu 配置 Qdrant 数据持久性

在 Ubuntu 系统中,配置 Qdrant 数据持久化和重新加载可以通过以下步骤实现:

1. 安装 Docker

Qdrant 建议通过 Docker 部署,因此需要先安装 Docker。如果尚未安装 Docker,可以参考官方文档或使用以下命令进行安装:

bash

复制

sudo apt-get update
sudo apt-get install -y docker.io

2. 配置 Qdrant 数据持久化

为了实现数据持久化,需要将宿主机的目录挂载到 Qdrant 容器的存储目录中。以下是具体的 Docker 命令:

bash

复制

docker run -d \
  --name qdrant \
  -p 6333:6333 \
  -p 6334:6334 \
  -v $(pwd)/qdrant_storage:/qdrant/storage \
  qdrant/qdrant
  • $(pwd)/qdrant_storage 是宿主机上的目录,用于存储 Qdrant 的数据。

  • /qdrant/storage 是容器内的存储路径。

  • -v 参数用于将宿主机的目录挂载到容器中,确保数据持久化。

3. 验证数据持久化

启动容器后,可以通过访问 Qdrant 的 Web UI 或使用客户端工具验证数据是否正确存储:

  • 访问 http://localhost:6333/dashboard,查看 Qdrant 的状态和数据。

  • 如果需要通过客户端操作,可以使用 Qdrant Python 客户端:

    Python

    复制

    from qdrant_client import QdrantClient
    
    client = QdrantClient("localhost", port=6333)

4. 重新加载数据

如果需要重新加载数据(例如从快照恢复),可以使用以下命令:

Python

复制

client.recover_snapshot(
    collection_name="your_collection_name",
    location="http://localhost:6333/collections/your_collection_name/snapshots/your_snapshot_file.snapshot"
)
  • collection_name 是需要恢复的集合名称。

  • location 是快照文件的路径。

5. 注意事项

  • 备份数据:定期备份 qdrant_storage 目录,以防止数据丢失。

  • 权限问题:确保宿主机的 qdrant_storage 目录具有适当的权限,允许 Docker 容器访问和写入。

  • 升级版本:如果升级 Qdrant 版本,请参考官方文档进行数据迁移和备份。

通过以上步骤,可以在 Ubuntu 系统中实现 Qdrant 的数据持久化和重新加载。

复制

分享

挂载目录权限如何设置?

编辑

复制

在 Ubuntu 系统中,正确设置挂载目录的权限是确保 Qdrant 容器能够正常访问和写入数据的关键步骤。以下是详细的操作方法:

1. 创建挂载目录

首先,需要在宿主机上创建一个目录,用于存储 Qdrant 的数据。例如,创建一个名为 qdrant_storage 的目录:

bash

复制

mkdir -p ~/qdrant_storage

2. 设置目录权限

为了确保 Qdrant 容器能够访问和写入该目录,需要设置适当的权限。通常,建议将目录权限设置为 755(即所有者具有读写执行权限,其他用户具有读执行权限)。

设置权限

bash

复制

chmod 755 ~/qdrant_storage
设置目录所有者

默认情况下,Docker 容器中的进程可能以特定用户(如 qdrant 用户)运行。为了确保容器能够访问挂载目录,可以将目录的所有者设置为当前用户(假设当前用户有权限运行 Docker 容器):

bash

复制

sudo chown -R $(whoami):$(whoami) ~/qdrant_storage
  • $(whoami) 获取当前登录用户的用户名。

  • -R 表示递归设置目录及其子目录的权限。

3. 验证权限

在挂载目录后,可以通过以下命令验证权限是否正确:

bash

复制

ls -ld ~/qdrant_storage

输出示例:

drwxr-xr-x 2 yourusername yourusername 4096 May 28 10:00 /home/yourusername/qdrant_storage

  • drwxr-xr-x 表示目录权限为 755。

  • yourusername:yourusername 表示目录的所有者和所属组均为当前用户。

4. 启动 Qdrant 容器

在确认权限设置正确后,可以启动 Qdrant 容器,并将挂载目录挂载到容器中:

bash

复制

docker run -d \
  --name qdrant \
  -p 6333:6333 \
  -p 6334:6334 \
  -v ~/qdrant_storage:/qdrant/storage \
  qdrant/qdrant

5. 检查容器日志

如果权限设置有问题,Qdrant 容器可能会报错。可以通过以下命令查看容器日志,检查是否有权限相关的错误:

bash

复制

docker logs qdrant

6. 调整权限(如果需要)

如果日志显示权限问题(例如“Permission denied”),可以尝试以下调整:

  • 放宽权限:如果需要,可以将目录权限设置为 777(所有用户都有读写执行权限),但请注意这会降低安全性:

    bash

    复制

    chmod 777 ~/qdrant_storage
  • 指定用户和组:如果知道 Qdrant 容器运行的具体用户和组,可以直接将目录的所有者设置为该用户和组。例如:

    bash

    复制

    sudo chown -R 1001:1001 ~/qdrant_storage

    其中 1001:1001 是用户和组的 ID,具体值需要根据 Qdrant 容器的配置确定。

总结

正确设置挂载目录的权限是确保 Qdrant 数据持久化的关键。建议:

  • 设置目录权限为 755。

  • 将目录所有者设置为当前用户(或容器运行的用户)。

  • 通过查看容器日志,及时发现并解决权限问题。

如果权限设置正确,Qdrant 容器将能够正常访问和写入挂载目录,数据也将被持久化存储。

ChatGPT垂直行业私有数据知识库向量数据库-Linux Ubuntu下安装docker-并且安装运行qdrant向量数据库... 现在基于GPT相应实现自建本地知识库,必不可少的就是向量数据库,现在介绍下qdrant向量数据库的安装。 因为qdrant向量数据库只支持docker部署,所以在服务器上安装一下docker,下面是在ubutnu下安装docker apt update apt install apt-transport-https ca-certificates curl gnupg lsb-release ... 阅读详情

相关推荐

别再只用Docker run了!Qdrant向量数据库的5种生产环境部署与数据持久化方案

本文深入探讨了Qdrant向量数据库在生产环境中的5种高效部署与数据持久化方案,超越基础的Docker run命令。从本地卷挂载到云原生存储集成,再到混合存储架构,详细解析了每种方案的配置要点、性能调优及适用场景,帮助开发者构建高可用、可扩展的向量数据库系统,避免数据丢失风险。

weixin_30664051的博客 448

使用Docker安装Qdrant向量数据库

集合(Collections):集合是一组命名的点(带有有效负载的向量),您可以在其中进行搜索。存储(Storage):Qdrant 可以使用两种存储选项之一:内存存储(将所有向量存储在 RAM 中,具有最高速度,因为仅需要持久性才需要磁盘访问)或Memmap存储(创建与磁盘上的文件)。它控制搜索的速度和准确性之间的权衡。点(Points):点是 Qdrant 运行的中心实体,它们由向量和可选的 id 和有效负载组成。/data/qdrant/data 是宿主机上的目录,用于存储 Qdrant 的数据。

曼陀罗的博客 5506

Qdrant本地部署实战:从Docker单机到生产级向量数据库

向量数据库是支撑语义搜索、AI应用落地的核心基础设施,其本质是将非结构化数据(如文本、图像)映射为高维向量,并通过近似最近邻(ANN)算法实现毫秒级语义匹配。Qdrant作为Rust编写的高性能开源向量数据库,以内存效率高、API简洁、原生支持持久化和过滤查询著称,特别适合需要数据自主可控的本地化部署场景。相比Milvus等方案,它在中等规模(百万级向量)下资源占用更低、运维更轻量,广泛应用于电商推荐、法律文书检索、工业日志分析等真实业务。本文聚焦Qdrant的本地化部署路径——涵盖Docker单机快速验证

weixin_33924312的博客 413

Docker安装 Qdrant:构建向量数据库

本文介绍了使用Docker快速部署Qdrant向量数据库的方法。Qdrant是一款基于Rust的高性能开源向量数据库,适用于语义搜索和AI应用。通过Docker Compose配置,可实现一键启动、数据持久化和API密钥保护,文中提供了详细的yml配置文件示例和操作命令。同时说明了API调用方式、数据存储位置及升级方法,帮助用户快速搭建安全的向量检索服务环境。

技术需要沉淀,需要碰撞。 3114

向量数据库选型与实战 —— Milvus、Qdrant、Chroma 深度对比与最佳实践

当你的 RAG 系统需要处理百万级以上向量时,单机版的向量检索就不够用了。你需要一个真正的向量数据库。。本文从架构、性能、功能、运维四个维度深度对比。快速原型:Chroma(pip install 一秒上手)生产单机:Qdrant(高性能、极简运维、混合检索原生支持)生产分布式:Milvus(功能最全、扩展性最强)核心关注点:标量过滤性能 > 检索精度 > 写入速度 > 部署复杂度大部分团队从 Qdrant 开始。它用 Rust 实现,单机性能碾压,运维几乎零成本,需要扩展时也支持分布式。

天风的博客 351

CentOS服务器基于Docker Compose部署Dify AI平台完整指南

容器化技术通过将应用及其依赖打包成标准化的镜像,实现了环境隔离与一致性,解决了传统部署中“在我机器上能跑”的经典难题。其核心原理是利用操作系统级虚拟化,通过Docker引擎创建轻量级、可移植的容器单元。Docker Compose作为容器编排工具,通过声明式配置文件定义多容器应用的服务关系、网络与存储,实现一键式部署与管理。这种技术组合在AI应用开发领域价值显著,能够快速搭建包含数据库、向量数据库和缓存等复杂依赖的AI平台,大幅降低环境配置与运维复杂度。特别是在CentOS这类稳定生产环境中,基于Docke

weixin_33690367的博客 382

Docker 安装 Qdrant 向量数据库

Qdrant 提供了官方 Docker 镜像,使得安装和运行变得非常简单。

学亮编程手记 2587

本地AI工作流实战:Docker+n8n+Qdrant+Ollama一键部署

本地AI工作流是指在私有环境(如笔记本或内网服务器)中构建端到端的AI自动化系统,其核心原理是通过容器化编排实现模型推理、向量检索与业务逻辑的松耦合集成。技术价值在于兼顾数据隐私、低延迟响应与工程可维护性,尤其适用于金融、医疗等强合规场景及需高频处理PDF/邮件/Notion等非结构化数据的内容运营场景。相比云API调用,本地方案规避了数据出域风险,并支持离线运行;而Docker保障环境一致性,n8n提供可视化流程编排能力,Qdrant实现毫秒级中文语义检索,Ollama则显著降低7B级大模型的本地部署门槛

weixin_30402231的博客 299

超简单!Qdrant云原生部署:从Docker到Kubernetes的无缝迁移指南

你是否正在寻找一种简单可靠的方式来部署Qdrant向量数据库?无论是单机测试还是大规模生产环境,本文将带你一步步实现从Docker到Kubernetes的完整部署流程,包含高可用配置、性能优化和最佳实践。读完本文,你将能够: - 使用Docker快速启动Qdrant单节点和集群 - 配置持久化存储确保数据安全 - 在Kubernetes环境中部署生产级Qdrant集群 - 实现自动扩缩容和故障转移...

gitblog_00201的博客 1512

Simulink中通过MEX与MinGW实现C/C++结构体变量的高效导入

本文详细介绍了在Simulink中通过MEX工具链与MinGW编译器,高效导入C/C++结构体变量的完整流程。文章从需求背景出发,逐步讲解了MinGW环境配置、.h文件编写规范、核心导入命令Simulink.importExternalCTypes的使用,以及如何在MATLAB Function模块和总线创建器中调用自定义结构体,旨在实现模型与代码的无缝对齐,为后续仿真和代码生成奠定坚实基础。

weixin_29056781的博客 345

FT601Q芯片深度解析:从USB3.0引脚定义到FPGA FIFO协议实战选型

本文深入解析FT601Q芯片在USB3.0接口设计与FPGA协议栈开发中的应用,详细介绍了USB3.0引脚定义、FT601Q芯片架构、245同步FIFO模式及硬件设计要点,帮助工程师实现高速数据传输系统。

weixin_30607659的博客 448

Linux如何安装运行Qdrant?

configs下的配置项取值/示例说明content配置文件的具体内容:设置 Qdrant 的日志级别为INFO(可选值:DEBUG/INFO/WARN/ERROR 等),该内容会被写入容器内的文件。

zhanyd的博客 298

STM32H743必要外围电路分析

写在前面:这篇博客是我第一次绘制STM32最小系统板的过程记录。 2020-1-11 BOOT STM32采用ARM内核,和ARM处理器一样,都有专门的boot脚决定单片机从何处启动。 在官方数据手册的第105页,我们可以看到 系统复位后,在SYSTICK的第四个上升沿锁存BOOT引脚的值,复位后,BOOT引脚可以由用户自由配置而不会影响系统正常运行。 BOOT引脚决定了自举存储器地址,当BO...

Cui_Hongwei的博客 1万+

告别配置地狱:用Docker Compose一键拉起你的本地AI代码助手(Ollama + Qdrant + Kilo Code)

本文介绍如何利用Docker Compose快速搭建本地AI代码助手环境,整合Ollama、Qdrant和Kilo Code三大组件,实现一键部署和高效开发。通过容器化技术解决配置繁琐、环境不一致等问题,提升开发者效率,特别适合需要快速搭建AI辅助开发环境的场景。

weixin_27442001的博客 207

SAP BAPI调用避坑指南:处理MD61/MD62计划独立需求时,这些参数和返回值你必须检查

本文详细解析了SAP BAPI调用中处理MD61/MD62计划独立需求的关键参数和返回值检查要点,包括版本控制、日期类型和删除标记等核心参数设置,以及常见错误排查和高级调试技巧,帮助开发者高效管理需求计划数据。

weixin_30316097的博客 613

ArcGIS AddIn开发之:属性刷兼属性修改工具

1、arcmap中选中一个要素,点击读取要素,把属性读取到datagridview中。4、重新在arcmap中选择其他要素,可以单选多选,选中之后,点击“粘贴”按钮,先遍历要素,再遍历字典,把所有字段值,存到要素中。3、点击“复制”按钮,把需要复制的字段的 ID 和 字段内容,存到字典中。一般在arcmap修改要素属性的流程是:开启编辑,选择图层,找到要素,修改,保存,关闭编辑。但是用这个插件,只需要:选择要素,读取属性,修改内容,回车。添加了一个属性修改功能。人无我有,人有我优,做插件,就是要卷起来。

坐听风雨 2167

WrenAI 容器化部署实用指南:Docker Compose 起步、生产加固与避坑手册

WrenAI 是一款面向数据库 RAG 的开源生成式 BI(GenBI)引擎:它把自然语言问题转换成受治理的 Text-to-SQL,可接入 PostgreSQL、Snowflake、ClickHouse 等 22+ 数据源。容器化部署真正的痛点是六个容器的启动顺序和共享数据卷。这篇文章带你从三步首启走到生产级清单。先给两个官方默认值做底:默认 compose 只对外暴露 3000 一个端口,其余

gitblog_00089的博客 222

泛微ecology9二次开发-附件上传-安全实践

本文深入探讨了泛微ecology9二次开发中附件上传功能的安全实践。针对原生接口的安全机制,文章提出了同源部署与服务端代理转发两大核心策略,并提供了基于Vue3和Element Plus的完整前端实现代码,重点解决了会话验证、权限控制及文件关联等关键安全问题,确保二次开发应用能安全、稳定地与ecology9系统集成。

qsc9012345的博客 536

AutoMem安装教程:Docker Compose三分钟跑通本地AI长期记忆服务(含FalkorDB与Qdrant配置)

AutoMem 是一个为 AI 助手提供长期记忆的开源服务,采用「图数据库 FalkorDB + 向量库 Qdrant」双存储架构,让 AI 跨会话记住你的决策、偏好和上下文。本教程带你在 3 分钟内用 Docker Compose 完整跑通本地 AutoMem 服务,并讲清 FalkorDB 与 Qdrant 的关键配置。 ## 一、AutoMem 是什么?为什么值得关注 🧠 普通的 AI

gitblog_00303的博客 150

Redhawk: dynamic ir drop分析(Clock Buffer Clustering)

在dynamic分析中,ir drop问题多出现在三种情况下,缺power mesh,缺power switch,clock cell过于密集。 前两种情况通过选中具体instance查看min res path都比较容易分析出来,而且大部分问题都出现在channel里,这里不多做赘述。 clock cell过于密集这是观察结果,缺少报告支持,这里分享一下分析方法。 首先,选中压降超过signoff标准的instance,(Results->List of Worst Instance DVD中

m0_61544122的博客 5279

基于RK3588与昇腾310B的异构K8s集群部署与NPU统一调度实战

本文介绍了基于RK3588与昇腾310B的异构K8s集群部署方案,通过HAMi+Volcano实现NPU统一调度。方案包含硬件配置、操作系统准备(银河麒麟/欧拉)、容器运行时部署及K8s集群搭建等关键步骤,支持多厂商NPU设备的统一抽象和精细化切分,为边缘AI计算提供高效资源管理能力。

huanghm88的专栏 281

Qdrant E2E 测试指南:TLS 证书再生成与存储数据兼容性维护

本文面向 Qdrant 仓库贡献者与自建 CI 的维护者,系统讲解 `tests/e2e_tests/` 端到端测试中两类“需要手工维护外部依赖”的任务:一是本地根 CA / 服务端 / 客户端 mTLS 证书的重新签发;二是为存储后向兼容性测试重新生成参考存储目录与快照并发布到 GCP bucket。读完本文,你既能按步骤复现两类再生成流程,也能理解其背后的 Docker 集群编排、OpenSS

gitblog_01005的博客 486

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

Qdrant生产环境部署方法(Docker)

本文介绍了使用Docker部署Qdrant向量数据库的方法。首先通过docker pull命令拉取官方镜像,然后在Windows或Linux系统下创建数据目录并运行容器,映射6333/6334端口并挂载存储卷。启动后可通过docker ps检查容器状态,并访问localhost:6333/dashboard进入Web管理界面。文档提供了Windows和Linux两种系统的启动命令示例,均采用后台运行模式并配置了自动重启策略。

什么都干的派森 586

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

从零搭建企业级 RAG 知识库系统:FastAPI + Vue 3 + Qdrant + Docker Compose

本文介绍了一个基于FastAPI+Vue 3+Qdrant+Docker Compose构建的企业级RAG知识库系统。该系统解决了企业内部文档分散难检索的问题,实现了PDF上传、文本处理、向量化检索、权限控制等功能,并确保大模型回答严格基于检索结果且可追溯来源。项目采用前后端分离架构,包含JWT鉴权、权限管理、Redis缓存等核心功能,支持Docker Compose一键部署。文章详细展示了系统功能、技术选型、架构设计和本地运行指南,并提供了GitHub源码链接。该系统可作为企业知识管理的MVP,未来可扩展

2301_80432843的博客 395

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

【AI时代必备】超详细Qdrant向量数据库入门实战:Docker部署 + Node.js接入 + 核心概念解析

本文介绍了如何快速上手开源向量数据库Qdrant,包含Docker部署和Node.js接入的完整流程。首先通过docker-compose配置Qdrant服务,设置API密钥和数据持久化。然后使用Node.js SDK演示了创建集合、插入向量数据和执行相似度搜索的操作步骤。文章还解释了Qdrant的核心概念,包括数据结构、检索索引和分布式架构设计。Qdrant凭借其高性能和轻量级特性,适用于RAG、语义搜索等AI应用场景。

qq_43074195的博客 1224

从Docker Compose到生产环境:复杂应用部署全流程实战指南

在现代软件工程中,容器化技术已成为应用部署的核心范式。Docker通过提供轻量级、一致性的运行环境,解决了开发与生产环境差异的经典难题,其核心原理是基于操作系统级虚拟化实现资源隔离与打包。这项技术的工程价值在于极大提升了应用的可移植性、部署效率和资源利用率。从微服务架构到AI工作流平台,容器化部署广泛应用于需要快速迭代、弹性伸缩的复杂系统场景。本文以典型的**Docker Compose**部署为蓝本,深入拆解包含**微服务**、数据库、消息队列等组件的复杂应用从环境准备、配置管理到服务编排的全流程,涵盖网

weixin_30621711的博客 461
上一篇: Docker Compose 运行 Qdrant 的详细步骤
下一篇: NVIDIA 驱动和 NVML 库版本不匹配的问题解
卢小林老师
博客等级 码龄10年 803粉丝 66原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值