本地运行大模型+知识库:这款 59.4K Star 开源工具到底强在哪?

LangChain入门指南 LangChain是一个强大的框架,旨在帮助开发人员使用语言模型构建端到端的应用程序。它提供了一套工具、组件和接口,可简化创建由大型语言模型 (LLM) 和聊天模型提供支持的应用程序的过程。LangChain 可以轻松管理与语言模型的交互,将多个组件链接在一起,并集成额外的资源,例如 API 和数据库。官方文档:https://python.langchain.com/en/latest/ 阅读详情

超强利器 RAGFlow 来了!这款开源神器将彻底颠覆你的信息检索体验,让工作效率飞升到全新高度!

🤖 什么是 RAGFlow?

RAGFlow 是一款基于深度文档理解构建的开源 RAG(Retrieval-Augmented Generation)引擎,专注深度文档理解与智能信息提取。它如同你的专属"数据助手",能从各种复杂格式文档(Word、PDF、表格、图片等)中:

  • • ⚡️ 高效提取精准信息
  • • 🔍 自动提供内容引用依据
  • • 🛡️ 大幅减少AI的幻觉问题

RAGFlow 可以为各种规模的企业及个人提供一套精简的 RAG 工作流程,结合大语言模型(LLM)针对用户各类不同的复杂格式数据提供可靠的问答以及有理有据的引用。


🌟 开源成就惊人!

  • • ⭐ Star数爆表:已斩获 59.4K+ GitHub Stars!
  • • 💻 开发语言:主力Python(50.3%) + TypeScript(47.3%)

🔥 五大核心功能解析

1️⃣ 深度文档理解

支持 Word/Excel/PDF/图片等全格式文档解析,复杂表格、txt 文件、图片、影印件、复印件、结构化数据、网页也能完美处理!

2️⃣ 答案溯源能力

为每个生成结果自动标注精确内容来源,拒绝AI"胡说八道"!

3️⃣ 多模态处理

创新支持文字+图片+表格联合分析,实现跨模态知识抽取!

4️⃣ 工作流模板化

预制多种任务模板,支持自定义流程设计:

功能模块优势
智能分块自动划分文档段落
语义索引毫秒级精准定位
检索优化支持混合检索策略

5️⃣ 灵活模型对接

无缝接入 DeepSeek / GPT / OpenAI 等主流大模型,无需重复搭建!


🔎 系统架构

在这里插入图片描述

🛠️ 三步极速部署

环境准备

# 硬件要求
CPU ≥ 4核 | 内存 ≥ 16GB | 磁盘 ≥ 50GB

# 软件要求
Docker >= 24.0.0 
Docker Compose >= v2.26.1
sudo sysctl -w vm.max_map_count=262144

一键启动

# 克隆仓库
git clone https://github.com/infiniflow/ragflow.git
cd ragflow/docker

# CPU版启动
docker compose -f docker-compose.yml up -d

# GPU加速版 (推荐!)
docker compose -f docker-compose-gpu.yml up -d

出现以下界面提示说明服务器启动成功:

     ____   ___    ______ ______ __
    / __ \ /   |  / ____// ____// /____  _      __
   / /_/ // /| | / / __ / /_   / // __ \| | /| / /
  / _, _// ___ |/ /_/ // __/  / // /_/ /| |/ |/ /
 /_/ |_|/_/  |_|\____//_/    /_/ \____/ |__/|__/

 * Running on all addresses (0.0.0.0)

访问使用

浏览器打开 http://服务器IP地址,即刻开启高效办公时代👇

在这里插入图片描述

🚀 为什么说它"绝了"?

    1. 精准处理信息:告别模糊检索
    1. 无缝对接业务:预置企业级集成接口
    1. 完全开源可控:Apache协议自由定制
    1. 多源数据支持:本地文件/云端/互联网全域覆盖

如果你是:

  • • 📚 需要处理大量文档的从业者
  • • 💼 企业知识库管理员
  • • 🧠 数据科学家/AI工程师

这款工具将为你节省日均3小时以上的信息处理时间!

普通人如何抓住AI大模型的风口?

领取方式在文末

为什么要学习大模型?

目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 , 大模型作为其中的重要组成部分 , 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力, 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ,为各行各业带来了革命性的改变和机遇 。

目前,开源人工智能大模型已应用于医疗、政务、法律、汽车、娱乐、金融、互联网、教育、制造业、企业服务等多个场景,其中,应用于金融、企业服务、制造业和法律领域的大模型在本次调研中占比超过 30%。
在这里插入图片描述

随着AI大模型技术的迅速发展,相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业:
在这里插入图片描述

人工智能大潮已来,不加入就可能被淘汰。如果你是技术人,尤其是互联网从业者,现在就开始学习AI大模型技术,真的是给你的人生一个重要建议!

最后

只要你真心想学习AI大模型技术,这份精心整理的学习资料我愿意无偿分享给你,但是想学技术去乱搞的人别来找我!

在当前这个人工智能高速发展的时代,AI大模型正在深刻改变各行各业。我国对高水平AI人才的需求也日益增长,真正懂技术、能落地的人才依旧紧缺。我也希望通过这份资料,能够帮助更多有志于AI领域的朋友入门并深入学习。

真诚无偿分享!!!
vx扫描下方二维码即可
加上后会一个个给大家发

在这里插入图片描述

大模型全套学习资料展示

自我们与MoPaaS魔泊云合作以来,我们不断打磨课程体系与技术内容,在细节上精益求精,同时在技术层面也新增了许多前沿且实用的内容,力求为大家带来更系统、更实战、更落地的大模型学习体验。

图片

希望这份系统、实用的大模型学习路径,能够帮助你从零入门,进阶到实战,真正掌握AI时代的核心技能!

01 教学内容

图片

  • 从零到精通完整闭环:【基础理论 →RAG开发 → Agent设计 → 模型微调与私有化部署调→热门技术】5大模块,内容比传统教材更贴近企业实战!

  • 大量真实项目案例: 带你亲自上手搞数据清洗、模型调优这些硬核操作,把课本知识变成真本事‌!

02适学人群

应届毕业生‌: 无工作经验但想要系统学习AI大模型技术,期待通过实战项目掌握核心技术。

零基础转型‌: 非技术背景但关注AI应用场景,计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能突破瓶颈: 传统开发者(Java/前端等)学习Transformer架构与LangChain框架,向AI全栈工程师转型‌。

image.png

vx扫描下方二维码即可
在这里插入图片描述

本教程比较珍贵,仅限大家自行学习,不要传播!更严禁商用!

03 入门到进阶学习路线图

大模型学习路线图,整体分为5个大的阶段:
图片

04 视频和书籍PDF合集

图片

从0到掌握主流大模型技术视频教程(涵盖模型训练、微调、RAG、LangChain、Agent开发等实战方向)

图片

新手必备的大模型学习PDF书单来了!全是硬核知识,帮你少走弯路(不吹牛,真有用)
图片

05 行业报告+白皮书合集

收集70+报告与白皮书,了解行业最新动态!
图片

06 90+份面试题/经验

AI大模型岗位面试经验总结(谁学技术不是为了赚$呢,找个好的岗位很重要)图片
在这里插入图片描述

07 deepseek部署包+技巧大全

在这里插入图片描述

由于篇幅有限

只展示部分资料

并且还在持续更新中…

真诚无偿分享!!!
vx扫描下方二维码即可
加上后会一个个给大家发

在这里插入图片描述

大模型之LangChain介绍 LangChain 就是一个 LLM 编程框架,你想开发一个基于 LLM 应用,需要什么组件它都有,直接使用就行;甚至针对常规的应用流程,它利用链(LangChain中Chain的由来)这个概念已经内置标准化方案了。下面我们从新兴的大语言模型(LLM)技术栈的角度来看看为何它的理念这么受欢迎。其官方的定义。 阅读详情

相关推荐

本地部署代码大模型:绕过GPT-5.4迷思,用DeepSeek-Coder+llama.cpp+Continue.dev构建VS Code真生产力流

代码大模型并非单纯调用API的黑盒,而是需深度嵌入开发工作流的智能增强系统。其核心原理在于上下文感知、编辑意图识别与项目知识注入三者协同——这正是GitHub Codex遗产的现代延续。当前技术价值已从‘能生成’跃迁至‘懂工程语境’,尤其在金融、医疗、工业等强合规场景中,全本地、零API依赖、可审计可控的部署方案成为刚需。典型应用场景包括Python爬虫调试、C++内存泄漏分析、TypeScript组件重构等真实开发卡点。本文聚焦Windows/macOS/Linux三端统一落地路径,以DeepSeek-C

weixin_34269583的博客 305

什么是LangChain?从零开始入门 LangChain

LangChain 作为一个新兴的开源 LLM 开发框架,它的设计理念和一些实现方法都有值得我们借鉴的地方。当然一个开源项目必然有自己的优点的同时也会存在不少的缺点。我们在实际使用的时候,应该按照自己的需求和实际情况去选择,切记,不要简单的因为网上的评论而做出选择。毕竟,好不好用,只有你自己才清楚。

2401_85375151的博客 3万+

Mem Reduct:基于Native API的Windows内存精准回收工具

内存管理是操作系统核心机制之一,其本质是物理页的分配、跟踪与回收。传统方案依赖用户态API(如PowerShell或WMI),响应延迟高、精度粗、易受系统策略干扰;而Native API(如NtQuerySystemInformation、NtFreeVirtualMemory)可绕过高层抽象,直接与内核交互,实现毫秒级、单页级的内存状态感知与无损回收。这种底层控制能力赋予了工具真正的‘内存审计’价值——不清理活跃数据,只唤醒沉睡资源。典型应用场景包括多任务卡顿优化、低配设备效能提升、开发/运维环境内存稳定

weixin_34315485的博客 398

从零开始入门 LangChain

本篇文章中将和大家讲述什么是 LangChain ,以及 LangChain 解决了现在大模型发展的哪些问题,然后会讲解LangChain 中基础的概念和组件。

2301_81940605的博客 1万+

2026年AI面试助手应用与实战指南

随着技术面试的智能化演进,AI面试助手正成为开发者提升竞争力的关键工具。这类工具基于LLM(大语言模型)技术,通过实时分析问题、生成结构化提示来辅助面试过程。其核心技术价值体现在多模态反馈机制,包括语音分析、代码OCR识别和微表情检测等工程化应用。在算法题、系统设计和行为面试等场景中,AI助手能显著提升解题速度和回答质量。当前主流工具如CodeCoach和InterviewGenius已实现300-500ms的响应延迟,支持震动触觉反馈等隐私保护模式。合理配置硬件设备(如Shure麦克风、Logitech摄

weixin_33831673的博客 369

Phi-4-14B:合成数据驱动的高效推理模型实战解析

大语言模型性能跃迁正从‘堆参数’转向‘炼数据’——合成数据已成为提升小尺寸模型(如14B级别)推理能力的核心引擎。其原理在于通过结构化生成、多智能体辩论、形式化验证等手段,构建高多样性、强准确性、具链式思维的训练样本,从而在有限算力下实现对数学、代码、专业领域等硬任务的精准建模。这种‘数据即架构’范式显著降低幻觉率、增强逻辑鲁棒性,并天然适配本地部署与垂直领域微调。本文聚焦Phi-4-14B这一工业级标杆,深入拆解其合成数据设计铁律、三阶段训练闭环及可复现的量化部署路径,为工程师提供面向真实场景的轻量高能A

weixin_30595035的博客 437

Github 59.4K star,这款开源工具把笔记、白板、数据库全整合了,真的可以替代 Notion!

AFFiNE是一款开源知识管理平台,融合文档、白板和数据库功能于一体。采用块式内容系统和无限画布设计,支持本地优先存储与实时协作,提供类Notion的数据库管理。与Notion/Miro相比,AFFiNE更注重用户数据主权和灵活编辑方式,可作为个人知识库、思维导图工具及项目管理平台。其开源特性允许自托管和二次开发,为知识工作者提供了更自由、更可控的数字创作空间。

l3212094351的博客 1670

AI工程实践简报:如何用5条高信噪比信息驱动技术决策

生成式AI资讯过载已成为工程师日常痛点,真正有效的AI简报不是知识搬运,而是面向落地的决策支持系统。它需基于可验证的代码实测、明确的业务场景映射与清晰的时效边界,将碎片信息转化为可执行的技术路径。核心价值在于降低‘要不要跟进’的决策成本——例如LoRA微调内存优化37%、Claude 3.5 Sonnet JSON稳定性提升至96.6%,这些指标只有嵌入具体硬件(如A10G)、框架版本(transformers 4.42)和调用约束(max_tokens≤2048)中才具备工程意义。典型应用场景包括SaaS

love android 467

狂揽 12.4k Star!两行命令,让 Claude Code / Codex / Cursor 永不断线。

更重要的是:你可以自由创建"组合(Combo)",给组合起个名字,在工具里直接调用这个名字作为模型 ID。9Router 做的事情,本质上是把分散的 AI 资源统一调度——让你的工具不再因为单一提供商的限额而卡壳,同时在每一次请求上默默节省 Token。这个功能名字有点奇怪,原理却极为直接:向模型注入一段简洁风格的系统提示,让 LLM 回答更精炼、更技术化,去掉一切废话。配置降级组合,把每月配额用尽后自动切到 GLM($0.6/百万 Token),续费前不中断,订阅价值最大化。

m0_74837192的博客 770

一文彻底搞懂什么是LangChain?

LangChain赋予了开发人员将LLM与其他计算和知识来源相结合以构建应用程序的能力。使用LangChain,开发人员可以使用一个抽象LLM应用程序的核心构建块的框架。探索LangChain的能力并尝试其各个组件,会发现可能性几乎无限。LangChain框架提供了一种灵活和模块化的语言生成方法,允许创建根据用户特定需要量身定制的定制解决方案。

女王の专属领地 2万+

【ROS】usb_cam相机标定

1. 唠叨两句 当我们要用相机做测量用途时,就需要做相机标定了,不然得到的计算结果会有很大误差,标定的内容包括三部分:内参,外参还有畸变参数。所以标定的过程就是要求得上面这些参数。 以前弄这个事估计挺麻烦,需要做实验和计算才能得到,现在通过ros的开源包几分钟就能完成相机标定,感激! 具体的内外参和畸变系数的说明,可以看看Reference里面的第一个链接,写得很详细。 2. 准备工作 要准备三样东西: usb_cam的ROS启动包 相机标定的ROS包 还有一个用于标定的棋盘格 1)usb_cam启动包

Will_Ye的博客 8214

Github中java语言中收获最多star的前十个项目

1. CyC2018/CS-Notes star: 59.3k 介绍: 技术面试必备基础知识、Leetcode 题解、后端面试、Java 面试、春招、秋招、操作系统、计算机网络、系统设计 :链接 概览: 2. elastic/elasticsearch star: 40.7k 介绍: 开源,分布式,RESTful搜索引擎 链接 概览: 3. ReactiveX/RxJava star: 38...

芒果不是程序猿v: 的博客 403

Qwen2.5-Omni实战:5分钟搞定多模态AI模型本地部署(含Thinker-Talker架构解析)

本文详细介绍了Qwen2.5-Omni多模态AI模型的本地部署流程,包括硬件配置、环境准备和实战应用开发。特别解析了其创新的Thinker-Talker架构,该架构通过TMRoPE位置编码实现跨模态同步处理,大幅提升多模态任务效率。5分钟即可完成部署,适合开发者快速实现文本、图像和音频的联合处理。

weixin_29085865的博客 172

Github中star数前十的项目

1. CyC2018/CS-Notes star: 59.3k 介绍: 技术面试必备基础知识、Leetcode 题解、后端面试、Java 面试、春招、秋招、操作系统、计算机网络、系统设计 :https://cyc2018.github.io/CS-Notes/#/ 概览: 2. elastic/elasticsearch star: 40.7k 介绍: 开源,分布式,RESTful搜索引擎 https://www.elastic...

xuanwo007的博客 879

02-Cesium-实现天地图标记

首先天地图申请token,然后Cesium-实现天地图标记详细说明

m0_62785037的博客 1171

Spring AI 实战(11):收官!10 道面试高频题 + 一张脑图带走全系列

本文是Spring AI系列的收官篇,通过知识脑图梳理前10篇内容,提供面试高频题和避坑清单。主要内容包括: 知识脑图:分6层(核心抽象、输入增强、输出控制等)总结Spring AI全栈技术。 10道高频面试题:涵盖ChatClient/ChatModel关系、结构化输出、RAG链路等核心知识点。 避坑清单:列出9条常见问题及解决方案,如向量维度匹配、Advisor顺序等。 技术对比:分析Spring AI、LangChain4j和Spring AI Alibaba的差异与适用场景。 使用建议:提供面试复习

不才不才不不才的博客 297

GitHub 免费 API 开源项目精选:合集清单与可直接调用的服务(持续更新)

本文精选GitHub上优质的免费API开源项目,分为三类:1)API合集清单(如public-apis、free-api等),提供1400+接口索引;2)可直接调用的开源API服务(如json-placeholder、dog-api等),支持REST假数据、宠物图片等场景;3)国内友好项目(如FreeApi)。文章给出调用示例(Python/cURL),并提示注意频率限制、鉴权要求和合规风险。这些项目适合快速验证想法和搭建Demo,建议生产环境做好容错处理。

system_error_x的博客 338

某招标公告网和vcaptcha验证码识别逆向

本文分析了某验证码系统的加密流程及破解思路。首先通过反混淆技术定位到加密函数,拆解了包含指纹函数、环境参数等组成的加密字符串。研究发现验证码生成涉及canvas指纹、环境检测等反爬机制,可通过模拟浏览器环境绕过。验证过程需要解密图片顺序,通过work2.js计算还原图片位置,再结合滑动轨迹、时间等参数生成验证请求。文章仅提供技术研究思路,强调需遵守法律法规,严禁非法破解信息系统。完整流程包括环境模拟、加密参数还原、图片处理和轨迹生成等步骤,成功率较高。

码王吴彦祖的博客 584

python京东抢购 github_两天狂揽 4k+ Star,抢茅台 Python 脚本霸榜 GitHub

原标题:两天狂揽 4k+ Star,抢茅台 Python 脚本霸榜 GitHub声明:本文已获得 开源前哨 授权某东抢茅台脚本在 GitHub 连续霸榜30 日,前哨君在刷 GitHub 的时候,看到热榜上有一个项目 jd_seckill ,是在某东上抢茅台的 Python 脚本。这个脚本主要功能为:“自动登录某东 -> 定时自动预约茅台 -> 定时开始自动抢购。目前仅支持在某电商平台...

weixin_39535217的博客 4155

Android系统开发面试指南:系统Launcher岗位解析

本文针对上海礼聪Android系统开发岗位(侧重系统Launcher、充电/电池/USB底层开发)提供面试指南。内容涵盖应用开发(启动流程优化)、系统底层(充电状态机、USBOTG)、编程能力(线程安全LRU实现)、问题排查(ANR分析)及沟通协作等核心考点。通过5类典型问题及技术深度解析,帮助候选人系统准备,重点考察Framework源码理解、系统调试能力和工程思维。建议结合PowerManagerService等模块源码和systrace工具进行实践准备,同时注重技术表达与协作能力的展现。

郑伟强dev的专栏 936

OpenClaw实战系列10(完结篇):企业级应用实战案例——从0到1搭建智能客服系统

本文以一家跨境电商公司为例,从需求分析、系统设计、分步搭建到上线运营,完整呈现智能客服系统的落地全过程。所有配置命令和截图均来自实测环境,你可以直接复制使用。

PeterPan的博客 1307

51c大模型~合集111

OpenAI 的某发言人表示:「为了提高清晰度和安全性,我们增加了一个额外的后处理步骤,其中模型会审查原始的思维链,删除任何不安全的内容,然后简化某些复杂的思维。可以看到,虽然 ChatGPT 确实完成了任务并展示了总结版的思维链,但似乎并未如 OpenAI 发言人说的那样给出与提示词语言同样语言的总结版。北大-灵初联合实验室表示,Align-DS-V的多模态强推理能力是VLA模型大脑端的核心,接下来的研究训练计划,是利用多模态推理模型的跨模态穿透能力,实现action穿透,最终实现真正高效的VLA模型。

whaosoft~aiotの开发板商城 2320

DevExpress中使用BandGridView实现复合(多行)表头、设置多行表头背景颜色、表格边框颜色

一、实现效果 二、 实现方法 2.1、创建复合表头 ①将创建的GridControl下的GirdView1转化为BandGridView类型; ②创建需要展示的列(指定列的名称【Name】、描述【caption】、数据字段名称【FieldName】) ③绑定列实现复合表头。 注意:如果复合表头有多行,则需要设置新增Band的Row Count,然后设置【Band properties下的AutoFillDown=false】 详细操作如下: 注意:如果要隐藏表格的设计字段内容,则需.

提供C#相关开发 、云计算、运维测试、网络安全相关技术分享与服务,有意向可联系。 2896

51c大模型~合集110

为了解决这一问题,在稠密化过程中,我们对容易引起退化和梯度集中的具有极端延展率的高斯面片进行了筛选,并对其增殖过程进行了限制,从而在不牺牲性能的情况下有效稳定了训练过程,保障了优化过程的顺利进行。大规模场景的重建往往还意味着显著的训练开销,要重建 1.97 平方千米的区域会产生接近两千万的高斯点,这意味着 4.6G 的存储以及 31.5G 的显存开销,以及超过三小时的训练时长。站在 AI 研究者的角度,得到了《苦涩的教训》,意味着在总结教训的过程中明确了什么是「更好」的。第二类则瞄准了相对复杂的问题。

whaosoft~aiotの开发板商城 2604

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

OpenClaw相关项目:Awesome系列、PicoClaw、ClawWork、ClawX、MetaClaw、OpenClawInstaller、Clawra、MicroClaw、OneClaw

OpenClaw相关项目:awesome-openclaw-skills、awesome-openclaw-usecases、PicoClaw、ClawWork、ClawX、MetaClaw、OpenClawInstaller、Clawra、MicroClaw、OneClaw

lonelymanontheway的博客 2034

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

近两周GitHub多智能体框架新星榜

近两周(2026年5月底–6月中旬)GitHub star 增长较快的多智能体(Multi-Agent)框架开源项目。:OSSInsight Trending(28天增量)、GitHub Trending 月榜、各仓库 README/Star History。

qq_44670441的博客 406

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

上一篇: 零基础也能上手!Dify 详细教程:构建带知识库和工具的 AI 应用
下一篇: 基于 Spring AI 的 RAG 架构设计:如何实现高效的知识检索与生成?
不秃头de程序猿
博客等级 码龄5年 4091粉丝 1479原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值