LLM探索：环境搭建与模型本地部署

AI大模型_学习君 AI大模型_学习君 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 1.3k累计阅读 1.3k平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄3年
关注
原创 最新推荐文章于 2026-10-19 08:44:47 发布 1.3k 阅读 AI 写同款· GEO 优化 ›
本地部署Qwen2大模型之一：Ollama方式部署 字节跳动在2024年12 月 18 日举办了火山引擎 FORCE 原动力大会，会上发布了豆包视觉理解模型和豆包 3D 生成模型，引起了AI业界的一片骚动，吸引了无数AI创业者和终端用户的眼光，我也开始关注起了豆包，并尝试接入大模型，进而在本地部署Qwen2大模型。 阅读详情

前言

最近一直在炼丹（搞AIGC这块），突然发现业务代码都索然无味了…

上次发了篇AI画图的文章，ChatGPT虽然没法自己部署，但现在开源的LLM还是不少的，只要有一块差不多的显卡，要搞个LLM本地部署还是没问题的。

本文将介绍这以下两个国产开源LLM的本地部署

  • ChatGLM-6B
  • MOSS

本文先简单的把模型跑起来，后续将继续我近期在LLM方向的一些探索记录~

概念

开始之前，先来看看一些基础概念。

AIGC

引用以下 mbalib 的内容

AIGC（AI Generated Content） 即人工智能生成内容，又称“生成式AI”（Generative AI），被认为是继专业生产内容(PGC)、用户生产内容(UGC)之后的新型内容创作方式。

互联网内容生产方式经历了PGC——UGC——AIGC的过程。PGC（Professionally Generated Content）是专业生产内容，如Web1.0和广电行业中专业人员生产的文字和视频，其特点是专业、内容质量有保证。UGC（User Generated Content）是用户生产内容，伴随Web2.0概念而产生，特点是用户可以自由上传内容，内容丰富。**AIGC（AI Generated Content）**是由AI生成的内容，其特点是自动化生产、高效。随着自然语言生成技术NLG和AI模型的成熟，AIGC逐渐受到大家的关注，目前已经可以自动生成文字、图片、音频、视频，甚至3D模型和代码。

最近很多的ChatGPT、AI画图，就都属于这个领域。

LLM

引用以下 wikipedia 的内容

A large language model (LLM) is a language model consisting of a neural network with many parameters (typically billions of weights or more), trained on large quantities of unlabeled text using self-supervised learning or semi-supervised learning. LLMs emerged around 2018 and perform well at a wide variety of tasks. This has shifted the focus of natural language processing research away from the previous paradigm of training specialized supervised models for specific tasks.

中文也就是「大语言模型」，现在很火的ChatGPT就是这个LLM的代表，大模型有一个关键的属性：参数量，参数量的大小决定了大模型的能力（不能说是绝对的，但肯定是正相关）。

以下是常见LLM的参数量：

LLM名称参数量
ChatGPT 3.5175B
ChatGLM6B
MOSS16B
LLaMA7B/13B/33B/65B

篇幅关系只列举这几个，更多的可以看文后的参考资料。

搭建环境

硬件

首先要有一台搭载了NVIDIA显卡的Linux系统服务器/电脑。

显存需要达到8G及以上，不然跑不动~

系统推荐使用最新的Ubuntu(22.04)或者其衍生版，以下是我在测试过程中使用的两台服务器配置。

服务器1

  • CPU： Intel® Core™ i9-10940X CPU @ 3.30GHz
  • 内存：64G
  • 显卡：NVIDIA GeForce RTX 2080 Ti

服务器2

  • CPU：Intel® Xeon® Gold 5318Y CPU @ 2.10GHz x2
  • 内存：128G
  • 显卡： Tesla T4 x4

软件

说完了硬件，再看看软件。

驱动

首先，需要显卡驱动，Ubuntu系的发行版安装显卡驱动比喝水还容易，这就是为啥推荐炼丹用Ubuntu的理由。

PS：完全可以一键完成，不需要再去网上查什么复制了几百遍的博客然后下载一堆东西又是编译又是卸载nouveau啥的了~

Ubuntu桌面版可以直接用「软件更新」App一键安装显卡驱动。

Ubuntu服务器版本，使用 nvidia-detector 命令检测需要安装的驱动版本，示例：

$ nvidia-detector
nvidia-driver-530

使用 ubuntu-drivers list 获取可安装的驱动列表，示例：

$ ubuntu-drivers list
nvidia-driver-418-server, (kernel modules provided by nvidia-dkms-418-server)
nvidia-driver-530, (kernel modules provided by linux-modules-nvidia-530-generic-hwe-22.04)
nvidia-driver-450-server, (kernel modules provided by linux-modules-nvidia-450-server-generic-hwe-22.04)
nvidia-driver-515, (kernel modules provided by linux-modules-nvidia-515-generic-hwe-22.04)
nvidia-driver-470-server, (kernel modules provided by linux-modules-nvidia-470-server-generic-hwe-22.04)
nvidia-driver-525-server, (kernel modules provided by linux-modules-nvidia-525-server-generic-hwe-22.04)
nvidia-driver-515-server, (kernel modules provided by linux-modules-nvidia-515-server-generic-hwe-22.04)
nvidia-driver-510, (kernel modules provided by linux-modules-nvidia-510-generic-hwe-22.04)
nvidia-driver-525, (kernel modules provided by linux-modules-nvidia-525-generic-hwe-22.04)
nvidia-driver-470, (kernel modules provided by linux-modules-nvidia-470-generic-hwe-22.04)

然后使用 ubuntu-drivers install nvidia-driver-530 来安装驱动，示例：

$ ubuntu-drivers install nvidia-driver-530

All the available drivers are already installed.

就这么简单

PS：当然非要自己去NVIDIA官网下载也可以，具体可以看看参考资料。

Python

搞AI，Python是必备的，但我们不直接使用系统的Python环境，而是使用conda来管理。

推荐使用 miniconda3 比 anaconda 轻量。

按照官网说明按照 miniconda3 之后，只需要使用以下命令即可创建指定版本的python环境

conda create -n 环境名称 python=3.10

如果遇到网络环境问题，可以参考我之前这篇文章，配置一下国内镜像：配置pip国内镜像加快python第三方库安装速度~

ChatGLM-6B

介绍

这是清华和智谱公司搞的开源LLM，截止本文撰写时，其在国产开源LLM里面算是天花板的存在了~

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

硬件需求

量化等级最低 GPU 显存（推理）最低 GPU 显存（高效参数微调）
FP16（无量化）13 GB14 GB
INT88 GB9 GB
INT46 GB7 GB

本地部署

下载项目代码
git clone https://github.com/THUDM/ChatGLM-6B.git

PS：也可以使用我 fork 魔改的版本，主要做了以下修改：

  • 部署和模型微调默认开启多卡加速
  • 重写API接口，更直观

换成以下命令即可

git clone https://github.com/Deali-Axy/ChatGLM-6B.git
创建虚拟环境

建议使用 conda 管理

conda create -n chatglm python==3.8
安装依赖
cd ChatGLM-6B
conda activate chatglm
pip install -r requirements.txt
conda install cudatoolkit=11.7 -c nvidia

PS：没有安装 cudatoolkit 的话，会报 RuntimeError: Library cudart is not initialized 错误

但 issues 里也有人说可以通过使用CPU输出量化模型后直接调用的方式解决，暂未尝试。

issues 地址: github.com/THUDM/ChatG…

下载模型和启动

项目代码里有命令行和web界面两种demo，任意选一个运行，程序会自动从 huggingface 下载预训练模型。

PS: huggingface 的模型理论上是可以直接下载的，如果遇到网络问题，请自行使用代理或者从官方提供的某云盘下载模型。

# 命令行 demo
python cli_demo.py
# 使用 Gradio 实现的简单Web界面
python web_demo.py

Gradio 的默认端口是7860，可以通过在 launch() 方法里传入 server_port 参数自定义端口。

使用量化模型

如果显存没有13G以上，则无法运行FP16精度模型，只能运行量化后的模型，需要修改一下代码。

打开上述的 cli_demo.py 或 web_demo.py 代码

找到以下加载模型的代码，修改一下参数

model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()

将上面的代码修改为下面这样以使用量化模型

# 按需修改，目前只支持 4/8 bit 量化
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).quantize(4).half().cuda()
运行效果

image

多卡加速

如果显卡多，可以使用多卡运行以加速推理。

依然是打开上述的 cli_demo.py 或 web_demo.py 代码。

找到以下加载模型的代码

model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()

修改为

from utils import load_model_on_gpus
model = load_model_on_gpus("THUDM/chatglm-6b", num_gpus=4)

num_gpus 参数为要使用的显卡数量

我看了 load_model_on_gpus 这个方法的代码，它是通过 auto_configure_device_map 方法把 transformer分成30层，然后再分配到指定数量的显卡上，没法像 CUDA_VISIBLE_DEVICES 环境变量一样通过显卡编号来指定，只能按顺序来分配。

如果机器上同时要运行其他模型，可以考虑先运行这个ChatGLM，再运行其他的，或者重写 auto_configure_device_map 方法，让其可以灵活指定显卡。

授权

模型不可以直接商用，据说商用需要购买一年180w的许可证。

MOSS

介绍

这个是复旦开源的大模型，使用下来和ChatGLM最大的区别是推理速度特别慢

MOSS是一个支持中英双语和多种插件的开源对话语言模型，moss-moon系列模型具有160亿参数，在FP16精度下可在单张A100/A800或两张3090显卡运行，在INT4/8精度下可在单张3090显卡运行。MOSS基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。

硬件需求

量化等级加载模型完成一轮对话（估计值）达到最大对话长度2048
FP1631GB42GB81GB
Int816GB24GB46GB
Int47.8GB12GB26GB

本地部署

下载代码
git clone https://github.com/OpenLMLab/MOSS.git
创建虚拟环境

建议使用 conda 管理

conda create -n moss python==3.8
安装依赖
cd MOSS
conda activate moss
pip install -r requirements.txt
conda install cudatoolkit=11.7 -c nvidia
下载模型和启动

项目代码里有命令行和web界面两种demo，任意选一个运行，程序会自动从 huggingface 下载预训练模型。

# 命令行 demo
python moss_cli_demo.py
# 使用 Gradio 实现的简单Web界面
python moss_web_demo_gradio.py
修改默认模型和多卡加速

因为MOSS对显存的要求比较高，因此默认用的是4位量化的模型，这里我使用一台4块T4的服务器来部署，所以直接使用FP16模型。

修改 moss_web_demo_gradio.py，找到以下代码

parser.add_argument("--model_name", default="fnlp/moss-moon-003-sft-int4",
                    ...)

把 default 参数改为 fnlp/moss-moon-003-sft

然后再设置一下多卡加速，把GPU参数设置为四个显卡的编号

parser.add_argument("--gpu", default="0,1,2,3", type=str)

然后启动，就可以看到四张显卡都吃满了

image

使用下来最大的感受就是慢，往往要一两分钟才能生成一个回答。

我看了下GitHub issues，有很多人也提出了同样的问题。两张A100还需要10s起步，100s左右的生成时间，看来短时间内是无解了，只能等官方优化了~

详见：

授权

模型采用 GNU AFFERO GENERAL PUBLIC LICENSE 许可证，可以免费商用。

​

如何学习大模型

现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。

作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

在这里插入图片描述

二、AI大模型视频教程

在这里插入图片描述

三、AI大模型各大学习书籍

在这里插入图片描述

四、AI大模型各大场景实战案例

在这里插入图片描述

五、结束语

学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。

再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。

因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。

标签
#langchain #人工智能 #ai大模型 #大语言模型 #LLM
#本地部署大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
探索AI新纪元：主流大模型对比与本地部署实践分享 无论是云端强大的能力，还是本地部署的灵活性，大模型正以前所未有的方式赋能个人和企业。了解不同模型的特点，并根据自己的需求选择合适的部署方式，是我们玩转AI时代的必修课。希望我的分享能帮助大家对主流大模型和本地部署有一个初步的认识。AI的世界正在加速发展，保持好奇心，动手实践，我们都能成为这场变革的参与者！ 阅读详情

相关推荐

【AI】在本地 Docker 环境中搭建使用 Hugging Face 托管的 Llama 模型

在本地使用Docker部署LLM GGML模型是一种方便有效的使用自然语言处理的方式。将模型docker化使其易于在不同环境之间移动，并确保其能够一致运行。在浏览器中测试模型提供了用户友好的界面，让您可以快速评估其性能。 这样的设置使您对基础架构和数据有更多控制，并更容易部署先进的语言模型，适用于各种应用。这是在部署大型语言模型方面迈出的一大步。

欧阳天涵的专栏 4134

一些常见的LLM模型以及本地部署LLM的步骤

本文主要介绍目前可以在本地部署的LLM种类及其优缺点与部署步骤详解

2401_83912923的博客 2919

大语言模型之六- LLM之企业私有化部署架构

数据安全是每个公司不得不慎重对待的，为了提高生产力，降本增效又不得不接受新技术带来的工具，私有化部署对于公司还是非常有吸引力的。大语言模型这一工具结合公司的数据可以大大提高公司生产率。

shichaog的专栏 7349

ChatGLM2-6B本地部署，人人都可以用上LLM大语言模型！

GLM2是开源中英双语对话模型ChatGLM-6B的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，更强大的性能：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。

明生的博客 3512

在本地运行大型语言模型 (LLM) 的六种方法（2024 年 1 月）

这篇文章被称为“本地运行大型语言模型 (LLM) 的五种方法”，于 2024 年 1 月更新了有关vLLM的内容。虽然 vLLM 于 2023 年 6 月发布，但它最近获得了更多关注。因此，我想将其添加到此列表中。

gongdiwudu的专栏 1万+

langchain[2]：Langchain实战教学,国内大模型LLM选择以及主流大模型快速使用教程[GLM4/Qwen/Baichuan/Coze/Kimi]

langchain[2]：Langchain实战教学,国内大模型LLM选择以及主流大模型快速使用教程[GLM4/Qwen/Baichuan/Coze/Kimi]

丨汀、的博客 3192

本地LLM部署探索——Jan 初探秘

Jan 是一款值得探索的本地 LLM 部署工具，凭借离线安全、模型自由切换和强大扩展能力，为初学者和开发者提供了可靠的解决方案。未来的改进方向包括增强中文支持和优化硬件兼容性，进一步降低使用门槛。

qq_43819568的博客 1564

SDR实战（四）-AD9361使用手册（三）

本节定义了并行数据端口和串行外设接口（SPI），它们使得AD9361与基带处理器（BBP）之间能够传输数据和控制/状态信息。图63展示了这些接口，并提供了AD9361和BBP在宽带无线系统中使用方式的高级概述。数据接口以两种模式之一运行：兼容标准CMOS模式或兼容低压差分信号（LVDS）模式。每个接口都具有以下部分描述的独特特性。使用CMOS模式时：保持了单端-CMOS逻辑兼容性。可以使用一个或两个数据端口。使用两个端口可以提高数据吞吐量。

hutx0924的博客 6245

个人电脑本地部署LLM

普通电脑配置即可本地运行大模型。

神棍之路 2912

图像去雾常见数据集

上述数据集涵盖了室内、室外、真实和合成等多种场景，可以满足不同研究需求。在选择数据集时，建议根据具体任务的应用场景和目标选择合适的数据集，例如真实雾天图像适合模型的实际应用验证，而合成数据则适合模型的快速迭代和训练。希望本文能为从事图像去雾研究的朋友提供一些帮助！

m0_68604571的博客 6334

Anaconda详细安装及使用教程（带图文）

Anacond的介绍 Anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。因为包含了大量的科学包，Anaconda的下载文件比较大（约531 MB），如果只需要某些包，或者需要节省带宽或存储空间，也可以使用Miniconda这个较小的发行版（仅包含conda和Python）。 Conda是一个开源的包、环境管理器，可以用于...

代码帮 186万+

三步轻松上手：本地部署与运行大模型的详尽指南

在当前的技术环境下，大型语言模型（LLMs）已经成为人工智能领域的一个重要里程碑。这些模型能够在各种任务上展现出人类水平的性能，包括但不限于文本生成、语言理解和问题解答。随着开源项目的发展，个人开发者现在有机会在本地部署这些强大的模型，以探索和利用它们的潜力。本文将详细介绍如何使用Ollama，一个开源项目，在Mac上本地运行大型模型（Win同理）。通过遵循以下步骤，即使是配备了几年前硬件的电脑，也能够顺利完成部署和运行。①人工智能/大模型学习路线②AI产品经理入门指南③大模型方向必读书籍PDF版。

2401_84208172的博客 1135

告别谷歌！QGC地面站v4.0.x保姆级教程：用高德/天地图瓦片替换老旧地图源

本文提供QGroundControl（QGC）地面站v4.0.x的详细教程，指导用户如何用高德地图和天地图瓦片替换默认地图源，解决数据陈旧、访问不稳定等问题。教程涵盖环境配置、源码修改、地图集成及性能优化，帮助无人机开发者打造稳定高效的中文地图解决方案。

weixin_30836759的博客 503

本地部署Code Llama大模型结合Text generation Web UI远程运行LLM

本篇文章介绍如何在本地部署 Text generation Web UI 并搭建 Code Llama 大模型运行,并且搭建 Code Llama 大语言模型，结合 Cpolar 内网穿透实现公网可远程使用 Code Llama。Code Llama 是一个可以使用文本提示生成代码的大型语言模型 (LLM)。可以使当前开发人员的工作流程更快、更高效，并降低学习编码人员的进入门槛。Code Llama 有潜力用作生产力和教育工具，帮助程序员编写更强大、文档更齐全。

优快云站内信: https://i.youkuaiyun.com/#/msg/chat/qyj19920704 3万+

别再调PID了！用MATLAB/Simulink给四旋翼无人机搭个ADRC控制器（附完整仿真模型）

本文详细介绍了在MATLAB/Simulink环境中为四旋翼无人机搭建ADRC控制器的完整流程，包括核心原理、Simulink建模、参数调试技巧及与PID控制的性能对比。ADRC通过扩张状态观测器(ESO)有效提升无人机在复杂扰动下的控制性能，特别适合四旋翼无人机这类强耦合系统。文章还提供了完整的仿真模型和工程实践问题解决方案。

weixin_26808439的博客 382

AutoModelForCausalLM 加载失败：flash_attn 缺失的三种解决方案

本文针对使用AutoModelForCausalLM加载大语言模型时因缺失flash_attn依赖而报错的问题，提供了三种实用解决方案。最推荐通过修改模型配置文件或代码动态指定注意力实现为“eager”模式来绕过检查，也介绍了临时修改库源码的应急方法，并解释了flash_attn的作用及正确安装指南。

html8的博客 269

大模型本地部署：手把手带你在Mac本地部署运行AI大模型

文将详细介绍如何使用Ollama，一个开源项目，在Mac上本地运行大型模型（Win同理）。通过遵循以下步骤，即使是配备了几年前硬件的电脑，也能够顺利完成部署和运行。

2401_82469710的博客 3766

双向晶闸管交流调压基础知识及Multisim电路仿真

本文介绍了双向晶闸管交流调压电路的工作原理及应用。该电路由双向晶闸管、RC移相电路和双向触发二极管组成，通过调节电位器改变触发角实现电压调节。当电位器阻值减小时，触发角减小，输出电压升高；阻值增大时，触发角增大，输出电压降低。Multisim仿真展示了不同电位器档位下的波形特征：0%档位时全导通，50%档位时半导通，100%档位时基本关断。该电路结构简单、调节平滑，广泛应用于调光、调速等场合，但会产生谐波干扰。

XU157303764的博客 838

如何本地部署 BLOOM 模型

BLOOM 模型是一款基于 Transformer 的 decoder-only 语言模型，支持 46 种自然语言和 13 种编程语言，参数规模可达 176B。对于开发者来说，不仅可以用于科研探索，也能基于此进行二次开发或微调，部署到企业私有化环境中。本指南将以较小版本（如 BLOOM-560M 或 BLOOM-1B）为例，展示如何在本地完成模型加载和简单推理。依赖管理使用虚拟环境隔离项目依赖，确保 Python 库版本统一。模型版本选择根据本地硬件资源选择合适规模的 BLOOM 模型。

注重AI领域前沿发展 1519

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

LLM大语言模型（一）：ChatGLM3-6B本地部署

LLM大语言模型工程化，在本地搭建一套开源的LLM，方便后续的Agent等特性的研究。

hugo_lei的博客 6128

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

大模型本地部署：只需三步，手把手带你在Mac本地部署大模型（附教程）

本文将详细介绍如何使用Ollama，一个开源项目，在Mac上本地运行大型模型（Win同理）。通过遵循以下步骤，即使是配备了几年前硬件的电脑，也能够顺利完成部署和运行。

DEVELOPERAA的博客 1714

蓝牙模块HM-10手册

蓝牙模块HM-10手册，该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

温度PID控制PLC程序

温度PID稳定控制程序，适用于欧姆龙PLC，对其他PLC也具有很大参考价值
上一篇： 零基础零成本，手把手部署一个属于你的私有大模型。
下一篇： 国产AI程序员亮相！给需求就能自主写代码，分钟级完成应用开发，来自阿里云
点赞 15
评论 0
书签 书签 16
AI大模型_学习君
AI大模型_学习君
博客等级 码龄3年 6137粉丝 551原创
+ 关注
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值