手把手家教你进行ChatGPT私有化部署

基于Docker如何快速部署自己的ChatGPT 基于docker快速部署chatgpt-web 阅读详情

背景

随着AI技术的不断成熟,加上ChatGPT如火如荼的发布新版本迭代更新,人工智能的热度也升温到史无前例的高度。 我们有理由相信,现在身边还不愿主动去接触这项技术,深入了解的小伙伴,在不久的将来,一定会被时代淘汰,至少幸存下来的成本会比我们低很多。 言归正传,前段时间注册了ChatGPT的账号后,也尝试部署了Telegram版本的ChatGPT聊天功能,颇为成功,当时用的还是OpenAI的API。 最近想着既然ChatGPT发布了自己的API,民间会不会有些新的动作? 果不其然,网上已经有大神完成了私有的版本,这使得部署在本地,训练属于自己的AI成为可能!

部署

本地化部署起来并不难,有些网络和Linux基础的童鞋会更加容易些。

准备一个满足要求的Linux系统环境

我这里用的是以下环境:CentOS Linux release 7.9.2009 (Core) 这里假定读者都是没有安装OS的门槛的,同时也有自己可用的代理套件,就不再赘述。

进行部署

  1. 使用git将工程文件clone下来,进入到目录后,复制一份配置文件出来
git clone https://github.com/869413421/chatgpt-web.git
cd chatgpt-web/
cp config.dev.json config.json

  1. 编辑配置文件config.json 粘贴入以下信息,这里的api_key需要替换成你自己的。 port和proxy都是可以自行定义的。显然在国内不定义proxy基本上是没法用的。
{
  "api_key": "sk-tnsMqcfmpyz6kExx5EuR88TbkFJ8OUzsCPyH2oIci",
  "port": 9999,
  "listen": "",
  "bot_desc": "Kiss me more.",
  "proxy": "http://10.11.100.44:1080",
  "model": "gpt-3.5-turbo-0301",
  "max_tokens": 512,
  "temperature": 0.9,
  "top_p": 1,
  "frequency_penalty": 0.0,
  "presence_penalty": 0.6,
  "auth_user": "",
  "auth_password": ""
}

  1. 安装go编译语言工具 由于该项目使用go语言编写,所以需要有相应的语言工具来执行程序。
yum install go
go mod download github.com/alecthomas/kong
go get github.com/869413421/chatgpt-web/bootstarp
go get github.com/869413421/chatgpt-web/app/http/controllers

  1. 执行以下命令即可启动服务 go run main.go 首次执行后,命令会卡10秒左右,然后看到这样的输出画面

6F01D6B9-5CE9-4877-A267-9887E1761F5B.png 启动后,就可以在本地浏览器里通过URL进行访问。 我这里Server的IP为10.21.100.94,那么网址就是http://10.11.100.19:9999

6637220B-EC6F-4CE9-A391-7969293C9F38.png 成功访问后,在后台是可以看到反馈的

B85575FF-AC81-4FAC-AAB6-1195AA997202.png

设置为系统服务

每次都用那个命令启动服务,会比较繁琐。 我们一般都习惯于使用systemctl start/stop service_name来开启和停止服务。

这里可以将执行语句定义为一个Service。 新建服务。 touch /lib/systemd/system/chat.service 然后编辑: vi /lib/systemd/system/chat.service

[Unit]
Description=ChatGPT Test

[Service]
User=root
Group=root
Type=simple
Restart=always
RestartSec=20
StartLimitInterval=0
Nice=10
WorkingDirectory=/root/downloads/chatgpt-web/
ExecStart=/usr/lib/golang/bin/go "run" "/root/downloads/chatgpt-web/main.go"
StandardOutput=null
TimeoutStartSec=30

[Install]
RequiredBy=multi-user.target

注意:这里的WorkingDirectory和ExecStart是我自己的目录,你需要修改为你存放项目文件的目录。

这里的几个参数可以解释下:

Restart=always 进程挂了就重启 RestartSec=20 20秒检查一次 StartLimitInterval=0 无限次重启,忽略失败次数

最后重启守护进程,并且重启服务,并设置为自启动。 systemctl daemon-reload

systemctl restart chat

systemctl enable chat 查看状态可以看到已经Active,成功启动。当然也可以用netstat来验证下端口。 systemctl status chat

3CDEECC1-FF3F-495D-99F6-ED0C53163C21.png

Troubleshooting

当然在配置过程中,因为种种环境因素等原因,大家配置未必都会一样顺利。 这里列举一些常见的问题,希望对大家有所帮助。

  • 执行命令go run main.go后,网页依然打不开

这时可以先在Server上执行该命令查看服务对应的端口是否正常监听着:netstat -tnlp | grep 9999 如果没有结果,那就是服务压根没启动成功。如果有,则往下阅读

在访问网页的系统里用以下命令测试:telnet 10.21.100.94 9999 如果有反馈结果,则说明没问题,如果显示任何错误提示,例如connection refused或timeout之类等等,说明访问不到服务器。

一般可能的原因是防火墙挡住了。你可以粗暴地直接关闭防火墙来验证 systemctl stop iptables

systemctl stop firewalld 上面的两条必有一条生效。 验证后,可以通过以下命令添加防火墙策略并保存。

iptables -I INPUT 6 -p tcp --dport 9999 -j ACCEPT

iptables-save > /etc/sysconfig/iptables 注意,不同的OS版本,保存配置的命令会有所不同。

  • 在前端网页访问时,输入对话提示超时错误 错误语句为:请求出错,Post “ api.openai.com/v1/chat/com… “: dial tcp 185.45.6.57:443: connect: connection refused

这里的IP显然是ChatGPT的Server IP

4EA4DBDB-204A-48EC-BDA1-702F1F6DDBF1.png

原因是我们没有设置Proxy。这里需要设置为你自己的代理的IP。 设置格式语法如下: "proxy": "http://10.21.100.46:1080", "proxy": "socks5://127.0.0.1:10808"

​

如何学习AI大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

ChatGPT一键私有部署,全网可用,让访问、问答不再受限,且安全稳定! ChatGPT由于在访问上有一些限制,使用并不便利。目前国内可以直接访问的大部分是调用API返回结果,我们去使用时总会有次数限制,而且它们可能随便崩掉。其实,目前我们访问过的大部分国内的网页包括UI,其实是套用了GitHub上的一些开源项目。所以本文旨在帮助你实现ChatGPT私有部署,全网可用,让访问、问答不再受限,且安全稳定。今天我们分享的是来自GitHub的一个有关ChatGPT私有部署的开源项目。它的UI界面十分精美,而且近期也更新了不少实用功能。 阅读详情

相关推荐

ChatGPT协议级工程拆解:从API请求到响应生成的全链路技术透视

ChatGPT作为当前最主流的大模型API服务,其本质是一个高度工程化的分布式推理系统。理解其工作原理,需超越Transformer架构与训练范式,深入HTTP协议层、token生命周期管理、KV缓存机制及响应组装逻辑等底层技术细节。其中,API网关的动态配额预估、模型版本灰度路由、安全过滤静默截断,以及推理阶段的padding对齐、KV Cache淘汰策略、动态top-p采样和语义化响应包装,共同构成了影响稳定性、一致性与性能的关键技术栈。这些机制直接决定提示工程效果、私有化部署吞吐量及RAG系统准确率。

403

Chatgpt私有化部署(全流程)

当下使用chatgpt来帮助完成工作已然成为主流,但想访问必须先面对地区的封锁,所以使用openai官方提供的API来部署至本地服务器从而更加便利的使用chatgpt。本文章主要介绍如何部署私有聊天机器人。

TttRark的博客 1万+

大模型面试指南:从Transformer原理到RAG架构与工程部署实战

Transformer架构作为现代大语言模型的核心,通过自注意力机制解决了长序列建模与并行训练的难题,奠定了模型高效理解与生成文本的基础。其技术价值在于将强大的语义表示能力赋能于各类下游任务。在实际工程应用中,为了将大模型的通用知识与特定领域需求精准结合,检索增强生成(RAG)架构成为关键解决方案。RAG通过外部知识检索与模型生成相结合,有效提升了专业领域问答的准确性与可控性,是构建企业级AI应用如智能客服、知识库问答的核心范式。在部署落地时,需综合考量模型量化、推理优化与高并发服务化等工程实践,确保系统的

weixin_33692284的博客 432

四步搭建自己的专属 ChatGPT(附开源代码)

在未来,ChatGPT将成为人工智能应用领域的支柱,推动人机交互、智能客服和在线教育等领域的发展。如果你对ChatGPT和人工智能有浓厚的兴趣,推荐你阅读一些相关的资料和课程,以便更好地了解和应用ChatGPT。第一步,获取ChatGPT小程序的源代码。我们为每个人提供了免费开放的源代码,你可以根据自己的需求进行二次修改和创作。希望你能加入我们的开发者交流群,一起探索人工智能和小程序的结合。将请求的服务器地址修改为你自己的地址,这样你就可以完全掌控ChatGPT的运行。

向来缘浅,奈何情深 7461

从Transformer到Scaling Law:重新认识大语言模型的核心原理与工程实践

Transformer架构作为现代大语言模型的核心引擎,通过自注意力机制解决了传统RNN/LSTM的长距离依赖问题,实现了高效的并行计算。其工程化实现催生了稀疏注意力、线性注意力等高效变体,支撑了千亿参数模型的构建。Scaling Law揭示了模型性能与规模、数据、算力间的幂律关系,驱动了模型能力的指数级增长,并引发了涌现能力、对齐挑战等关键议题。理解这些基础概念与原理,是掌握大模型预训练、微调、推理优化及RAG、智能体等应用范式的关键,有助于开发者在实际工程中更好地进行模型选型、优化与部署。

weixin_30514745的博客 443

十分钟教你部署一个属于自己的chatgpt网站

前一段时间写了一篇前端如何实现类似chatgpt的对话页面!上了热榜,阅读量还不错,后来我干脆写了后端,将其做成了一个网站!本篇博客就教你如何十分钟部署一个属于自己的chatgpt网站,十分简单,适合小白!

阿牛的博客 5万+

ChatGPT-4 Turbo工程落地指南:从API调用到业务闭环

大语言模型(LLM)已从科研原型迈入企业级工程应用阶段。其核心价值不在于参数规模或通用智能,而在于推理稳定性、上下文处理能力与工具链集成效率。ChatGPT-4 Turbo通过128K长上下文支持、双通道知识更新机制及结构化助手API,显著降低AI嵌入现有业务系统的门槛。它使合同审查、竞品分析、客服应答等高信息密度任务,从需博士团队调参的定制开发,转变为产品经理可快速上线的功能模块。尤其在法律、金融、教育等强合规领域,其作为‘交叉索引员’和‘流程增强器’的技术定位,远比‘全能AI’更具落地价值。本文聚焦真实

Envisage123 505

硬件-汽车电子-TBOX/TCAM核心器件选型与系统集成设计指南

本文深入解析汽车电子TBOX/TCAM硬件架构与系统集成设计,涵盖核心器件选型、电源管理、信号完整性优化等关键点。重点分享5G模组选型避坑经验、MCU隐性指标及热设计验证方案,为车载通信系统开发提供实用指南。

weixin_30352645的博客 531

AI大模型实战指南:从原理到本地部署与应用开发

Transformer架构和注意力机制是当前大语言模型的核心基础,它们通过并行处理全局上下文信息,实现了高效的文本理解和生成能力。这一技术突破使得模型能够进行复杂的逻辑推理和知识整合,为自然语言处理领域带来了革命性进展。在工程实践中,开发者可以通过预训练与微调相结合的方式,让通用基座模型快速适配特定领域任务,极大降低了AI应用开发门槛。基于开源生态,利用Ollama等工具进行本地私有化部署,结合RAG检索增强生成技术,能够构建安全、可控的企业级知识库助手,有效解决数据隐私和定制化需求。

weixin_34379433的博客 372

Open3D:Win10 + VS2017配置Open3D(C++、python)

一、下载源码 地址:https://github.com/intel-isl/Open3D 1.1 克隆源码【笔者的源码路径为D:\Open3D\Open3D】 1.2 切换版本【笔者的版本为0.8.0】 1.3 更新子模块【用于获取第三方库!很重要!】 二、CMake编译 2.1 设置路径 【source code: D:\Open3D\Open3D;build binaries: D:\Open3D】 【笔者设置CMAKE/CMAKE_INSTALL_PREFIX的路径为D:/Open.

累了就要打游戏 1万+

【嵌入式原理系列-第七篇】ld脚本实战:从零构建MCU内存布局

本文是一篇针对嵌入式开发者的实战指南,详细讲解了如何从零开始为MCU编写ld链接器脚本以构建自定义内存布局。文章以STM32F103C8T6为例,深入剖析了MEMORY和SECTIONS指令的用法,并提供了OTA分区、非易失数据存储等高级定制案例,帮助开发者解决实际工程中的Flash与RAM管理难题,实现对程序运行的深度掌控。

weixin_29271263的博客 250

WorkPlus AI助理正式上线!为企业打造定制化的AI私有助理

通过知识库可以精准匹配问题答案,快速回答客户问题,企业还可以不断优化和更新知识库内容,填补知识空白、改进服务不足的领域,给出更加准确、人性化的回复。企业可以上传私有文档,包括市场分析、贸易条款、货物存放资料等信息,通过自然语言搜索和分析功能,让员工快速了解市场动态、产品需求和货物情况,提供决策支持和贸易推演。支持打造个人专属“数字分身”,智能问答(答疑解惑)、私人家教(辅导作业、知识检索、错题纠正)、文案高手(大纲、论文、小说、脚本撰写)、代码开发(写代码,查BUG)、情感助手(陪聊、倾诉、解忧).

weixin_53855915的博客 561

RRAM/ Near Memory Computing (NMC) Survey - Reading Notes 0707

Reading Notes of Resistive Random Access Memory – Day 2 Chapter 3 RRAM Characterization and Modeling Overview of RRAM Physical Mechanism A general picture for the filamentary switching mechanism. Forming: 对本征RRAM样本,加电压VformingV_{forming}Vforming​,中间氧化层的O

Blog of Lucky H6 993

基于Python与本地RAG技术构建私有化AI学习助手

检索增强生成(RAG)技术通过结合信息检索与文本生成,有效解决了大语言模型在处理特定、最新或私有知识时的局限性。其核心原理是先从知识库中精准检索相关上下文,再基于此生成答案,从而提升回答的准确性与可信度。这项技术对于构建专业领域的智能助手具有重要价值,尤其在教育、企业知识管理等需要处理专有文档的场景中。本文聚焦于一个具体的应用实践:利用Python、SQLite和BM25算法,实现一个完全本地化、无需联网的RAG系统,并在此基础上创新性地集成了学习进度分析功能,打造了一个私密、可控的个性化AI家教。

weixin_30336061的博客 662

WSL2下用QEMU模拟ARM开发板:从编译uboot到调试全流程(附常见错误解决)

本文详细介绍了在WSL2环境下使用QEMU模拟ARM开发板的完整流程,包括uboot编译、内核调试等关键步骤。通过QEMU模拟vexpress-a9开发板,开发者可以高效搭建嵌入式开发环境,解决常见错误并提升开发效率。

solidity8miner的博客 289

PayPal支付集成完全指南:开源库实践

本文介绍了如何从零开始集成PayPal支付功能。首先概述了PayPal提供的多语言SDK和开源库,包括PHP、Python、Node.js等版本。然后详细说明了准备工作,包括注册开发者账号、获取API凭证和使用沙盒环境测试。文章以Node.js为例,演示了安装SDK、基础配置和实现支付流程的完整代码,包括创建订单和捕获支付两个核心功能。最后提及了订阅支付等高级功能,为开发者提供了完整的支付集成方案。通过清晰的代码示例和步骤说明,帮助开发者快速实现PayPal支付功能集成。

2501_93501927的博客 1261

2024年AI大模型实战路线图:从零基础到应用开发

Transformer架构作为现代大模型的基石,通过自注意力机制实现了对上下文信息的深度理解。其核心原理在于预训练与微调的结合,预训练让模型在海量数据中学习通用模式,而微调则使其适应特定任务,这一过程显著提升了模型的泛化能力和专业性能。在工程实践中,参数高效微调技术如LoRA,以及检索增强生成技术,成为降低部署成本、扩展模型知识边界的关键手段。这些技术使得大模型能够高效处理私有领域数据,并集成到实际工作流中,广泛应用于智能问答、内容生成、数据分析等场景。本文基于当前行业热点,系统梳理了从环境搭建、原理理解到

weixin_33698823的博客 538

YOLOv8安防监控实战:跌倒/闯入/徘徊实时检测(附TensorRT加速+声光报警部署代码)

精准性:针对跌倒/闯入/徘徊的行为特征优化,准确率达89.3%,误报率低于5次/天;实时性:TensorRT加速到50+FPS,报警延迟<1秒,满足安防“黄金响应时间”;低成本:无需专用AI芯片,RTX 3060或Jetson Orin就能跑,硬件成本比传统方案低60%;易部署:代码全开源,提供从模型训练到硬件联动的完整流程,2天即可搭起原型系统。如果你的安防监控还在“漏报误报”“响应慢”,建议先从跌倒检测的姿态过滤改起——用100张样本测试,再集成TensorRT加速,90%能看到明显改善。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 681

AI大模型应用落地全景:从技术概念到工程实践

人工智能大模型作为当前技术演进的核心,其本质是基于海量数据训练、具备强大理解与生成能力的深度神经网络。其工作原理是通过Transformer等架构,实现对文本、代码乃至多模态信息的深度语义理解与生成。这一技术价值在于将通用智能能力转化为生产力工具,通过自然语言交互降低使用门槛,实现效率的指数级提升。在应用场景上,大模型正从内容创作、企业服务等泛化领域,深入到金融、医疗、工业等专业场景,通过RAG(检索增强生成)、模型微调等工程化方案解决行业特定问题。本文聚焦于大模型如何从技术概念走向规模化落地,探讨其在各行

weixin_34319817的博客 442

Qwen2-VL出现RuntimeError: CUDA error: too many resources requested for launch CUDA kernel errors的解决方案

本文主要介绍了Qwen2-VL出现RuntimeError: CUDA error: too many resources requested for launch CUDA kernel errors的解决方案,希望能对使用Qwen2-VL的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案

weixin_43178406的博客 13万+

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

一篇文章教你使用Docker本地化部署Chatgpt(非api,速度非常快!!!)及裸连GPT的方式(告别镜像GPT)

第一种方法:使用Docker本地化部署 第二种方法:不部署项目,直接连接

立志做一个高产且细节博主 3万+

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

【不需要网络不需要显卡】本地部署GPT

GPT4All是一个开源的本地运行的GPT模型,它不需要网络,只借助硬件来实现,而且对硬件要求不高,就算你的电脑没有显卡也可以使用CPU运行。网址如下,官网提供三种系统的客户端把官网拉到最下面会发现有很多已经训练好的模型。这里的每个模型都有介绍和硬件要求(运行内存大小),这里我比较推荐mistral模型和wizardlm模型,mistral模型比较通用,wizardlm模型可以输出很长的内容并且由北京大学参与训练,所以对中文支持更好!

weixin_42907150的博客 5332

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

ChatGLM 本地部署搭建及测试运行

​ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于General Language Model (GLM)架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。 ChatGLM-6B 使用了和 ChatGPT 相似的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

郎图腾 9万+

私有化部署ChatGPT:潜力与挑战

在2023年初的AI大爆发时期,ChatGPT的广泛应用极大地降低了人们使用AI的门槛。AI的民主化浪潮正在全球范围内兴起,使得普通人与经验丰富的专业人员在知识上的差距被大大缩小。在这场浪潮中,微软投资的OpenAI占据了先机,而其他国内外厂商也在紧随其后,你追我赶,频繁发布重量级AI产品。这个时刻被许多人形象地称为AI的"iPhone时刻",有人甚至认为,此轮技术更新带来的影响将超越当年Windows的发布。

python12345678_的博客 1791

【Docker教程(二)】Docker安装和chatgpt私有化部署

Docker 是一款开源的容器化引擎,允许开发者将应用程序及其依赖项打包到一个可移植的容器中,然后在任何 Linux、Windows 或 macOS 等操作系统上运行。2013 年,Docker 的前身 dotCloud 开始开发 Docker。2013 年 3 月,Docker 首次公开发布。2014 年,Docker 开源,并加入了 Docker Hub,这是一个存储和分享 Docker 镜像的中心仓库。2015 年,Docker 发布了第一个稳定版 Docker 1.0。

qq_45659165的博客 8038

ChatGPT开源模型本地部署保姆级教程:从安装到使用一步到位

ChatGPT开源模型本地部署保姆级教程:从安装到使用一步到位

qq_46094651的博客 1万+
上一篇: 大模型分布式训练的第四种境界
下一篇: 教你如何使用 ollama 部署本地模型,保姆及教程,一看就会!
爱喝白开水a
博客等级 码龄3年 6793粉丝 763原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值