3分钟无脑部署,本地大模型,并可以让自己的模型分享给别人

小白无脑,3分钟部署

1.安装ollama

到官网下载ollama选择对应版本

一、windows

下载安装包
https://ollama.com/download![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/fa59c0c4e34f49ec8e6cb382913c41e5.png)

在这里插入图片描述

下载完成之后,拉去一个大模型llama3.2
ollama run llama3.2
当然也可以拉去其他的模型

![外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传](https://img-home.csdnimg.cn/images/20230724024159.png?origin_url=C%3A%5CUsers%5CSouny%5CAppData%5CRoaming%5CTypora%5Ctypora-user-images%5Cimage-20241112214203065.png&pos_id=img-Jq9EmLFQ-1731507589703

里面有多种模型,且都是开源

在这里插入图片描述

这里我选择llama3.2,可以选择模型参数量,这里我选择的默认,默认是3B

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

直接运行左边代码在命令行
ollama run llama3.2

2.安装docker

都不用管docker是什么,记住我不会坑你就对了
官网安装Docker Desktop
https://www.docker.com/

#### 一般都下载amd![外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传](https://img-home.csdnimg.cn/images/20230724024159.png?origin_url=C%3A%5CUsers%5CSouny%5CAppData%5CRoaming%5CTypora%5Ctypora-user-images%5Cimage-20241112215248500.png&pos_id=img-CQMjsmSz-
1731507589704)

下载完之后验证docker

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

下载好之后直接在命令行输入,在docker上拉去一个openwebui
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

3.安装ngrok(内网穿透)

1.cmd命令框输入安装ngrok

choco install ngrok

2.如果失败了说明没有安装choco

手动安装chocolatey
@"%SystemRoot%\System32\WindowsPowerShell\v1.0\powershell.exe" -NoProfile -InputFormat None -ExecutionPolicy Bypass -Command "iex ((New-Object System.Net.WebClient).DownloadString('https://chocolatey.org/install.ps1'))" && SET "PATH=%PATH%;%ALLUSERSPROFILE%\chocolatey\bin"

3.验证choco安装成功

choco -v choco -v
再次安装ngrok

4.进行内网穿透

先注册一个账号
然后获取他的token,输入进去

ngrok config add-authtoken YOUR_AUTHTOKEN
ngrok http http://3000
生成的网址就可以访问了,但是要是一直保持运行

点赞,超过100下期咱们讲一下服务器部署

`bsah
ngrok http http://3000


#### 生成的网址就可以访问了,但是要是一直保持运行

# 点赞,超过100下期咱们讲一下服务器部署

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值