实现效果:
背景:在本地使用比网页端能保护数据安全;调用api 反应更快,网页端时常服务器繁忙
实现功能:在本地使用大模型,类似网页端的交互方式
前面尝试:尝试用ollma 下载大模型后用docker 制作chatbot,但是docker下载后弹出公司的警告不允许运行,所以问deepseek如何轻量部署
步骤1:下载ollama
下载地址Ollama
步骤2:在终端运行ollama并下载大模型
在电脑开始栏输入“命令”,选择“命令提示符”,在命令终端运行以下代码
|
如果返回 ollama is running 则说明运行成功
继续在终端运行以下命令下载大模型,r1:7b 版本大概需要下载1.5-2个小时,在这期间可以先进行步骤3
|
步骤3:创建一个简单的Web界面
可以使用本地的vscode 创建python 文件和html文件,我使用的是jupyter