在Windows端安装ollama运行大模型

在Windows端安装ollama运行大模型

现在的LLM

在人工智能领域,部署和使用大语言模型(LLMs)已成为一种常见需求。Ollama 是一种工具,旨在简化在本地环境中安装和管理大语言模型的过程。如果你是一名软件工程师,并希望在 Windows 平台上安装和运行大语言模型,本文将提供详细的步骤指南,帮助你顺利完成这一任务。

什么是 Ollama?

Ollama 是一个工具和平台,旨在帮助用户轻松安装、配置和运行大语言模型。它提供了一种简便的方法来管理模型的下载、安装和环境配置,从而让用户能够专注于实际的应用开发和使用。

安装教程

1.下载ollama

在windows端ollama的下载十分的简单,首先打开ollama的官网点击Download按钮

 选择Windows端  Download for Windows (Preview)

2.安装ollama

 双击运行OllamaSetup.exe。点击install

等待安装完成

安装完成后,关闭窗口

在windows菜单旁边的搜索栏上搜索

cmd或命令提示符

打开后输入

ollama -v

如果输出的是

ollama version is x.x.x

说明你安装成功了!

3.使用ollama

浏览器打开ollama的模型仓库

https://ollama.com/library

随便选择一个模型作为你的LLM,注意要与你的电脑性能所匹配

可以参考这篇文章:Llama大模型运行的消费级硬件要求【CPU|GPU|RAM|SSD】_llama3 硬件要求-优快云博客

这里以Gemma2的2b为例

点击复制按钮

返回cmd窗口,左键点击窗口粘贴或是用Ctrl+v粘贴

我这里的代码是

ollama run gemma2:2b

输入后等待拉取完毕

注:如果出现

Error: pull model manifest

说明拉取失败了,检查你的防火墙和网络,或者再试一次,有时候服务器网络不太好

在拉取时的最后一段速度可能会特别慢,这个是正常现象,耐心等待好了

当最后显示

>>> Send a messgae (/? for help)

时恭喜你模型以及运行好了

注意

最后,如果你的模型回答生成非常慢,你应该考虑升级电脑配置,或换成更加轻量的模型

有时窗口字体会卡住或是乱码,这时大概率是窗口没有刷新导致的,选中窗口按几下backspace就行了。

当你关机后想重新找到模型可以在cmd窗口输入

ollama list

就可以找到你想要的模型

ollama run + 你的模型名

可以运行指定模型

剩下的操作自己看

1. 启动Ollama服务

ollama serve
2. 从模型文件创建模型

ollama create
3. 显示模型信息

ollama show
4. 运行模型

ollama run 模型名称
5. 从注册表中拉去模型

ollama pull 模型名称
6. 将模型推送到注册表

ollama push
7. 列出模型

ollama list
8. 复制模型

ollama cp
9. 删除模型

ollama rm 模型名称
10. 获取有关Ollama任何命令的帮助信息

ollama help

### 解决Pull Model Manifest时遇到的500错误 当尝试拉取模型清单时如果遇到了`i/o timeout`超时错误[^1],这通常意味着客户无法成功连接到服务器来获取所需的资源。对于这种类型的网络问题,有几种可能的原因以及相应的解决方案。 #### 检查网络连接状况 确认本地计算机与目标服务器之间的网络路径畅通无阻非常重要。可以使用命令行工具如ping或traceroute测试到达`registry.ollama.ai`主机的连通性和延迟情况。高延迟或者丢包现象都可能导致请求超时失败。 #### 验证DNS解析配置 确保能够正确地将域名转换成IP地址也是解决问题的关键一步。可以通过修改系统的hosts文件临时指向已知良好的DNS服务提供商来进行排查;另外也可以考虑更换为更稳定的公共DNS服务器比如Google DNS(8.8.8.8) 或 Cloudflare DNS (1.1.1.1)。 #### 调整防火墙设置 有时候企业级安全策略会阻止对外部特定口和服务发起访问请求,在此情况下应当审查并调整个人电脑上的防火墙规则允许HTTPS流量通过443口正常通信。同时也要留意是否有其他软件层面的安全防护措施干扰到了正常的互联网浏览行为。 #### 尝试不同的镜像源 考虑到官方仓库可能出现暂时性的维护作业或者其他不可抗力因素影响可用性,不妨寻找社区内提供的备用下载链接作为替代方案继续完成操作流程。不过需要注意的是第三方站点可能存在一定的风险隐患,请谨慎评估后再做决定。 ```bash # 使用curl命令查看具体返回的状态码和响应头信息以便进一步分析原因所在 $ curl -I https://registry.ollama.ai/v2/library/llama3.3/manifests/70b ``` 虽然上述提到的情况主要针对的是一个具体的超时错误而不是确切意义上的HTTP 500内部服务器错误,但是这些方法同样适用于处理由各种不同根源引发的服务异常反馈。值得注意的是,如果是由于远程API接口本身存在问题所引起的,则建议联系对应的技术支持团队寻求帮助。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值