本地安装llama-3大模型，无需联网即可跟AI大模型聊天

最新推荐文章于 2025-02-25 20:06:32 发布

Python_金钱豹

最新推荐文章于 2025-02-25 20:06:32 发布

阅读量922

点赞数 25

文章标签： llama 人工智能深度学习 transformer AI大模型

本文链接：https://blog.youkuaiyun.com/Python_cocola/article/details/139360950

版权

Llama 3 模型简介

Llama 3是Meta AI开源的第三代Llama系列模型，其新的 8B 和 70B 参数 Llama 3 模型在Llama 2的基础上，实现了更大性能的提升。由于预训练和训练后的技术改进，其Llama 3模型是当今 8B 和 70B 参数规模的最佳模型。Llama 3模型的改进大大降低了错误拒绝率，改善了一致性，并增加了模型响应的多样性。Llama 3模型在推理、代码生成和指令跟踪等功能也得到了极大的改善。而未来更大的4000亿参数大模型还在继续训练中。其Llama 3大模型可以直接在Meta AI官网直接使用，且支持无需注册登陆即可使用，简直是开箱即用。

Llama 3

虽然Llama 3是可以在Meta AI官网使用，但是很多小伙伴无法上官网使用，因此本地安装Llama 3模型也许是一个不错的选择。

ollama的安装

ollama软件

ollama是一个开源的第三方大语言模型使用插件，下载ollama后，可以很方便的使用Llama3，Phi-3等大语言开源模型。首先到ollama的官网，或者GitHub链接下载ollama进行安装，其ollama支持window版本，Mac版本，以及Linux版本，根据自己的电脑操作系统下载对应的安装包即可。

ollama最新支持的大模型

ollama安装完成后，并没有一个可视化的界面，其服务运行在后台，可以直接在cmd终端窗口中输入ollama run llama3来加载其llama-3模型。首次运行时，ollama会自动检测电脑上是否下载了llama-3模型，若没有相关模型，会自动下载。

ollama run llama3: 运行8B参数的模型，其模型约4.7G  
ollama run llama3:70b 运行70B的模型，其模型约40G

这里小编下载了4.7G的模型，然后在终端里面输入ollama run llama3即可。然后就可以跟llama-3模型愉快的聊天了。

运行ollama

测试了一下，其速度还是很快的（16G M2），其对中文理解的能力也是可以的。

中文对话

Lobe Chat的安装

由于ollama只是一个后台服务，并没有一个可视化的界面，虽然可以在终端窗口中使用，但是有一个漂亮的UI界面会增加体验效果，前期我们也介绍过Lobe Chat的安装，可以在本地安装lobe chat界面

lobe chat

Lobe Chat 是一个开源聊天机器人平台，旨在让开发者轻松构建和部署自定义聊天机器人。Lobe Chat安装完成后，可以使用Lobe Chat来使用AI语言大模型，当然，Lobe Chat不仅支持llama系列模型，还支持一系列其他的大语言模型，可以设置每个模型的API接口以及下载本地模型来使用。

稍微给模型一点难度的问题，其反应速度就明显下降了，这里跟自己的电脑配置有很大的关系，毕竟大模型运行在本地，且还是8B的模型，若是70B的模型，可想而知需要很大的内存以及显卡配置，由于自己的电脑只有16G，并没有本地体验70B的模型，这个可以自行尝试。

llama3

相比lobe chat 的UI界面，小编还是喜欢直接在CMD终端窗口中使用，且lobe chat总感觉有字数限制。且在终端中，其代码格式也是有缩进的，跟UI界面输出的效果一致，并不会影响使用。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述