在自己笔记本上部署Llama 3，定制自己的大模型应用

关注

原创最新推荐文章于 2026-09-03 14:39:03 发布 1.1k 阅读 AI 写同款· GEO 优化 ›

ThinkPad T14也能跑AI？手把手教你用CPU+32G内存部署Vicuna小羊驼模型（附避坑指南）本文详细介绍了如何在仅有集成显卡的ThinkPad T14商务本上，利用其32GB大内存和CPU，成功部署并运行Vicuna-13B（小羊驼）开源AI模型。文章提供了从硬件评估、软件环境搭建、模型选择到实战部署与优化的完整避坑指南，证明了无需高端显卡也能在本地获得接近ChatGPT 3.5水平的AI助手，为商务办公场景提供了隐私安全、离线可用的AI解决方案。阅读详情

当前的大模型是人工智能领域的突破性成果，它们通过海量数据训练，具备强大的学习和泛化能力。这些模型在语言理解、图像识别等多个领域展现出卓越的性能，极大地推动了人工智能技术的发展和应用。

Meta公司最近推出的大模型Llama 3是一个具有里程碑意义的开源大模型，包含80亿和700亿参数版本。它在多项任务上性能领先，使用超过15万亿token的训练数据集，具备先进的推理和代码能力。Llama 3还引入了安全工具，未来将推出更多版本，增强多模态和多语言对话能力。

Llama 3具有卓越的性能，最重要的是，Llama3大大降低了对算力硬件的要求，我们能够在自己的个人电脑上部署运行。通过Ollama的server接口，完全可以做一个自己的大模型定制应用。

下面就在自己的个人笔记本上下载部署一套llama3大模型，验证一下llama3大模型的能力。

（1）下载大模型管理Ollama

现在Ollama已经提供了Windows版本，要求Windows 10及以上版本。我得笔记本是华为Matebook D 14，i5处理器，16G内存。

Ollama下载地址：Download Ollama on Windows

在这里插入图片描述

下载Windows版本，下载完成后直接安装。现在的Ollama Windows安装版本有一缺点，不能选择安装目录，直接安装在系统的users目录下。

在这里插入图片描述

（2）运行Ollama下载llama3

运行命令：Ollama run llama3，直接下载llama3大模型，模型大约4.7G，需要耐心等待一段时间。

在这里插入图片描述

下载完成后，即进入与llama3大模型终端会话状态，你就可以对大模型进行提问。下面是让大模型帮着写一个java的爬虫程序。

在这里插入图片描述

Llama3大模型运行，对系统的资源占用还是比较高，要求笔记本的性能要号一点，否则估计是跑不动。

在这里插入图片描述

（3）定制自己的应用

Ollama提供了REST API与本地部署的大模型，如本例中的llama3，进行交互，使用命令 ollama serve 启动本地服务器，就可以通过API调用本地部署的大模型，然后在API基础上定制自己的大模型应用了。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述