适合小白的本地部署AI教程（不仅仅DeepSeek）

在当今这个科技飞速发展的时代，人工智能（AI）已然成为了各个领域竞相追逐并深度应用的焦点力量。从协助企业精准决策、助力医疗精准诊断，到为日常生活增添便捷与趣味，AI 的影响力无处不在。然而，多数人接触和使用的 AI 往往依托于云端服务，虽然便捷，却也存在着数据隐私风险、网络依赖等诸多问题。而本地部署 AI 的模式，正逐渐崭露头角，宛如一颗冉冉升起的新星，为人们开启了一条既能充分发挥 AI 强大功能，又能实现自主掌控的全新路径。

本地部署 AI，简单来说，就是将人工智能相关的模型、算法以及运行环境等统统安置在本地的服务器、计算机等设备之上，无需依赖外部的云端网络，这一独特的部署方式带来的优势与机遇值得我们深入探究……

本地部署AI优缺点简析

优点

数据隐私与安全：数据存储和处理在本地，不经过外部网络传输到云端等，可有效避免数据在传输或存储于第三方平台时可能出现的泄露风险，适合对数据保密性要求高的医疗、金融、政府等行业。
高效实时响应：无需等待数据在网络中传输以及云端处理返回，直接在本地进行数据处理和模型运算，能极大地减少延迟，提高响应速度，满足如工业自动化控制、实时视频监控分析等对实时性要求极高的场景需求。
网络依赖度低：基本不依赖网络，即便在网络信号差、不稳定或网络中断的情况下，仍能正常运行，保证业务的连续性，适用于网络基础设施不完善或网络环境不稳定的地区和场景。
成本控制优势：从长期来看，如果企业有大量数据需要处理且对云服务使用量较大，本地部署可减少对云服务的依赖，节省数据传输费用和云服务的订阅费用等。
自主定制灵活：用户可以完全控制 AI 模型的运行环境、数据处理流程和模型更新等，能够根据自身独特的业务需求和数据特点，对模型进行深度定制和优化，包括选择适合的硬件设备、软件框架和算法等。

缺点

硬件投资高昂：运行 AI 模型，尤其是一些大型复杂的模型，通常需要强大的计算资源，如高性能的 CPU、GPU、TPU 等，以及大容量的内存和存储设备，前期购买这些硬件设备需要投入大量资金，对于小型企业或个人开发者来说，成本压力较大。
技术门槛较高：本地部署 AI 涉及到模型训练、部署、优化、维护等多个技术环节，需要专业的技术人员来进行操作和管理，包括掌握深度学习框架、算法优化、服务器配置等知识，企业或组织可能需要招聘或培训专业人才，增加了人力成本和技术难度。
可扩展性受限：当业务规模扩大，需要增加 AI 功能或处理更多数据时，本地部署可能需要逐个更新设备或扩展硬件资源，操作相对复杂且成本较高，不像云端部署那样可以灵活地按需扩展。
维护管理复杂：企业需要自行负责硬件设备的维护、保养、故障维修，以及软件的更新、漏洞修复、安全防护等工作，这需要投入大量的时间和精力，增加了运维成本和管理难度。
数据管理挑战：在本地环境中处理和存储大规模数据，需要建立完善的数据管理体系，包括数据备份、恢复、清理、安全防护等，以确保数据的完整性、可用性和安全性，这对数据管理能力提出了较高要求。

基于 Ollama 部署 AI 模型

1. 安装 Ollama

下载： 访问Ollama 官网，根据自己的操作系统（Windows、Mac、Linux）选择对应的下载链接进行下载。（本文书写时，最新版本是v0.5.7，因为官网在github.com上，下载速度非常慢，请参见我发布的下载资源，目前不要积分哦）
安装： Windows 系统找到下载文件所在位置，双击安装包，按照提示进行默认路径安装；Mac 用户下载完成后，打开安装文件按提示操作；Linux 用户可根据下载的文件类型，使用相应命令安装。
验证： Windows 用户按 Win+R，输入 cmd 回车打开命令提示符；Mac 用户直接搜索 “终端” 打开。在命令行输入 “ollama -v”，出现类似 “ollama version is 0.5.7” 等字样即表示安装成功。

C:\Users\XXX>ollama -v
ollama version is 0.5.7

2. 运行模型
   选择模型： 进入Ollama 模型库挑选所需模型，如 llama3、mistral、qwen2 等。
   下载运行：以运行 qwen2 为例，在终端输入 “ollama run qwen2”，首次运行会自动下载模型，完成后显示 “>>> Send a message…” 即可开始提问。

因为Ollama需要使用命令行，对新手小白并不友好，笔者还是推荐下面的方法。

基于 LMStudio 部署 AI 模型

1. 安装 LMStudio
   下载： 从 LMStudio 的官方网站下载适合自己操作系统的安装包，目前最新的是V 0.3.9 版本。
   
   大多数人使用Windows系统，下载Windows版本即可（注意尽量不要使用很多教程提到的虚拟机或者Docker方式部署，不仅麻烦，性能也非常差）为了快速上手，这里是Windows版本的下载链接

安装 LMStudio
安装软件还是非常简单的，基本上一路“下一步”即可，注意硬盘空间（本软件非常小，不用担心硬盘容量，但是后续下载AI大模型非常占用磁盘，默认大模型跟安装软件在一个磁盘分区，也可以手动修改）

更改语言界面
软件默认是英文界面，改成简体中文更容易理解，不过部分功能汉化不是很完美。
具体方法是点击界面右下角的“齿轮”图标，进入设置界面后在language选项下拉菜单，找到中文。

更换模型下载源：
安装完成后，为避免网络问题，需要将默认的模型下载源更换为国内可访问的 HF 镜像，通过修改 LMStudio 的配置来实现。

修改下载模型的路径：
在 LMStudio 软件界面内点“文件夹”图标，在模型目录处修改其他路径，需要找一个剩余容量足够的硬盘分区，大模型文件经常几十个GB大小！

下载部署AI模型（以DeepSeek R1为例） ：
在 LMStudio 软件界面内点“放大镜”图标，搜索 DeepSeek R1，即可完成模型的下载与部署。

使用部署好的模型玩玩吧：
部署完成后，可在 LMStudio 中直接进行对话测试。具体是 LMStudio 软件界面内点“对话”图标，注意需要再最上方选择需要的模型，在下面的对话框输入想要的问题，等待满意的答案吧！

写在最后

各位，你们用过哪些AI工具或者大模型呢？