【开源大模型】一篇文章快速了解Ollama+本地知识库创建-优快云博客

入门篇：认识开源大模型和Ollama

Ollama是什么？

Ollama是一个便于用户在本地部署和管理开源大语言模型的应用框架，极大简化了开源大语言模型的安装和配置细节。现在，即便你不了解大模型相关的任何知识，你依旧可以通过简单的操作，借助Ollama在本地部署当今主流的开源大模型，包含llama3、gemma、qwen等（其支持的开源大模型可在library (ollama.com)中查看）。

在Windows上安装并使用Ollama

下载安装包： 访问Ollama官网，在页面中心处点击“Download"按钮即可下载Ollama的Windows安装包。
安装Ollama： 点击运行刚刚下载好的安装包，直接点击右下角的"Install"即可安装，中途没有任何的选项与提示。注意：Ollama会自动安装在C盘且不能自定义安装目录，C盘爆红选手谨慎安装。
检查安装： 安装完成后Ollama会自动运行，它没有任何的UI界面，只会悄悄地运行在后台（默认端口11434），你可以通过以下方式判断安装结果：
- 方式一：检查任务栏
- 方式二：浏览器访问http://localhost:11434
- 方式三：在cmd中使用ollama -v
部署大模型： 使用ollama run <model name>部署/运行大模型。<model name>可以在ollama library中查询，其中有众多标签可供选择，要注意选择适合自己电脑配置的模型哦！

这里我选择qwen:7b进行部署，输入命令后，如ollama发现当前没有安装这个模型，则会自动开始下载和安装：

C盘爆红选手注意：

Ollama的模型安装路径也默认在C盘，如需更改Ollama的模型安装路径，需添加环境变量

安装完成后，即可在命令行中与模型对话啦！

为什么选择开源大模型？

如果你在其它社区平台搜索关于Ollama的消息，一定会见到很多人认为开源大模型对普通人来说是个累赘品。受制于普通平民电脑的性能，我们一般无法在自己电脑上安装性能较好的模型，因此最后的效果大多都不尽人意，还不如使用现在众多免费的私人大模型平台，如ChatGPT3.5等。

既然如此，开源大模型到底适用于什么应用场景，我们为何要使用Ollama呢？既然和免费私有大模型比不过性能，不如换个角度比“客制化”。

社区灵活性

像ChatGPT等企业私有模型大多都有既定的输出风格，且没有明确的使用方向，主打一个“综合性”。但代价就是在做“特种”AI时没有竞争力，发现问题你也无法改变它，只能接受它的一切。

但开源大模型的代码和架构是公开的,用户可以根据自己的需求进行定制和调整,增强了适用性。光是在B站搜索“模型名+微调”，你就可以收获大量资料可供参考。用开源大模型定制自己的“小老婆”不香嘛？

搭建知识库+隐私保护

既然开源大模型可以移植到本地运行，那么意味着它是个离线平台，隐私保护可谓顶尖存在。这对有_隐私洁癖和企业信息保密需求的用户来说是非常重要了。

不仅如此，你也可以在本地构建自己的知识库，上传文件、投喂数据，让本地大模型作为你的资料管家。

节省成本

开源大模型通常可以免费获取和使用，开发应用时也无需再调取天价API让钱包两空了。在云端服务器上部署开源大模型构建AI应用也是不错的选择！

进阶篇：Ollama的更多运用

用Open WebUI可视化管理Ollama

关于Open WebUI

Open WebUI 是一个功能丰富、易于使用的自托管 WebUI，旨在完全离线运行。它支持多种 LLM 运行器，包括 Ollama 和 OpenAI API。

使用它和Ollama配合，就可以摆脱黑乎乎的命令行窗口与你在Ollama上部署的大模型对话，并且享用与ChatGPT如出一辙的优雅UI界面。

在这里你可以与你所有已安装的模型进行对话，也可以管理Ollama上的模型：

如果你的机器足够强悍，也可以借助这个平台将机器上的大模型分享给你的同事/好友一同使用，Open WebUI也不同用户权限的设置。

安装Open WebUI

Open WebUI官方推荐使用docker安装，如果在本机运行Ollama，你只需在电脑中安装docker，然后运行以下指令：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

如果Ollama不在本机运行，则需在命令中添加-e OLLAMA_BASE_URL = http://example.com:11434设置Ollama运行的地址哦！

之后即可访问localhost:3000进入Open WebUI界面啦！

首次使用需要点击Sign up注册账号，第一个账号注册的账号会默认拥有管理员权限。

注册完成后会自动登录，此时点击左下角的头像，点击Settings即可进入设置页面，以调整语言、Ollama路径、Ollama模型等设置：

用FastGPT客制化大模型

Open WebUI只让我们收获了一个优雅的界面便于我们访问和管理Ollama运行的模型，但貌似并没有体现Ollama与开源大模型的优势。接下来，FastGPT可以带你构建一个强大的私人本地知识库！

快速了解 FastGPT（FastGPT文档）

FastGPT 是一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排，从而实现复杂的问答场景！

如果你现在还没有在本地部署Ollama与FastGPT，又想快速尝试FastGPT的功能，可以使用官方已经部署好的 FastGPT Demo 进行体验！

接下来将介绍它的几个特色功能：

打造专属AI客服

大语言模型横空出世时，就有不少人幻想它替代客服岗位的样子。但受制于OpenAI API价格昂贵，一些企业内部规定不便对外流出也不便融入大模型开发中等因素，AI客服的应用场景还是较少地进入我们的视野。

但是FastUI第一个能力便是打造专属AI客服。你可以通过导入企业服务规定、客服培训内容、企业项目介绍等文件构建客服知识库。如在本地部署，这些知识库将处于离线状态，可以有效保护企业隐私信息。

之后可以根据构建的知识库创建AI应用，甚至设置不同工作流以优化客服AI的实际使用效果，让它更加智能，回答准确率更高！

自动数据预处理

FastGPT对于构建知识库的过程做了诸多优化，提供手动输入、直接分段、LLM 自动处理和 CSV 等多种数据导入途径。

其中“直接分段”支持通过 PDF、WORD、Markdown 和 CSV 文档内容作为上下文。上传内容后，FastGPT 会自动对文本数据进行预处理、向量化和 QA 分割，节省手动训练时间，提升效能。

另外还支持搜索测试，检测知识库文本与测试提问语句的相关度，检验知识库文本和问题的相关度。

工作流编排

前面提到，在应用AI客服场景中，可以使用工作流编排优化AI客服的使用效果。FastGPT提供多种工作流功能，甚至可以自己开发插件满足客制化需要，而且编排界面也是非常友好，小白也能理解！

强大的API集成

FastGPT 对外的 API 接口对齐了 OpenAI 官方接口，可以直接接入现有的 GPT 应用，也可以轻松集成到企业微信、公众号、飞书等平台。这样，就可以使用免费的开源大模型构建属于自己的AI应用了！

总结：开源大模型的意义是什么？

开源大模型的优势

降低使用门槛：开源大模型使得非专业用户也能接触到尖端的人工智能技术。无论是学生、研究人员还是中小企业，都可以通过开源大模型进行创新和研发，而不再受制于高昂的成本。
促进技术创新：开源社区的活跃度和多样性使得技术可以快速迭代和优化。全球的开发者可以共同参与模型的改进和应用，推动技术的不断进步。
增强透明度和信任：开源的本质决定了其透明性。用户可以详细了解模型的构建和工作原理，减少对“黑箱”算法的担忧，从而增加对人工智能技术的信任。
推动教育普及：开源大模型为教育机构提供了丰富的教学资源。学生可以通过实际操作，深入理解人工智能技术的运作机制，培养实践能力和创新意识。

开源大模型对科技平权的推动

提供公平的技术资源

开源大模型打破了技术垄断，使得先进的人工智能技术不再是少数几家大公司的专利。任何人都可以平等地获取和利用这些资源，从而大大降低了创新的成本和门槛。这为各行各业的中小企业、初创公司和个人开发者提供了公平竞争的机会。

支持多样化应用

由于开源大模型的灵活性，用户可以根据自身需求进行个性化的调整和优化。无论是在医疗、教育、金融还是社会公益领域，开源大模型都可以被广泛应用，从而推动各个领域的科技进步，促进社会的整体发展。

开源大模型的流行，意味着人们了解AI、使用AI的门槛进一步降低，不需要高昂的成本，就可以创造出大模型的差异性，进一步推进了技术平权。这同样意味着，把握住开源大模型的浪潮，就是掌住了下一个科技创业的风口。

开源大模型与私有大模型的对比

成本

开源大模型：用户可以免费获取和使用模型，极大地降低了技术门槛和使用成本。这对于中小企业和个人开发者尤为重要。
私有大模型：通常需要支付高额的费用才能获取使用权，这使得许多资源有限的用户难以承担。

透明度

开源大模型：由于代码和模型参数都是公开的，用户可以详细了解模型的构建和运作机制，增强了透明度和信任度。
私有大模型：通常是“黑箱”操作，用户难以了解模型的内部细节，增加了不确定性和信任问题。

创新速度

开源大模型：开源社区的协作能够快速迭代和优化模型，促进技术的快速发展和普及。
私有大模型：依赖于公司内部的研发团队，创新速度相对较慢，且成果不易对外共享。

灵活性

开源大模型：用户可以根据自身需求自由修改和优化模型，适应多样化的应用场景。
私有大模型：用户只能在提供的功能范围内使用，灵活性较低，难以满足个性化需求。

程序员为什么要学大模型？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望