Ollama+LangChain+LLamaIndex打造本地化大模型聊天机器人

最新推荐文章于 2025-03-31 03:18:07 发布
最新推荐文章于 2025-03-31 03:18:07 发布
阅读量1.3k 收藏 21
点赞数 8
文章标签： langchain 大语言模型 人工智能 LLM 大模型 LLamaIndex Ollama
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/2401_85378759/article/details/145699757
版权

一、开源大模型运行平台Ollama

Ollama，这是一个开源的大语言模型平台，它允许用户在本地环境中运行、创建和共享大型语言模型。Ollama提供了丰富的功能和特性，使得用户可以在自己的计算机上轻松地部署和运行大型语言模型。

链接：https://ollama.com/

1、下载及安装Ollama

下载点击安装即可。

默认情况下，ollama模型的存储目录如下：

  • macOS: ~/.ollama/models

  • Linux: /usr/share/ollama/.ollama/models

  • Windows: C:\Users\\.ollama\models

设置新的下载路径：

如果想更改这个默认路径，需要设置一个新的环境变量OLLAMA_MODELS，

这个环境变量应该指向想要保存模型的新目录。

在CMD中输入以下命令，进行验证：

echo %ollama_models%

2. 下载及运行模型

在CMD中输入以下命令，查看当前已经存在的模型：

ollama list

模型仓库：https://ollama.com/library

比如我们下载qwen2模型。选择最小的0.5b的版本。

在CMD终端运行以下代码，该命令会检查目录下是否有该模型，没有会自动下载，下载好后自动运行该模型。

ollama run qwen2:0.5b

拉取完成后直接进入单行交流模式。

查看此时已下载的模型。

ollama list

查看ollama的版本号。

ollama -v

还可以使用第三方API调用。

API调用默认端口11434，输入以下命令查看ip及端口。

ollama serve

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉[优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈

二、使用LangChain跑Ollama大模型

如果需要学习如何使用LangChain可查看下文：

LangChain+Tongyi的安装及使用

1、模型调用

在这里插入图片描述

输出：

'我是来自阿里云的大规模语言模型，我叫通义千问。'

2. 使用Prompt模板

在这里插入图片描述

输出：

在这里插入图片描述

3. Embedding

在这里插入图片描述

4. ChatOllama

在这里插入图片描述

输出：

在这里插入图片描述

三、使用LlamaIndex跑Ollama大模型

关于LlamaIndex的安装及使用查看下文

LlamaIndex入门指南-案例基于通义千问大模型实现

在线安装：

pip install llama-index-llms-ollama -i https://pypi.tuna.tsinghua.edu.cn/simple

1、模型调用

在这里插入图片描述

输出：

我是来自阿里云的大规模语言模型，我叫通义千问。我可以回答关于各种话题的问题，包括但不限于：历史、文化、科学、哲学、艺术、技术、生活、教育等。如果您有任何问题或需要帮助，请随时告诉我！

Chat

在这里插入图片描述

输出：

assistant: My name is Niall O'Malley. I am the captain of the ship 'The Golden Eye' and a member of The Black Hand, a group dedicated to protecting pirates from foreign enemies. My crew consists of many talented individuals, including my loyal companion, Pirate Queen Anne Lisle. What's your favorite pastime?

Streaming

在这里插入图片描述

输出

在这里插入图片描述

Steam Chat

在这里插入图片描述

输出：

My name is Marcus D. Smith, and I am a fictional character from the "Pirate Age" series by Jack London.

JSON Mode

在这里插入图片描述

{ "name": "Paul A. Graham", "born": "1943-07-25", "field": "Christianity", "occupation": "Founder, President and CEO of The Christian Science Publishing Company, author of several books including " , "A Family Affair with God" : "On God's Intentions in the World, A Personal Journey Through the Bible", "website": "www.cscv.org", "email": "" }
  1. 创建一个base Agent

在这里插入图片描述

输出：

在这里插入图片描述

很自豪不需要在用其它工具，可惜答案错误。

3、Embedding

需安装以下库：

pip install llama-index-embeddings-ollama -i https://pypi.tuna.tsinghua.edu.cn/simple

在这里插入图片描述

在这里插入图片描述

输出：

[1.0372178554534912, 1.3566676378250122, -2.158673048019409, 3.4135725498199463, -0.4309086799621582]

如何学习AI大模型？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

想正式转到一些新兴的 AI 行业，不仅需要系统的学习AI大模型。同时也要跟已有的技能结合，辅助编程提效，或上手实操应用，增加自己的职场竞争力。

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高

那么针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉[优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈

学习路线

在这里插入图片描述

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

在这里插入图片描述

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

脱泥不tony
关注
本地 AI RAG 系列之 使用 LangFlow 和 Ollama 构建无代码 RAG 聊天机器人 由于 ChatGPT，每个人都不需要付出太多努力。今天，开发您的第一个聊天机器人不需要任何编码技能
iCloudEnd的博客
07-10 505
在本文中，我们将使用 Langchain 的新平台 LangFlow 创建一个 RAG 聊天机器人。这个聊天机器人将基于两个开源模型：phi3（来自 Microsoft 的新轻量级 LLM 模型）和nomic-embed-text（Ollama 嵌入）。这两个模型在 Ollama 下可用。我们将逐步解释每个组件的工作原理。准备好了吗？
使用 Ollama、LangChain 和 Streamlit 通过 Meta 的最新 Llama 3.2 LLM 进行本地推理(项目含源码)
iCloudEnd的博客
10-05 966
Meta 刚刚宣布发布 Llama 3.2，这是一套革命性的开放、可定制的边缘 AI 和视觉模型，包括“小型和中型视觉 LLM（11B 和 90B）以及适合边缘和移动设备的轻量级纯文本模型（1B 和 3B），包括预训练和指令调整版本。据 Meta 介绍，轻量级、纯文本的 Llama 3.2 1B 和 3B 模型“支持 128K 个标记的上下文长度，并且在同类产品中处于领先地位，适用于总结、指令跟踪和在边缘本地运行的重写任务等设备用例。
Llamaindex+Ollama 构建RAG私有化知识库
技术宅男改变世界
02-12 1182
官网LlamaIndex是一个数据框架，它主要用于连接大型语言模型（LLMs）与外部数据源，例如API、PDF文档、SQL数据库等。这个框架的设计目的是为了增强LLM的能力，使其能够理解和生成更准确、更有上下文关联的文本，尤其是在涉及私人数据或特定领域知识的情况下。LlamaIndex通过创建索引结构来组织和访问数据，这样可以更高效地检索相关信息并将其提供给LLM。这些索引可以是列表索引、向量索引、树索引或关键词索引等，具体取决于数据类型和需求。
LlamaIndex 加 Ollama 实现 Agent
hawk2014bj的博客
04-23 3244
AI Agent 是 AIGC 落地实现的场景之一，与 RAG 不同，RAG 是对数据的扩充，是模型可以学习到新数据或者本地私有数据。AI Agent 是自己推理，自己做，例如你对 AI Agent 说我要知道今天上海的天气怎么样，由于 AI 是个模型，底层通过一套复杂的算法进行相似度的比较，最终选出相似最高的答案，所以模型本身是无法访问网络去获取数据的。如果AIGC 只能回答问题，复杂任务和与外界的沟通还需要人手工处理，就没有发挥出模型应有的能力。
llamaindex 连接 ollama
最新发布
No trade is free, but my contents are.
03-31 309
2、检查ollama服务是否启动。llama_index 安装。
利用LlamaIndex构建ARG本地知识库
dwjf321的博客
09-15 946
在现代的人工智能应用中，如何有效地管理和检索数据是一个重要的课题。LlamaIndex 提供了一种灵活的数据框架，使开发者能够轻松地构建和管理与大型语言模型（LLM）相关的应用。在本文中，我们将深入探讨如何使用 LlamaIndex 创建和检索知识库索引。，并下载大模型，比如：Llama 3、 Phi 3、 Mistral、Gemma、qwen等。为了测试方便，我们选用速度更快、效果较好的。
使用LlamaIndex，Qdrant，Ollama和FastAPI构建本地RAG api
顺其自然~专栏
03-14 2285
ChatGPT已经改变了我们与AI的互动方式。人们现在将这些大型语言模型（LLMs）作为主要的个人助手来进行写作、头脑风暴甚至咨询。然而，这些LLMs的问题在于，它们的表现只能和它们接受的训练数据一样好。例如，如果一家公司想要向ChatGPT查询一份内部文件，ChatGPT可能无法理解它。此外，它的知识可能不是最新的，而且容易产生幻觉。为了解决这个问题，我们可以在我们的数据上对这些LLMs进行微调，使它们能够从中回答问题。然而，这种方法可能非常昂贵。
llama-index+ollama实现rag详解
m0_57057282的博客
09-26 743
3)query展示了检索的细节，可以选择几条相似的数据。
Llama_index利用本地大模型工具ollama（CPU）
leichangqing的博客
03-15 2394
【代码】Llama_index利用本地大模型工具ollama（CPU）
使用 Langchain 和 Ollama 的 PDF 聊天机器人分步指南
深度学习与计算机视觉
01-15 7094
介绍在技术不断改变我们与信息交互方式的时代，PDF 聊天机器人的概念将便利性和效率提升到了新的水平。本文深入探讨了使用 Langchain 和 Ollama 创建 PDF 聊天机器人的有趣领域，其中只需最少的配置即可访问开源模型。告别框架选择和模型参数调整的复杂性，我们踏上释放 PDF 聊天机器人潜力的旅程。了解如何无缝安装 Ollama、下载模型以及制作 PDF 聊天机器人，为你的查询提供智能响...
【大模型】(记一面试题)使用Streamlit和Ollama构建PDF文件处理与聊天机器人应用
linjiuxiansheng的博客
05-25 765
定义生成器函数初始化Ollama模型设置查询引擎迭代生成响应。
LLM App SDK：LangChain vs. LlamaIndex
新缸中之脑
02-02 1006
在中，我表示支持检索增强生成（RAG）作为私有、离线、去中心化 LLM 应用程序的关键技术。当你建造一些东西供自己使用时，你就是在孤军奋战。你可以从头开始构建，但在现有框架上构建会更有效。选择一个框架是一项巨大的投资。你想要一个拥有强大维护者和充满活力的社区的产品。幸运的是，这两种选择在去年都已合并，因此规模是相当可量化的。以下是这些数字的比较：从财务数据来看，LlamaIndex 表现强劲，融资金额接近LangChain，但其目标市场要小得多（以 GitHub 星数作为社区兴趣的近似值）。
Llamaindex实战-本地大模型(llama2-chinese)安装和使用
weixin_48731381的博客
06-23 1428
通过ollama来安装llama相关的模型非常方便，也很容易对各个模型进行管理。本文介绍如何通过ollama来安装llama2-chinese模型，或则llama相关的其他模型。
书接上回，如何用 LlamaIndex 搭建聊天机器人？
ZILLIZ
11-02 277
LlamaIndex 是领先的开源数据检索框架，能够在各种应用中发挥优势，其中一个典型的应用就是在企业内部搭建聊天机器人。对于企业而言，随着文档数量不断增多，文档管理会变得愈发困难。因此，许多企业会基于内部知识库搭建聊天机器人。在搭建过程中，需要关注三个要点：如何切割数据、保存哪些元数据以及如何路由查询。01.为什么要用 LlamaIndex 搭建聊天机器人？在上一篇文章中，我们使用 Zilliz...
Ollama 在 LangChain 中的使用
AllYoung_362的博客
02-18 1092
LangChain 是一个基于语言模型的框架，用于构建聊天机器人、生成式问答（GQA）、摘要等功能。它的核心思想是将不同的组件“链”在一起，以创建更高级的语言模型应用。LangChain就像一个超级连接器，可以轻松和各种外部工具（比如API、搜索引擎）对接。比如，想让聊天机器人能查询天气，只需要把天气API和LangChain连接起来，它就能帮你搞定。这样，你的应用功能会更强大，而且不需要自己去写复杂的代码。组件化：LangChain 框架提供了用于处理语言模型的抽象组件，以及每个抽象组件的一系列 实现。
优雅谈大模型：LangChain Vs. LlamaIndex
鲁班模锤
06-25 1212
LlamaIndex和LangChain的对比其实是一个很复杂的话题，若需要用一句话来总结，LlamaIndex是数据之王，而LangChain是LLM应用程序开发的多面手。
利用LlamaIndex和Ollama进行AI文本处理的示例
ppoojjj的博客
07-07 739
在本文中，我将展示如何使用LlamaIndex和Ollama工具进行AI文本处理。我们将下载并处理Paul Graham的文章，并通过中专API调用OpenAI模型，进行简单的文本查询。
win10部署本地大模型langchain+ollama
小白的数据博客
05-03 2951
（3）在系统变量中新建一个OLLAMA_MODELS的变量，位置根据其他盘的存储空间去设置，比如在ollama的文件夹下（D:\Ollama\models）（2）修改环境变量的用户变量，将PATH变量中的C:\Users\XX\AppData\Local\Programs\Ollama修改为步骤（1）的位置。（1）将C:\Users\XX\AppData\Local\Programs\Ollama这个文件夹移动到其他盘（D:\Ollama）下载的模型默然安装在C:\Users\XX\.ollama。
LangChain、LlamaIndex和ollama的区别
02-27
- 支持模型本地化运行，无需复杂配置，适合开发测试或小规模场景。 - 提供简单的 API，方便与其他工具集成。 - **典型场景**：快速测试开源模型、本地部署轻量级 AI 应用。 --- ### 2. **LangChain** - **定位**...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值