LlamaIndex+Ollama构建《劳动法》问答机器人

Ollama 可以在 Windows 上运行了 阅读详情

在这里插入图片描述

LlamaIndex+Ollama构建《劳动法》问答机器人

本文将一步一步引导大家如何使用LlamaIndex和Ollama构建一个针对《劳动法》的问答机器人。这个机器人能够理解并回答关于这本劳动法的各种问题。

Ollama安装

Ollama简介

Ollama 是一个强大的开源工具,用于在本地计算机上运行、管理和部署大型语言模型(LLMs)。它简化了下载和运行各种开源语言模型的过程,使开发者能够轻松地在本地环境中利用这些先进的AI技术。

核心特点
  1. 本地运行:所有模型都在你的设备上运行,无需依赖云服务,保护隐私和数据安全
  2. 跨平台支持:支持 macOS、Linux 和 Windows
  3. 模型管理:轻松下载、更新和管理不同版本的模型
  4. 简单易用:通过命令行界面提供直观的操作方式
  5. 丰富的模型库:支持 Llama、Qwen、Gemma、Phi等多种开源模型
  6. REST API:提供API接口,方便与其他应用集成
基础安装

Windows下载安装包安装即可,Linux和macOS执行下面的脚本安装。

sh体验AI代码助手代码解读复制代码curl -fsSL https://ollama.com/install.sh | sh

安装完成后,执行下面命令,显示Ollama is running则表示安装成功。

sh体验AI代码助手代码解读复制代码curl localhost:11434
模型下载
sh体验AI代码助手代码解读复制代码# 下载问答模型
ollama pull qwen2.5:0.5b

# 下载Embedding模型
ollama pull bge-m3

Jupyter安装

sh体验AI代码助手代码解读复制代码# 安装jupyter
pip install jupyter
# 创建工作目录
mkdir workdata/jupyter -p && cd workdata/jupyter
# 运行jupyter
jupyter-lab .

知识库构建

下载文档

下载文档并将txt或者pdf文件移至工作目录下的/data目录。

sh体验AI代码助手代码解读复制代码mkdir workdata/jupyter/data && mv 劳动法.pdf workdata/jupyter/data
安装依赖库
ipynb体验AI代码助手代码解读复制代码!pip install llama-index ollama chromadb
!pip install llama-index-vector-stores-chroma llama-index-embeddings-ollama
加载文档

使用LlamaIndex核心库的SimpleDirectoryReader阅读器加载文档。

python体验AI代码助手代码解读复制代码from llama_index.core import SimpleDirectoryReader
documents = SimpleDirectoryReader('./data/').load_data()
documents

在这里插入图片描述

切分文档

使用LlamaIndex核心库节点解析模块的SentenceSplitter(按照句子切分)拆分模块来拆分文档。

python体验AI代码助手代码解读复制代码from llama_index.core.node_parser import SentenceSplitter

parser = SentenceSplitter(
    chunk_size=512,
    chunk_overlap=20
)

nodes = parser.get_nodes_from_documents(documents)
nodes

在这里插入图片描述

  • chunk_size: 分块大小,每个文本块的最大长度。
  • chunk_overlap: 分块重叠,相邻文本块的重叠部分大小,一般为10%-20%。
存储文档
python体验AI代码助手代码解读复制代码# 导入chroma向量库
import chromadb
# 导入OllamaEmbedding模块
from llama_index.embeddings.ollama import OllamaEmbedding
# 导入存储上下文&向量索引模块
from llama_index.core import StorageContext, VectorStoreIndex
# 导入Chroma的向量存储模块
from llama_index.vector_stores.chroma import ChromaVectorStore

# 向量库连接
chroma_client = chromadb.PersistentClient('./data/ldf_chroma_db')

# 创建集合(collection)
collection = chroma_client.create_collection('ldf')

# 实例化向量模型
embed_model = OllamaEmbedding(
    model_name='bge-m3'
)

# 实例化向量存储
vector_store = ChromaVectorStore(chroma_collection=collection)

# 实例化存储上下文
storage_context = StorageContext.from_defaults(vector_store=vector_store)

# 索引文档并存入向量库
index = VectorStoreIndex(
    nodes=nodes,
    storage_context=storage_context,
    embed_model=embed_model,
    show_progress=True
)

在这里插入图片描述

等待索引完成,到这里,我们已经完成的《劳动法》向量库的构建工作。

机器人构建

python体验AI代码助手代码解读复制代码import ollama
from typing import List

def retrieve_documents(query: str, top_k: int = 3) -> List[str]:
    """检索相关文档"""
    results = collection.query(
        query_embeddings=embed_model.get_query_embedding(query),
        n_results=top_k
    )
    return results['documents'][0]

def generate_answer(context: List[str], question: str) -> str:
    """生成回答"""
    context_str = "\n".join([f"[{i+1}] {doc}" for i, doc in enumerate(context)])
    
    prompt = f"""
    【系统指令】
    你是一个法律专家,请根据以下资料回答问题。
    
    【参考资料】
    {context_str}
    
    【用户问题】
    {question}
    
    【回答要求】
    1. 答案必须来自参考资料
    2. 保持客观准确
    3. 使用中文回答
    4. 不确定时回答"资料未提及"
    """
    
    response = ollama.generate(
        model="qwen2.5:0.5b",
        prompt=prompt,
        options={"temperature": 0.3}
    )
    return response['response']
    
def ask_rag(question: str) -> str:
    """基于知识库的RAG回答"""
    relevant_docs = retrieve_documents(question)
    print(relevant_docs)
    print('='*100)
    answer = generate_answer(relevant_docs, question)
    return answer

测试效果

在这里插入图片描述

在这里插入图片描述

…剩下的大家可以自己试试😁😁😁

如何零基础入门 / 学习AI大模型?

大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等问题热议不断。

不如成为「掌握AI工具的技术人」,毕竟AI时代,谁先尝试,谁就能占得先机!

想正式转到一些新兴的 AI 行业,不仅需要系统的学习AI大模型。同时也要跟已有的技能结合,辅助编程提效,或上手实操应用,增加自己的职场竞争力。

但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高

那么我作为一名热心肠的互联网老兵,我意识到有很多经验和知识值得分享给大家,希望可以帮助到更多学习大模型的人!至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

👉 福利来袭优快云大礼包:《2025最全AI大模型学习资源包》免费分享,安全可点 👈

全套AGI大模型学习大纲+路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

read-normal-img

640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

👉 福利来袭优快云大礼包:《2025最全AI大模型学习资源包》免费分享,安全可点 👈

img

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

DeepSeek本地部署详细指南 通过上述步骤,你可以在本地成功部署DeepSeek模型,并通过Ollama或Open Web UI与模型进行交互。本地部署不仅能够保护数据隐私,还能根据需求灵活调整模型参数,满足不同场景下的使用需求。如果你在部署过程中遇到任何问题,可以在评论区留言,我们将一起解决。希望这篇教程能帮助你顺利部署DeepSeek模型,开启高效开发的新旅程! 阅读详情

相关推荐

LLM的MCP协议:初识MCP,搭建第一个MCP Server

MCP(Model Context Protocol),是一个开发的协议,标准化了应用程序如何为大模型提供上下文。MCP提供了一个标准的为LLM提供数据、工具的方式,使用MCP会更容易的构建Agent或者是基于LLM的复杂工作流。

Criss@陈磊 2万+

一文彻底整明白,基于Ollama工具的LLM大语言模型Web可视化对话机器人部署指南

在上一篇博文中,我们在本地部署了**Llama 3 8B**参数大模型,并用 Python 写了一个控制台对话客户端,基本能愉快的与 Llama 大模型对话聊天了。但控制台总归太技术化,体验不是很友好,我们希望能有个类似 ChatGPT 那样的 Web 聊天对话界面,本博文就安排起来……

老牛啊 1万+

【信息科学与工程学】计算机科学与自动化 第二百零一十一 软件开发模型01

编号类型模型领域模型中的知识点/因素/参数关联知识和法律法规1传统顺序模型瀑布模型 (Waterfall)通用软件开发、硬件紧密耦合系统、政府/军工项目、需求稳定的传统信息系统严格线性阶段:可行性研究→需求分析(SRS,含功能/非功能/接口/约束,使用IEEE 830模板)→系统设计(概要设计HLD:架构、模块划分、数据库ER图;详细设计LLD:伪代码、类图、接口定义)→实现(编码规范、代码审查、静态分析工具SonarQube)→测试(单元测试JUnit、集成测试、系统测试、验收测试UAT,测试计划提前编写

weixin_49199313的博客 175

使用ollama在本地部署llama3-8b大模型

使用ollama在本地部署llama3-8b大模型

weixin_39945822的博客 1万+

Docker启动安装nacos(详情讲解,全网最细)

docker安装nacos保姆级教程

ilvjiale的博客 8万+

PythonOCC基础使用:建模——倒角倒圆(二维+三维)

占坑

weixin_42755384的博客 4639

Claude 3.5内化RAG:模型原生推理层如何让中间件归零

大语言模型的检索增强生成(RAG)本质是弥补模型知识时效性与事实性的技术补丁,其传统实现依赖向量库、路由调度和后处理等外部中间件。随着模型上下文窗口扩大、认知深度增强及训练范式升级(如Contextual Grounding Pretraining),RAG相关逻辑正从工程链路中逐步内化为模型固有推理能力。这一演进不仅降低延迟与错误率,更重构了AI系统成本结构与开发范式——当‘检索-验证-生成’闭环在单次token预测中静默完成,LangChain、LlamaIndex等框架的必要性自然衰减。本文聚焦Cla

congli3478的博客 503

大模型呼叫中心场景分享之六:大模型外呼IT运维告警——智能监控与自动化响应的未来

在数字化运维(IT Operations)中,实时监控系统健康状态并及时响应告警是保障业务连续性的关键。传统的IT告警方式(如邮件、短信、钉钉/企业微信通知)存在信息过载、响应延迟、人工处理效率低等问题。而大模型(LLM)与语音技术(TTS/ASR)的结合,为IT运维告警提供了更智能的解决方案——大模型外呼告警系统。大模型外呼告警系统正在重新定义IT运维的效率和体验。通过实时语音交互+智能自动化,企业能够将平均故障修复时间(MTTR)从小时级缩短至分钟级。

开源呼叫中心系统FreeIPCC的博客 925

大模型入门实战:通过 HuggingFace 调用 Llama3

至此,我们成功演示了如何通过 Hugging Face 的 Transformers 调用 Llama 模型,并获取了模型的回答。但是如果你的需求只是简单地调用模型,而无需进行微调或复杂的部署,可以尝试使用 Ollama。它不仅操作更加便捷,还提供了开箱即用的 RESTful 接口,适合快速集成到生产环境中。下一篇,我将会讲解如何通过 Ollama 下载部署 Llama 模型并调用。

python12345_的博客 2604

SAP BTP开发入门:从PaaS到CAP/UI5的30天学习路线

在云计算与数字化转型的大背景下,企业系统集成与云端扩展需求激增,传统的单点开发模式正面临深刻变革。PaaS(平台即服务)作为云原生的核心概念,将基础设施、开发环境与应用服务统一封装,为企业提供了灵活的扩展能力。SAP BTP正是SAP生态中的PaaS平台,它承载着系统集成、低代码开发、AI服务与数据管理,成为连接S/4HANA等核心业务系统与创新应用的桥梁。对于ABAP开发者而言,掌握BTP不仅是技能升级,更是应对从传统部署向云端订阅模式转型的必由之路。本文从平台基础出发,梳理BTP的核心服务与开发模型(如

weixin_31766003的博客 286

CXL技术入门:从PCIe到高性能计算的桥梁(附最新2.0协议解析)

本文深入解析CXL技术如何作为PCIe的进化版,成为高性能计算的关键桥梁,特别聚焦CXL 2.0协议的关键升级。从技术架构、三大子协议到典型应用场景,全面介绍CXL在缓存一致性、内存共享等方面的优势,帮助开发者快速掌握这一前沿技术。

wdx012345的博客 731

一文玩转本地化部署DeepSeek!

本文将详细介绍如何本地化部署DeepSeek,并应用于生活和工作。在大多数情况下,优先推荐官网chat或者官网API调用,效果更佳。本文的主要面向场景在于:免费、稳定、高效且隐私安全。

huang9604的博客 1万+

手把手教你用VM实现欧姆龙PLC数据采集(含Fins协议配置详解)

本文详细介绍了如何使用VM(VisionMaster)实现与欧姆龙PLC的数据采集,重点解析了Fins协议(包括Fins TCP/UDP)的配置步骤。从网络环境搭建、PLC的IP地址设置,到VM端Fins通讯通道的详细配置与数据点映射,提供了完整的实战指南。文章还涵盖了数据收发解析、常见问题排查清单,帮助工程师快速完成视觉系统与PLC的稳定集成。

weixin_29171087的博客 189

无需GPU!三步实现DeepSeek开源模型本地化部署。

deepseek和chatGpt最大的区别就在于,它是开源的模型,并且训练成本更低,这使得我们普通人也能够在自己的电脑部署大语言模型,训练自己的AI智能体。我们需要谨记的就是,AI是工具,是为了提高我们的效率,它能够给我们提供更精确,更具逻辑的回答,你再根据自身的需求进行修改和采用。最近Deepseek访问量剧增,导致App时常访问不了,但是不用担心,官方给我们提供了本地部署大模型的方案。

m0_48891301的博客 2万+

RK3399平台入门到精通系列讲解 - 总目录

欢迎大家来到内核笔记的《RK3399平台开发入门到精通系列讲解》,开始前博主先列出RK3399平台学习的大纲,同时这也可以作为大家学习RK3399内核与安卓框架的参考。下面蓝字都是传送门,点击进入即可:...

内核笔记 10万+

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

DeepSeek本地化部署全攻略,轻松拥有专属 AI 助手

可能大家都想学习AI大模型技术,也想通过这项技能真正达到升职加薪,就业或是副业的目的,但是不知道该如何开始学习,因为网上的资料太多太杂乱了,如果不能系统的学习就相当于是白学。2.页面下拉,根据自己电脑的配置选择合适的参数规模(7b 代表 70 亿参数,14b 代表 140 亿参数,参数越多,模型越大,效果理论上也会更好,但对电脑配置要求也更高),然后复制对应的下载命令。观看零基础学习书籍和视频,看书籍和视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

zhishi0000的博客 9701

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

DeepSeek本地化部署:3步搞定,让你的AI体验更稳定

通过本地化部署,用户可以在自己的设备上运行DeepSeek模型,无需依赖外部网络连接,从而实现更稳定、更可靠的使用体验。

2301_81888214的博客 3万+

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

LLMChain使用初探 -- OLLaMA+LangChain搭建本地大模型

LLMChain是一个简单的链,接受一个提示模板,使用用户输入格式化它并从LLM返回响应。其中,prompt_template是一个非常关键的组件,可以让你创建一个非常简单的链,它将接收用户输入,使用它格式化提示,然后将其发送到LLM。

sinat_29950703的博客 2万+

AI初识--LLM、ollama、llama都是些个啥?

Ollama是一个开源的 LLM(大型语言模型)服务工具,用于简化在本地运行大语言模型,降低使用大语言模型的门槛,使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型,包括如Llama 3、Phi 3、Mistral、Gemma等开源的大型语言模型。library因此,Ollama与LlamaLlama是大语言模型,而Ollama是大语言模型(不限于Llama模型)便捷的管理和运维工具。

weixin_66196770的博客 4万+

DeepSeek-R1本地部署,再也不怕宕机,还有语音功能!

最近国产大模型DeepSeek特别火,以至于频繁出现反应迟缓甚至宕机的情况,和两年多之前ChatGPT的遭遇颇为相似。万幸,DeepSeek是一个开源模型,我们大可以通过本地部署,在自己的终端上随时使用!接下来就教大家具体的操作:**一、用Ollama下载模型**首先我们需要安装Ollama,它可以在本地运行和管理大模型。

2401_84204207的博客 7万+

零基础入门AI:一键本地运行各种开源大语言模型 - Ollama

Ollama 是一个可以在本地部署和管理开源大语言模型的框架,由于它极大的简化了开源大语言模型的安装和配置细节,一经推出就广受好评,目前已在github上获得了46k star。不管是著名的羊驼系列,还是最新的AI新贵Mistral,等等各种开源大语言模型,都可以用Ollama实现一键安装并运行,支持的更多模型的列表可以查看Ollama官网。本文就让我们一起入门Ollama。

2401_84495725的博客 1981

一文教你如何本地部署玩转DeepSeek-V3,免费体验100度算力包跑通!

只需三步,免费体验100度算⼒包就能完成DeepSeek-V3的私有化部署!

weixin_46880696的博客 9万+

一文搞懂 MCP Servers

一文搞懂 MCP Servers什么是MCPMCP概念MCP(Model Context Protocol,模型上下文协议)是由 Anthropic 提出并于 2024 年 11 月开源的一种通信协议,旨在解决大型语言模型(LLM)与外部数据源及工具之间无缝集成的需求。它通过标准化 AI 系统与数据源的交互方式,帮助模型获...

cnzzs的博客 4985

大模型必学——Ollama是什么?

Ollama 是一个强大的本地推理大模型平台,旨在简化模型的本地部署、管理和推理工作流。它允许用户在本地机器上拉取、管理、运行大模型,并提供多种访问方式,包括本地 CLI、HTTP 接口以及通过 OpenAI 客户端的集成。这篇文章将详细介绍 Ollama 的功能,如何使用 Ollama 拉取模型、运行模型,并通过多种方式访问推理服务。前排提示,文末有大模型AGI-优快云独家资料包哦!

大模型工程师老蓝的博客 1万+

本地部署DeepSeek大模型

最近DeepSeek大火,本文将尝试将其部署至本地,大致部署路径:准备电脑-部署Ollama-部署DeepSeek R1模型硬件型号CPUi5-13490F内存32GB显卡AMD RX6800 (16GB显存)硬盘1TB SSD提示:以下是本篇文章正文内容,下面案例可供参考。

weixin_40001694的博客 8850
上一篇: 99%的人都应该看看这本书,精简小册子让你快速跨入大模型的世界
下一篇: 借助MarsCode AI助手分析LlamaIndex的工作流可视化
AI大模型_学习君
博客等级 码龄3年 6138粉丝 551原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值