大模型技术学习系列(4): langchain+ollama构建本地大模型应用

        在之前的文章中,我们从大模型一直讲到了RAG。很多内容都是概念性的。那如果我们想要在本地常识搭建这样一个知识库来实践一下,那么要怎么做呢?本文将详细讲述在个人电脑上搭建本地知识库的详细过程。由于内容较多,将会分成2篇文章来进行讲解。

目标

        在本地个人电脑上搭建一个基于大模型的本地知识库。在这个过程中能够实践并学习:

  1. 如何在本地部署运行大模型

  2. 如何基于大模型开发应用程序

  3. 如何利用RAG构建本地知识库

资源准备

        要实现这个目标,需要考虑几个问题:

  1. 如何在本地设备上部署大模型?能部署哪些大模型?

  2. 应该如何基于大模型构建应用?

  3. 如何构建RAG应用?

        对于问题1,我们需要一个大模型,这个大模型相对于正常大模型而言比较小,以满足能在我们本地设备上跑起起来的需求(CPU only),同时我们需要寻找一个工具,这个功能最好是能够帮助我们快速的下载,部署运行大模型。对于问题2,3我们应当寻找一个AI应用构建的框架,来帮我们快速集成大模型,构建应用。

本章会主要完成1,2

LLaMA

        LLaMA(英语:Large Language Model Meta AI)是Meta AI公司于2023年2月发布的大型语言模型。它训练了各种模型,这些模型的参数从70亿到650亿不等。LLaMA的开发人员报告说,LLaMA运行的130亿参数模型在大多数NLP基准测试中的性能超过了更大的、具有1750亿参数的GPT-3提供的模型,且LLaMA的模型可以与PaLMChinchilla等最先进的模型竞争。虽然其他强大的大语言模型通常只能通过有限的API访问,但Meta在非商业许可的情况下发布了LLaMA的模型权重,供研究人员参考和使用。2023年7月,Meta推出LLaMA2,这是一种可用于商业应用的开源AI模型。2024年4月18日,Meta发布了Llama 3。

        在LLaMA中,有各种不同参数大小的模型可供选择,非常适合用来

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

风生水气

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值