🤖️ 一种利用 langchain 思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。
实现原理如下图所示，过程包括加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的 top k个 -> 匹配出的文本作为上下文和问题一起添加到 prompt中 -> 提交给 LLM生成回答。
环境准备
硬件准备：
win11+wsl2，显卡最好是N卡，我的是2080ti22g（魔改版），这款性价比很高，推荐购买。
软件准备：
- 安装python环境管理工具，
pyenv或者conda，我这里用的pyenv。 - 安装好python 3.10版本，
- 安装好显卡驱动和cuda，根据显卡来安装版本，在win11下安装就行。
- 安装好git
- 有梯子的话建议整一个。
验证显卡，python和cuda
方法一、 打开命令提示符或 PowerShell。输入以下命令：nvidia-smi在输出中，可以看到显卡的名称和支持的 CUDA 版本。
方法二、 使用 Python导入 torch 库。 使用torch.cuda.is_available() 函数来检查是否支持 CUDA。 使用torch.cuda.get_device_name(0) 函数来获取第一个显卡的名称。 使用torch.cuda.get_device_properties(0)函数来获取第一个显卡的属性，其中包括支持的 CUDA 版本。 示例代码：
import torch
if torch.cuda.is_available():
print(f"支持 CUDA，第一个显卡名称：{torch.cuda.get_device_name(0)}")
print(f"第一个显卡支持的 CUDA 版本：{torch.cuda.get_device_properties(0).cuda_version}")
else:
print("不支持 CUDA")
这里可能有个小坑，如果win11里可以看到gpu可用，但是wsl2中无可用cpu，可以把wsl2先停掉，再重新启动。
本地搭建步骤
1、复制项目
git clone https://github.com/chatchat-space/Langchain-Chatchat.git;
cd Langchain-Chatchat
2、创建环境
这里不管你用什么虚拟环境管理都可以，一定用一个单独的环境，防止依赖冲突和报错。这里是以pyenv为例子。
python -m venv test_langchain_chat
source test_langchain_chat/bin/activate
3、安装依赖
这里安装的适合如果下载的太慢，可以使用安装源，
a、 使用-i参数安装
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ package_name。
b、全局设置安装源
可以修改 pip 的配置文件 pip.conf 来全局指定 pip 镜像源。pip.conf 文件位于用户目录下的 .config/pip 目录中。 在 pip.conf 文件中，添加以下内容：
[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple/
保存并关闭 pip.conf 文件后，重启 pip。
c、安装所有依赖
# 安装全部依赖
pip install -r requirements.txt
pip install -r requirements_api.txt
pip install -r requirements_webui.txt
4、下载模型
在本地或离线环境下运行，需要首先将项目所需的模型下载至本地，通常开源 LLM 与 Embedding 模型可以从 HuggingFace下载。以本项目中默认使用的 LLM 模型 THUDM/ChatGLM3-6B 与 Embedding 模型 BAAI/bge-large-zh 为例：
下载模型常用的网站有以下几个，
下载方式有以下几种
a、git lfs下载
先安装git lfs，如下： docs.github.com/zh/reposito…
git lfs install
git clone https://huggingface.co/THUDM/chatglm3-6b
git clone https://huggingface.co/BAAI/bge-large-zh
b、使用huggingface_hub下载
详细的教程可以参考：hf-mirror.com/docs/huggin…
pip install --upgrade huggingface_hub
from huggingface_hub import hf_hub_download
hf_hub_download(repo_id="lysandre/arxiv-nlp", filename="config.json")
c、使用modelscope-cli下载
## 安装下载客户端
pip install modelscope-cli
## 下载模型
modelscope download bert-base-chinese
5、修改和初始化配置
a、初始化配置
## 复制配置文件
python copy_config_example.py
## 初始化知识库
python init_database.py --recreate-vs
b、修改模型配置
修改configs/model_config.py 建议把所有的模型放到一个文件夹，后续如果玩其他大模型指定以下目录就行了。
MODEL_ROOT_PATH = "/home/xx/soft/ai-models"
6、启动调试
执行命令启动服务；访问http://localhost:8501/
python startup.py -a
7、知识库测试
我这里上传了几本epub书籍，都是金融相关的。搜索什么是指数基金是可以显示知识库来源的。
如何系统的去学习大模型LLM ？
大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。
事实上，抢你饭碗的不是AI，而是会利用AI的人。
继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？
与其焦虑……
不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！
但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。
针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓
一、LLM大模型经典书籍
AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。
二、640套LLM大模型报告合集
这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
三、LLM大模型系列视频教程
四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）
LLM大模型学习路线 ↓
阶段1：AI大模型时代的基础理解
-
目标：了解AI大模型的基本概念、发展历程和核心原理。
-
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例
阶段2：AI大模型API应用开发工程
-
目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
-
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望
阶段3：AI大模型应用架构实践
-
目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
-
内容：
- L3.1 Agent模型框架
- L3.2 MetaGPT
- L3.3 ChatGLM
- L3.4 LLAMA
- L3.5 其他大模型介绍
阶段4：AI大模型私有化部署
-
目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
-
内容：
- L4.1 模型私有化部署概述
- L4.2 模型私有化部署的关键技术
- L4.3 模型私有化部署的实施步骤
- L4.4 模型私有化部署的应用场景
这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓
3512
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
