关于书生LLM的全链路开源开放体系

最开始知道书生浦语大模型是新闻/行业报告里看到国内一家制造业的AI应用案例,言简意赅,我只说记下的案例关键词:振华重工、羚数智能、书生浦语,有兴趣的同学可以自行搜索。

作为小白,通过学习书生浦语大模型体系,不仅让我对整个书生大模型的开源体系有了解,配套的工具链也让我对AI学习有了感性+理性认识,因为我一直想找个相对完整的技术栈和对应工具来理解AI。

书生浦语大语言模型的全链路开源开放体系是由上海人工智能实验室开发的一系列开源软件和数据集,旨在推动大模型技术的研究和应用。这个体系包括数据集、预训练模型、微调工具、部署框架、评测平台和应用开发工具等组成部分,形成了一个完整的大模型研发和应用生态。

开源数据集 "书生·万卷"

包含了多模态的预训练语料库,数据量超过2TB,涵盖了文本、图像和视频等多种模态。

训练框架 InternEvo

InternEvo是一个开源的轻量级训练框架,专门设计用于支持大规模语言模型(LLM)的预训练。它能够在具有上千GPU的大规模集群上进行高效训练,同时也支持在单个GPU上进行微调。试过才有发言权,后续试验。

开源预训练模型谱系 InternLM

InternLM是书生浦语大模型的预训练模型,支持高效的并行训练,并提供了多种规格的模型版本,如1.8B、7B和20B参数规格(ollama或源码部署都很方便),还有个闭源的102B。

还有专业方向的模型,InternLM-XComposer(灵笔)、InternLM-Math(数学)、InternLM-WQX(文曲星)

微调工具 XTuner

XTuner是一个微调工具包,支持全参数微调和低成本微调算法,如LoRA和QLoRA,适用于不同的微调场景和模型。

我盲猜是类似llamafactory或者qwen swift的工具。

部署框架LMDeploy

LMDeploy是一个部署框架,支持大模型在GPU上部署的全流程解决方案,包括模型轻量化、推理和服务。据说性能超过vllm,后续学习中会试试

评测平台OpenCompass

OpenCompass是一个大模型评估平台,提供了全面的评测体系,支持多种模型和任务的性能评估。这个经常看,目前每两个月更新,是国内相对比较客观的测评榜单。

应用开发 

MindSearch 思索式开源搜索应用

MindSearch是一种模仿人类思维的开源深度AI搜索引擎,它采用WebPlanner和WebSearche
r组件,通过问题分解、并行搜索和分层信息检索来模拟人类进行深度搜索。MindSearch能
够处理更长的上下文,提供更深入、更广泛、更准确的答案。

初看比较惊艳的就是,搜索过程可视化,能看到AI在哪一步在搜什么。


Lagent 支持代码解释器的智能体框架

Lagent是一个轻量级开源智能体框架,它允许用户高效地构建基于大语言模型的智能体,并
提供了一系列工具来增强大语言模型的能力。Lagent支持多种类型的智能体,如ReAct、Aut
oGPT和ReWoo等,这些智能体能够进行多轮推理和工具调用。

这个赛道我理解很卷了,有扣子、开源的有Dify,最近langchain也发布了Agent IDE。这个赛道我还有很多没看明白的点,使用的时候再对比看吧。


MinerU 高效文档解析工具

MinerU是一个一站式、开源、高质量的数据提取工具,主要功能包括将PDF转化为Markdo
wn格式,支持转换本地文档或位于支持S3协议对象存储上的文件。MinerU能够处理复杂的
PDF文档,提取其中的图片、表格、脚注等多模态内容,并将公式转换为LaTeX格式。

这个工具前几天刚找到,效果不错,解决的是pdf解析数据提取处理的痛点问题。


HuixiangDou 基于专业知识库的群聊助手

HuixiangDou(茴香豆)是一个基于大语言模型的群聊知识助手,专注于解决群聊中的技术
问题。它能够集成到即时通讯工具中,如微信和飞书,主要服务于技术领域,尤其是编程、
算法、软件开发等相关问题。
我刚好有个场景,我会试试。

这个全链路开源开放体系,让小白能有一个基本的genAI链路和工具,进行研究和应用开发,后续试验继续更新。

### 部署 DifyMinerU 的教程指南 部署 DifyMinerU 涉及多个步骤,包括环境配置、依赖安装以及服务启动等。以下是详细的说明: #### 1. 环境准备 确保系统中已安装以下工具和库: - Python(建议版本 3.8 或更高) - Docker 和 NVIDIA Docker(如果需要 GPU 支持)[^3] - Conda(用于管理虚拟环境) #### 2. 安装与配置 Dify Dify 是一个强大的知识库构建工具,支持多种模型集成,例如 BGE-M3。 ##### 2.1 创建 Conda 环境 ```bash conda create -n dify python=3.9 conda activate dify ``` ##### 2.2 克隆 Dify 仓库并安装依赖 ```bash git clone https://github.com/dify-ai/dify.git cd dify pip install -r requirements.txt ``` ##### 2.3 配置默认 Embedding 模型 根据之前提到的 BGE-M3 配置[^2],可以使用 Ollama 部署 BGE-M3 并与 Dify 对接。具体步骤如下: 1. 安装 Ollama 并启动服务。 2. 在 Dify 的配置文件中指定 Ollama 的 API 地址。 示例配置文件 `config.yaml`: ```yaml embedding: provider: ollama model: bge-m3 ``` #### 3. 安装与配置 MinerU MinerU 是一个多模态文档解析工具,支持 PDF、图片等多种格式的解析,并能与 Dify 深度集成。 ##### 3.1 创建 Conda 环境 ```bash conda create -n mineru python=3.8 conda activate mineru ``` ##### 3.2 克隆 MinerU 仓库并安装依赖 ```bash git clone https://github.com/mineru-ai/mineru.git cd mineru pip install -r requirements.txt ``` ##### 3.3 启动本地 API 服务 根据引用中的说明[^1],可以通过以下命令启动 MinerU 的本地 API 服务: ```bash python app.py --host 0.0.0.0 --port 8000 ``` #### 4. 集成 DifyMinerU 为了实现两者的深度集成,可以参考以下方法: - 在 Dify 的工作流中调用 MinerU 的 API 接口,完成文档解析任务。 - 使用 RAG 技术将解析后的数据嵌入到知识库中[^2]。 示例代码:从 Dify 调用 MinerU API ```python import requests def parse_document(file_path): url = "http://localhost:8000/api/parse" files = {"file": open(file_path, "rb")} response = requests.post(url, files=files) return response.json() ``` --- ### 注意事项 - 如果系统未安装 NVIDIA Docker,请按照引用中的方法进行安装[^3]。 - 确保所有服务的端口不冲突,并检查防火墙设置。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值