rrrrroseyy-优快云博客

原创茴香豆：企业级知识问答工具实践闯关任务

茴香豆是由书生·浦语团队开发的一款开源、专门针对国内企业级使用场景设计并优化的知识问答工具。在基础 RAG 课程中我们了解到，RAG 可以有效的帮助提高 LLM 知识检索的相关性、实时性，同时避免 LLM 训练带来的巨大成本。在实际的生产和生活环境需求，对 RAG 系统的开发、部署和调优的挑战更大，如需要解决群应答、能够无关问题拒答、多渠道应答、更高的安全性挑战。因此，根据大量国内用户的实际需求，总结出了三阶段Pipeline的茴香豆知识问答助手架构，帮助企业级用户可以快速上手安装部署。茴香豆特点。

2024-08-25 16:28:06 716

原创 MindSearch CPU-only 版部署

任务要求：因为要使用硅基流动的 API Key，所以接下来便是注册并获取 API Key 了。首先，我们打开硅基流动统一登录来注册硅基流动的账号（如果注册过，则直接登录即可）。在完成注册后，打开硅基流动统一登录来准备 API Key。首先创建新 API 密钥，然后点击密钥进行复制，以备后续使用。由于硅基流动 API 的相关配置已经集成在了 MindSearch 中，所以我们可以直接执行下面的代码来启动 MindSearch 的后端。在后端启动完成后，我们打开新终端运行如下命令来

2024-08-25 12:55:40 474

原创 InternVL 微调实践闯关任务

InternVL 是一种用于多模态任务的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。通过整合视觉特征和语言信息，InternVL 可以在多模态领域取得更好的表现。对于InternVL这个模型来说，它vision模块就是一个微调过的ViT，llm模块是一个InternLM的模型。对于视觉模块来说，它的特殊之处在Dynamic High Resolution。

2024-08-20 22:26:15 1629

原创 LMDeploy 量化部署实践闯关任务

准确说，模型量化是一种优化技术，旨在减少机器学习模型的大小并提高其推理速度。模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、kv cache占用的显存，以及中间运算结果占用的显存。随着模型变得越来越大，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。让我们回到LMDeploy，在最新的版本中，LMDeploy使用的是AWQ算法，能够实现模型的4bit权重量化。输入以下指令，让我们同时启用量化后的模型、设定kv cache占用和kv cache int4量化。

2024-08-16 20:39:15 715

原创 Lagent 自定义你的 Agent 智能体

Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。Arxiv 搜索Bing 地图Google 学术搜索Google 搜索交互式 IPython 解释器IPython 解释器PPTPython 解释器在本节中，我们将带大家基于 Lagent 自定义自己的智能体。Lagent 中关于工具部分的介绍文档位于动作 — Lagent。继承BaseAction类实现简单工具的run方法；

2024-08-12 23:07:21 383

原创 OpenCompass 评测 InternLM-1.8B 实践

任务要求：在 OpenCompass 中评估一个模型通常包括以下几个阶段：配置 -> 推理 -> 评估 -> 可视化。

2024-08-10 13:35:39 444

原创 XTuner 微调个人小助手认知任务

下面我们将根据项目的需求一步步的进行修改和调整吧！在 PART 1 的部分，由于我们不再需要在 HuggingFace 上自动下载模型，因此我们先要更换模型的路径以及数据集的路径为我们本地的路径。为了训练过程中能够实时观察到模型的变化情况，XTuner 贴心的推出了一个。

2024-08-10 12:45:50 869

原创 Llamaindex RAG实践

正式介绍检索增强生成（Retrieval Augmented Generation，RAG）技术以前，大家不妨想想为什么会出现这样一个技术。给模型注入新知识的方式，可以简单分为两种方式，一种是内部的，即更新模型的权重，另一个就是外部的方式，给模型注入格外的上下文或者说外部信息，不改变它的的权重。第一种方式，改变了模型的权重即进行模型训练，这是一件代价比较大的事情，大语言模型具体的训练过程，可以参考InternLM2技术报告。第二种方式，并不改变模型的权重，只是给模型引入格外的信息。

2024-08-09 22:42:46 1305

原创 LangGPT结构化提示词编写实践

的简称，中文名为结构化提示词。LangGPT 是一个帮助你编写高质量提示词的工具，理论基础是我们提出的一套模块化、标准化的提示词编写方法论——结构化提示词。例如，如果我们要生成一篇关于“人工智能”的文章，我们可以使用“人工智能”作为Prompt，让模型生成一篇关于人工智能的介绍、应用、发展等方面的文章。例如，我们可以使用“请用幽默的语气描述人工智能的发展历程”作为Prompt，让模型生成一篇幽默风趣的文章。总之，Prompt是一种灵活、多样化的输入方式，可以用于指导大语言模型生成各种类型的内容。

2024-08-07 23:01:02 725

原创 8G显存玩转书生大模型 Demo

然后，我们执行如下代码来启动一个 Streamlit 服务。的 PowerShell 中输入以下命令，将端口映射到本地。

2024-08-05 22:35:50 320

原创书生大模型全链路开源开放体系

与相近规模的Llama-33B、Llama2-13B以及国内主流的7B、13B开源模型相比，InterLM-20B在不足三分之一的参数量下，却达到了Llama2-70B的水平。书生·浦语大模型的发展历程彰显了这一变革的重要性。它从轻量级的7B社区模型，逐步升级到中量级的20B商业模型，再到重量级的123B全场景模型。提供了全链路部署的解决方案，包括模型轻量化、推理和服务，使得大模型在GPU上的部署更加高效，性能领先。工具，全方位评测模型性能，保证了评测结果的复现性，成为全球领先的大模型开源评测体系。

2024-08-04 22:19:49 703

rrrrroseyy的博客

原创茴香豆：企业级知识问答工具实践闯关任务

原创 MindSearch CPU-only 版部署

原创 InternVL 微调实践闯关任务

原创 LMDeploy 量化部署实践闯关任务

原创 Lagent 自定义你的 Agent 智能体

原创 OpenCompass 评测 InternLM-1.8B 实践

原创 XTuner 微调个人小助手认知任务

原创 Llamaindex RAG实践

原创 LangGPT结构化提示词编写实践

原创 8G显存玩转书生大模型 Demo

原创书生大模型全链路开源开放体系

原创 Datawhale AI夏令营 AI+逻辑推理——Task2

原创 Datawhale AI夏令营 AI+逻辑推理——Task1

原创书生大模型训练营（第三期）——入门岛

原创 Datawhale AI 夏令营 Task3——使用深度学习方案

原创 Datawhale AI 夏令营 Task2——入门lightgbm，开始特征工程

原创第十届NVIDIA Sky Hackathon比赛——货运智驾小助手

原创 Datawhale AI训练营

空空如也

空空如也