- 博客(14)
- 收藏
- 关注
RSS订阅原创 第四期书生大模型实战营【进阶岛】—— 茴香豆：企业级知识库问答工具
茴香豆是由书生·浦语团队开发的一款开源、专门针对国内企业级使用场景设计并优化的知识问答工具。在基础 RAG 课程中我们了解到，RAG 可以有效的帮助提高 LLM 知识检索的相关性、实时性，同时避免 LLM 训练带来的巨大成本。在实际的生产和生活环境需求，对 RAG 系统的开发、部署和调优的挑战更大，如需要解决群应答、能够无关问题拒答、多渠道应答、更高的安全性挑战。因此，根据大量国内用户的实际需求，总结出了三阶段Pipeline的茴香豆知识问答助手架构，帮助企业级用户可以快速上手安装部署。
2025-02-15 23:31:23
1002
原创 第四期书生大模型实战营【进阶岛】—— InternVL 多模态模型部署微调实践
# 1.导入相关依赖包## 2.使用你的模型初始化推理管线## 3.读取图片（此处使用PIL读取也行）## 4.配置推理参数## 5.利用 pipeline.chat 接口 进行对话，需传入生成参数## 6.之后的对话轮次需要传入之前的session，以告知模型历史上下文。
2025-02-15 14:03:27
762
原创 第四期书生大模型实战营【进阶岛】—— LMDeploy 量化部署进阶实践
相比使用BF16精度的kv cache，int4的Cache可以在相同4GB的显存下只需要4位来存储一个数值，而BF16需要16位。对于24GB的显卡，即30%A100，权重占用3.6GB显存，剩余显存24-3.6=20.4GB，因此kv cache占用20.4GB*0.8=16.32GB，加上原来的权重3.6GB，总共占用。默认的比例为0.8。可以看到，这里对两个端口进行了端口映射，一个是之前命令行使用的23333端口，一个是Gradio网页使用的。是4位的整数格式，占用0.5字节（4位）的存储空间。
2025-02-14 00:20:41
784
原创 第四期书生大模型实战营【进阶岛】—— Lagent 自定义你的 Agent 智能体
使用 Lagent 自定义工具主要分为以下3步：（1）继承BaseAction类（2）实现简单工具的run方法；或者实现工具包内每个子工具的功能（3）简单工具的 run 方法可选被tool_api装饰；工具包内每个子工具的功能都需要被tool_api装饰在文件夹下面创建一个天气查询的工具程序。import osraise EnvironmentError("未找到环境变量 'token'。
2025-02-13 18:05:38
919
原创 第四期书生大模型实战营【进阶岛】—— MindSearch 快速部署
MindSearch是一个开源的 AI 搜索引擎框架，具有与 Perplexity.ai Pro 相同的性能。🤔 任何你想知道的问题：MindSearch 通过搜索解决你在生活中遇到的各种问题。📚 深度知识探索：MindSearch 通过数百个网页的浏览，提供更广泛、深层次的答案。🔍 透明的解决方案路径：MindSearch 提供了思考路径、搜索关键词等完整的内容，提高回复的可信度和可用性。💻 多种用户界面：为用户提供各种接口，包括 React、Gradio、Streamlit 和本地调试。
2025-02-13 14:20:37
799
原创 第四期书生大模型实战营【基础岛】—— OpenCompass 评测书生大模型实践
其中 API 模式评测针对那些以 API 服务形式部署的模型，而本地直接评测则面向那些可以获取到模型权重文件的情况。会跳转到 FastAPI 的页面（我这里需要科学上网才能显示内容，否则是空白的，且直接复制网址到浏览器中是无法访问的）。为了解决一些本地评测时出现的报错问题，我们还需要重装一些 python 库。打开一个新终端，查看并打印注册的模型名称。进行修改，主要是修改本地模型所在的路径。首先打开一个终端，安装和部署模型。创建的模型配置文件完整路径是。文件夹中对应的模型名称，修改。
2025-02-13 00:22:18
626
原创 第四期书生大模型实战营【基础岛】—— XTuner 微调个人小助手认知
对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型，而是一个额外的层（Adapter），训练完的这个层最终还是要与原模型进行合并才能被正常的使用。模型转换的本质其实就是将原本使用 Pytorch 训练出来的模型权重文件转换为目前通用的 HuggingFace 格式文件。在模型合并完成后，我们就可以看到最终的模型和原模型文件夹非常相似，包括了分词器、权重文件、配置信息等等。，对应修改模型文件的路径，这里可以直接使用之前上传的模型。表示微调的模型权重文件路径，即要转换的模型权重，
2025-02-12 16:34:54
605
原创 第四期书生大模型实战营【进阶岛】—— 探索书生大模型能力边界
Q1 Leetcode 通过截图。Q2 Leetcode 通过截图。Q3 Leetcode 通过截图。Q4 Leetcode 通过截图。Q5 Leetcode 通过截图。
2025-02-11 23:42:16
423
原创 第四期书生大模型实战营【基础岛】—— InternLM + LlamaIndex RAG 实践
基于 LlamaIndex 构建自己的 RAG 知识库，寻找一个问题 A 在使用 LlamaIndex 之前 InternLM2-Chat-1.8B 模型不会回答，借助 LlamaIndex 后 InternLM2-Chat-1.8B 模型具备回答 A 的能力，截图保存。：基于 LlamaIndex 构建自己的 RAG 知识库，寻找一个问题 A 在使用 LlamaIndex 之前 浦语 API 不会回答，借助 LlamaIndex 后 浦语 API 具备回答 A 的能力，截图保存。
2025-02-11 16:45:14
564
原创 第四期书生大模型实战营【基础岛】—— 浦语提示词工程实践
由于版本3对于版本2的“按顺序给出实现步骤，并让模型给出逐步的思考过程”该修改未能实现，仅通过给定角色即获得了正确答案，因此单独使用版本4对该修改进行了测试。将不使用系统提示的书生浦语大模型作为 baseline 对比，提交的系统提示词要指导LLM表现出比baseline更高的性能，提供对比截图并加以分析说明即可。可以看到，版本4的回答是准确无误的，且给出的python代码也是可行的。模型的表现，使用该模型自动生成进一步细化的提示词，之后使用该提示词对。模型进行提问，以验证该提示词的效果。
2025-02-09 16:39:39
416
原创 大模型学习【提示词工程】—— 初识提示词工程
提示词工程（Prompt Engineering）是设计和完善提供给 ChatGPT 等语言模型的初始文本或输入（提示）以生成响应的过程。它涉及设计提示，以指导模型生成特定的语气、样式或内容类型。提示工程 vs. 微调提示工程微调资源效率需要高端 GPU 和大内存。只需要文本输入。成本效益对于基于云的 AI 服务，微调会产生巨大的成本。使用基础模型，通常更便宜。维护模型受模型版本限制，可能需要重新训练模型。更新提示可以在不同版本间正常工作，通常无需更改。时间效率。
2025-02-09 11:38:17
930
原创 第四期书生大模型实战营【基础岛】—— 玩转书生「多模态对话」与「AI搜索」产品
MindSearch 是一个开源的 AI 搜索引擎。它会对你提出的问题进行分析并拆解为数个子问题，在互联网上搜索、总结得到各个子问题的答案，最后通过模型总结得到最终答案。书生·浦语上的智能体为 MindSearch 的官方实现 (基于 InternLM2.5-20B) 具有与 Perplexity.ai Pro 相当的性能。以“目前生成式AI在学术和工业界有什么最新进展？子问题1：生成式AI在学术界的最新进展。子问题2：生成式AI在工业界的最新进展。（2）分步思考解决子问题。（3）总结子节点结论。
2025-02-07 23:38:59
752
原创 第四期书生大模型实战营【基础岛】—— 书生大模型全链路开源体系
您可以轻松部署它来构建您自己的搜索引擎，可以使用闭源 LLM（如 GPT、Claude）或开源 LLM（InternLM2.5 系列模型经过专门优化，能够在 MindSearch 框架中提供卓越的性能；）是一种评估方法，它通过在长文本中随机插入关键信息，形成大型语言模型(LLM)的Prompt。基于InternEvo训练框架，我们累计发布了一系列大语言模型，包括InternLM-7B系列和InternLM-20B系列，这些模型在性能上显著超越了许多知名的开源LLMs，如LLaMA和其他模型。
2025-02-07 16:34:15
901
原创 第四期书生大模型实战营——入门岛
SSH全称Secure Shell，中文翻译为安全外壳，它是一种网络安全协议，通过加密和认证机制实现安全的访问和文件传输等业务。SSH 协议通过对网络数据进行加密和验证，在不安全的网络环境中提供了安全的网络服务。SSH 是（C/S架构）由服务器和客户端组成，为建立安全的 SSH 通道，双方需要先建立 TCP 连接，然后协商使用的版本号和各类算法，并生成相同的会话密钥用于后续的对称加密。在完成用户认证后，双方即可建立会话进行数据交互。
2025-02-04 15:56:42
643
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人