- 博客(16)
- 收藏
- 关注
RSS订阅原创 OpenCompass 大模型评测作业（lesson 7）
研究评测可以帮助我们更好地规划大型语言模型未来的发展，并预防未知和潜在的风险。随着大型语言模型的不断演进，其能力也在不断增强。通过合理科学的评测机制，我们能够从进化的角度评估模型的能力，并提前预测潜在的风险，这是至关重要的研究内容。
2024-06-09 09:26:31
950
3
原创 Lagent&AgentLego：轻量级智能体框架组装智能体“乐高”（lesson 6作业）
在本节中，我们将基于 Lagent 自定义一个工具。Lagent 中关于工具部分的介绍文档位于使用 Lagent 自定义工具主要分为以下几步：1). 继承 BaseAction 类2). 实现简单工具的 run 方法；或者实现工具包内每个子工具的功能3). 简单工具的 run 方法可选被 tool_api 装饰；工具包内每个子工具的功能都需要被 tool_api 装饰下面我们将实现一个调用和风天气 API 的工具以完成实时天气查询的功能。IMPORTANT]
2024-06-07 05:26:18
1076
原创 LMDeploy 量化部署 LLM & VLM 实战作业（含进阶）（lesson 5）
选择镜像Cuda12.2-conda；选择10% A100*1GPU；点击“立即创建”。
2024-06-06 17:16:04
756
原创 (书生·浦语实战营（二期）：OpenCompass 大模型评测实战（lesson 7）
研究评测对于我们全面了解大型语言模型的优势和限制至关重要。尽管许多研究表明大型语言模型在多个通用任务上已经达到或超越了人类水平，但仍然存在质疑，即这些模型的能力是否只是对训练数据的记忆而非真正的理解。例如，即使只提供LeetCode题目编号而不提供具体信息，大型语言模型也能够正确输出答案，这暗示着训练数据可能存在污染现象。其次，研究评测有助于指导和改进人类与大型语言模型之间的协同交互。考虑到大型语言模型的最终服务对象是人类，为了更好地设计人机交互的新范式，我们有必要全面评估模型的各项能力。
2024-06-04 15:49:02
497
原创 书生·浦语实战营（二期）：Lagent & AgentLego 智能体应用搭建（lesson 6）
可以感知环境中的动态条件。能采取动作影响环境。能运用推理能力理解信息、解决问题、产生推断、决定动作。Lagent作为一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。支持多种智能体范式。（如 AutoGPT、ReWoo、ReAct）支持多种工具。（如谷歌搜索、Python解释器等）本节中，我们将基于 Lagent 自定义一个工具。
2024-06-04 14:56:32
877
原创 书生·浦语大模型实战：LMDeploy 量化部署 LLM & VLM 实践（lesson 5）
LMDeploy 由 MMDeploy 和 MMRazor 团队联合开发，是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。核心功能包括高效推理、可靠量化、便捷服务和有状态推理。LMDeploy开发了Continuous Batch，Blocked K/V Cache，动态拆分和融合，张量并行，高效的计算kernel等重要特性。InternLM2推理性能是vLLM的 1.8 倍。•LMDeploy支持权重量化和k/v量化。4bit模型推理效率是FP16下的2.4倍。
2024-06-04 08:36:21
794
原创 基于 XTuner 微调一个具有个人认知的小助手（lesson 4作业，含进阶）
在本节重点学习了模型训练过程中的种种细节内容，包括了模型训练中的各个参数以、权重文件的选择方式以及模型续训的方法。
2024-06-02 14:32:52
1136
原创 书生·浦语大模型实战：XTuner 微调 LLM: 1.8B、多模态和 Agent（lesson 4）
微调是指在已经预训练好的大型语言模型基础上，使用特定的数据集进行进一步的训练，使模型适应特定任务或领域。微调主要目的是，完成知识注入、指令对齐。在大模型应用中，指令微调已成为预训练大模型在实际业务应用最重要的方式。许多垂直领域模型，都是在预训练模型的基础上，通过针对性的指令微调，可以更好地适应最终任务和对齐用户偏好。
2024-05-31 16:39:45
983
原创 部署InternLM Studio“茴香豆”知识助手（lesson 3）作业
3.从网络上搜关于汤晓鸥老师的生平和各种相关信息，整理出一篇《汤晓鸥文集》，pdf格式。完成不少于 400 字的笔记 + 线上茴香豆助手对话截图(不少于5轮)在 InternLM Studio 上部署茴香豆技术助手，已完成。在茴香豆 Web 版中创建自己领域的知识问答助手，已完成。4.将《汤晓鸥文集》文件，通过茴香豆web页面上传。1.创建知识库bbj_doudou;6.跟茴香豆助手进行了对话。5.简单设置了一下正反例；2.进入新创建的知识库;
2024-05-15 01:37:58
585
原创 书生·浦语大模型实战：部署InternLM Studio“茴香豆”知识助手（lesson 3）
RAG（Retrieval Augmented Generation）是一种结合了检索（Retrieval）和生成（Generation）的技术，旨在通过利用外部知识库来增强大型语言模型（LLMs）的性能。它通过检索与用户输入相关的信息片段，并结合这些信息来生成更准确、更丰富的回答。茴香豆是一个基于LLMs的领域知识助手，由书生浦语团队开发的开源大模型应用。• 专为即时通讯（IM）工具中的群聊场景优化的工作流，提供及时准确的技术支持和自动化问答服务。
2024-05-14 23:45:22
1046
2
原创 书生·浦语大模型实战：部署浦语·灵笔2 模型（lesson 2-4）
浦语·灵笔2 是基于 书生·浦语2 大语言模型研发的突破性的图文多模态大模型，具有非凡的图文写作和图像理解能力，在多种应用场景表现出色.自由指令输入的图文写作能力： 浦语·灵笔2 可以理解自由形式的图文指令输入，包括大纲、文章细节要求、参考图片等，为用户打造图文并貌的专属文章。生成的文章文采斐然，图文相得益彰，提供沉浸式的阅读体验。准确的图文问题解答能力：浦语·灵笔2 具有海量图文知识，可以准确的回复各种图文问答难题，在识别、感知、细节描述、视觉推理等能力上表现惊人。
2024-05-14 08:57:40
874
1
原创 书生·浦语大模型实战：部署InternLM2-Chat-7B 模型（lesson 2-3）
Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。
2024-05-14 04:01:48
1119
1
原创 书生·浦语大模型实战：部署 InternLM2-Chat-1.8B（lesson 2-1）
创建 Intern Studio 开发机，通过 Modelscope 下载 InternLM2-Chat-1.8B 模型，完成 Client Demo 的部署和交互。
2024-05-14 01:28:02
887
1
原创 书生·浦语大模型实战：部署八戒InternLM2-Chat-1.8B（lesson 2-2）
八戒-Chat-1.8B、Chat-嬛嬛-1.8B、Mini-Horo-巧耳 均是在第一期实战营中运用 InternLM2-Chat-1.8B 模型进行微调训练的优秀成果。其中，八戒-Chat-1.8B 是利用《西游记》剧本中所有关于猪八戒的台词和语句以及 LLM API 生成的相关数据结果，进行全量微调得到的猪八戒聊天模型。作为 Roleplay-with-XiYou 子项目之一，八戒-Chat-1.8B 能够以较低的训练成本达到不错的角色模仿能力，同时低部署条件能够为后续工作降低算力门槛。
2024-05-14 01:13:21
950
1
原创 书生·浦语大模型全链路开源体系发展历程和特点（lesson 1）
73年前，“机器思维”的概念第一次被计算机科学之父艾伦·图灵（Alan Turing）提出。73年后，AI历经了数十年的不断进化迭代，随着ChatGPT的问世，开启了人类图灵测试的史诗级大幕。
2024-05-12 01:37:23
794
原创 七牛云批量下载和批量删除实际操作
七牛云是国内知名的云服务商，使用的人不少。但是在日常维护上，经常需要批量下载备份或批量删除。但空间面板里并没有提供方便易用的操作选项，日常维护相对麻烦一点。因为业务转向，不再需要七牛云的产品服务，因此需要下载备份所有数据，同时清理空间。以下是实际操作提示：以下是本篇文章正文内容，下面案例可供参考以上就是对七牛云数据的批量下载和批量删除的全部内容，希望能帮到一些新人。在csdn第一次写文章，经验不足，还不知道怎么上传文件包。可能写的不是很清楚，各位大佬多多包涵。
2024-02-04 22:24:47
1463
2
七牛云批量下载删除文件工具包
2024-02-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人