
算力闯关作业
文章平均质量分 91
2401_87990658
这个作者很懒,什么都没留下…
展开
-
1 配置LMDeploy环境
打开,进入如下界面并按箭头指示顺序点击。点选开发机,自拟一个开发机名称,选择镜像。我们要运行参数量为7B的InternLM2.5,由查询InternLM2.5-7b-chat的config.json文件可知,bfloat16所以我们需要大于14GB的显存,选择(24GB显存容量),后选择,等状态栏变成运行中,点击,我们即可开始部署。在终端中,让我们输入以下指令,来创建一个名为lmdeploy的conda环境,python版本为3.10,创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。原创 2025-02-12 14:31:31 · 761 阅读 · 0 评论 -
Lagent:从零搭建你的 Multi-Agent
Agent是一种能够自主感知环境并根据感知结果采取行动的实体,以感知序列为输入,以动作作为输出的函数。它可以以软件形式(如聊天机器人、推荐系统)存在,也可以是物理形态的机器(如自动驾驶汽车、机器人)。自主性:能够在没有外部干预的情况下做出决策。交互性:能够与环境交换信息。适应性:根据环境变化调整自身行为。目的性:所有行为都以实现特定目标为导向。Lagent 是一个轻量级开源智能体框架,旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。原创 2025-02-10 16:07:40 · 1737 阅读 · 0 评论 -
OpenCompass 评测
OpenCompass 提供了和两种方式。其中 API 模式评测针对那些以 API 服务形式部署的模型,而本地直接评测则面向那些可以获取到模型权重文件的情况。我们首先在训练营提供的开发机上创建用于评测 conda 环境:cd /root更多使用说明,请参考 OpenCompass。原创 2025-02-08 21:37:31 · 690 阅读 · 0 评论 -
XTuner 微调实践微调
parser.add_argument("--new_text", default="你的名字", help="Text to replace with")对于全量微调的模型(full)其实是不需要进行整合这一步的,因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ,因此是不需要进行模型整合的。,在使用前我们需要准备好三个路径,包括原模型的路径、训练好的 Adapter 层的(模型格式转换后的)路径以及最终保存的路径。本节中,我们将演示如何安装 XTuner。原创 2025-02-08 01:16:09 · 724 阅读 · 0 评论 -
XTuner 微调实践微调
parser.add_argument("--new_text", default="你的名字", help="Text to replace with")对于全量微调的模型(full)其实是不需要进行整合这一步的,因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ,因此是不需要进行模型整合的。,在使用前我们需要准备好三个路径,包括原模型的路径、训练好的 Adapter 层的(模型格式转换后的)路径以及最终保存的路径。本节中,我们将演示如何安装 XTuner。原创 2025-02-08 00:36:26 · 1812 阅读 · 0 评论 -
LlamaIndex+InternLM API 实践
给模型注入新知识的方式,可以简单分为两种方式,一种是内部的,即更新模型的权重,另一个就是外部的方式,给模型注入格外的上下文或者说外部信息,不改变它的的权重。st.session_state.messages = [{"role": "assistant", "content": "你好,我是你的助手,有什么我可以帮助你的吗?st.session_state.messages = [{"role": "assistant", "content": "你好,我是你的助手,有什么我可以帮助你的吗?原创 2025-02-06 23:30:57 · 639 阅读 · 0 评论 -
LangGPT结构化提示词编写实践
参考答案 (能正确得到答案 3 即可)原创 2025-02-06 16:50:26 · 216 阅读 · 0 评论 -
玩转书生「多模态对话」与「AI搜索」产品
一般情况下主节点会根据子节点得出的结论,总结形成最终回复部分情况下,主节点会根据子节点得到的结论进一步拆解子问题回到步骤 (1) 直到得到最终结论。原创 2025-02-05 13:03:15 · 801 阅读 · 0 评论 -
玩转HF/魔搭/魔乐社区
我们将深入探索如何充分利用 Hugging Face、魔搭社区和魔乐社区的资源和工具,学习模型下载、上传以及创建您的专属Space,玩转三大平台。注册登录ModelScope平台,进入导航栏模型库,可以搜索internlm找到相关模型(但是这也包括非官方模型),在这里我们可以搜索 internlm2_5-chat-1_8b,下载1.8b的对话模型,也类似于hugging face 一样拥有具体的详情页。它旨在汇集来自AI社区的最先进的机器学习模型,并简化在实际应用中使用AI模型的流程。原创 2025-01-27 21:35:14 · 591 阅读 · 0 评论 -
Git+InternStudio 关卡
这里提供了介绍文件的模板(路径。原创 2025-01-26 20:25:50 · 871 阅读 · 0 评论 -
Python
当你刚开始学习Python编程时,可能会遇到代码不按预期运行的情况。这时,你就需要用到“debug”了。简单来说,“debug”就是能再程序中设置中断点并支持一行一行地运行代码,观测程序中变量的变化,然后找出并修正代码中的错误。而VSCode提供了一个非常方便的debug工具,可以帮助你更容易地找到和修复错误。原创 2025-01-25 18:37:42 · 1806 阅读 · 0 评论 -
Linux+InternStudio 关卡
InternStudio 是大模型时代下的云端算力平台。基于 InternLM 组织下的诸多算法库支持,为开发者提供开箱即用的大语言模型微调环境、工具、数据集,并完美兼容 🤗 HugginFace 开源生态。首先打开上面的链接进入InternStudio,完成登录会自动跳转到控制台界面,如下图所示:下面给大家讲一下每一个序号对应页面的功能:①. 在这里可以创建开发机,以及修改开发机配置和查看相关日志等。②. 这里可以可视化。原创 2025-01-24 18:40:23 · 661 阅读 · 0 评论