- 博客(17)
- 收藏
- 关注
RSS订阅原创 InternLM进阶岛第3关LMDeploy 量化部署进阶实践
模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、kv cache占用的显存，以及中间运算结果占用的显存。--work-dir /root/models/internlm2_5-7b-chat-w4a16-4bit: 这是工作目录的路径，用于存储量化后的模型和中间结果。--calib-dataset 'ptb': 这个参数指定了一个校准数据集，这里使用的是’ptb’（Penn Treebank，一个常用的语言模型数据集）。激活是在神经网络中传播的数据，通常在每层运算之后产生。
2024-12-24 14:42:25
838
原创 InternLM第四期进阶岛第6关MindSearch 快速部署
由于硅基流动 API 的相关配置已经集成在了 MindSearch 中，所以我们在一个终端A中可以直接执行下面的代码来启动 MindSearch 的后端。如果启动前端后没有自动打开前端页面的话，我们可以手动用7882的端口转发地址打开gradio的前端页面。注意：如果是新建的codespace，在第一次创建conda环境时，需要conda init，，再次测试结果如下，就完成了MindSearch在Hugging Face上面的部署。即可打开前端页面，可以向其询问，等待一段时间后，会在页面上输出它的结果。
2024-12-10 20:48:40
900
原创 InternLM进阶岛第2关Lagent 自定义你的 Agent 智能体
Agent是一种能够自主感知环境并根据感知结果采取行动的实体，以感知序列为输入，以动作作为输出的函数。它可以以软件形式（如聊天机器人、推荐系统）存在，也可以是物理形态的机器（如自动驾驶汽车、机器人）。自主性：能够在没有外部干预的情况下做出决策。交互性：能够与环境交换信息。适应性：根据环境变化调整自身行为。目的性：所有行为都以实现特定目标为导向。Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。
2024-11-26 20:54:28
611
原创 InternLM进阶岛第4关InternVL 多模态模型部署微调实践
在InternVL2中，视觉模型的具体实现为InternViT，其参数量扩展到了6B，相比原来的ViT有了显著的提升。它可能是一个大型的预训练语言模型，如基于Transformer的架构，能够捕捉文本中的语义和上下文信息。在InternVL2中，语言模型与视觉模型通过特定的对齐和融合策略紧密地结合在一起，形成了一个真正的多模态模型。这些模型通常基于深度学习技术，能够理解和生成多种模态的数据，从而在各种复杂的应用场景中表现出强大的能力。例如，当视觉模型识别出一张图片时，语言模型能够生成描述这张图片的文字。
2024-11-24 22:20:26
931
原创 InternLM第四期基础岛第6关OpenCompass 评测书生大模型实践
这种评测方式虽然前期准备工作相对繁琐，需要考虑硬件资源，但好处是评测过程完全在本地完成，不依赖网络状态，而且你可以更灵活地调整模型参数，深入了解模型的性能表现。评测通过 API 访问的大语言模型，整个过程其实很简单。以 OpenAI 的 GPT 模型为例，你只需要在 OpenAI 官网申请一个 API Key，然后在评测配置文件中设置好这个密钥和相应的模型参数就可以开始评测了。通过完整开源可复现的评测框架，OpenCompass能够支持各类模型的高效评测，并帮助用户快速上手评测工具，迅速开展模型能力评估。
2024-11-13 20:01:21
1011
原创 InternLM第四期基础岛第5关XTuner 微调个人小助手认知
XTuner是一个专门为大语言模型和多模态模型设计的微调工具箱。它提供了高效的数据引擎、训练引擎和优化技术，帮助开发者在有限的计算资源下实现高效的大模型微调。XTuner支持多种热门开源数据集格式，如Alpaca、MOSS、Gunacao和OpenAI等，并提供了增量预训练和指令微调两种常用的微调模式。
2024-11-12 09:31:36
853
原创 InternLM第四期基础岛第3关浦语提示词工程实践
提示工程是一种通过设计和调整输入(Prompts)来改善模型性能或控制其输出结果的技术。在模型回复的过程中，首先获取用户输入的文本，然后处理文本特征并根据输入文本特征预测之后的文本，原理为，类似我们日常使用的输入法。指令要清晰（应包括：背景、任务、要求、限制条件、示例、输出格式和目标）提供参考内容复杂的任务拆分成子任务给 LLM“思考”时间(给出过程)使用外部工具系统性测试变化。
2024-11-10 14:09:53
630
原创 InternLM第四期基础岛第2关玩转书生「多模态对话」与「AI搜索」产品
它会对你提出的问题进行分析并拆解为数个子问题，在互联网上搜索、总结得到各个子问题的答案，最后通过模型总结得到最终答案。注意在最后一步时不要着急点确认，先复制好 tokens 妥善保管到自己的文件或者权限管理服务中。在这里我邀请书生浦语大模型做我的翻译官，帮助我翻译一篇英文文章。在这里我请他根据对图片内容的理解，给我一句诗来描述图片的内容。然后输入名称，即可生成自己的API token。最后总结子节点结论，给出回复。：截图保存对话内容并提交到飞书问卷。：截图保存对话内容并提交到飞书问卷。
2024-11-08 20:27:07
472
原创 InternLM第四期基础岛第1关书生大模型全链路开源体系
2024年7月4日，InternLM2.5开源，推理能力领先，支持100万字上下文，可以自主规划和搜索完成复杂任务。轻量级智能体框架Lagent，支持多种类型的智能体能力，灵活支持多种大语言模型，简单易拓展，支持丰富的工具。huixiangdou是群聊场景LLM知识助手，忽视无关的问题，直接回复明确的回答，不违背核心价值观。2023年7月6日，InternLM-7B开源率先免费商用，发布全链条开源工具体系。给模型一个超长的背景知识，模型是否能够非常准确的定位到相关的位置。b.基于模型的数据扩充。
2024-11-08 18:46:07
412
原创 InternLM第四期入门岛第四关玩转HF/魔搭/魔乐社区
internlm2_5-7b-chat 考虑到7B的模型文件比较大，这里我们先采用modelscope的cli工具（当然hugging face也有）来下载指定文件，在命令行输入以下命令。在魔乐社区一般有两种方法，第一种是安装好openmid后使用openmind的API来上传文件，另一个就是用git命令来推送文件，跟一般的git工作流相类似。进入导航栏模型库，搜索 internlm2_5-chat-1_8b，下载1.8b的对话模型，也类似于hugging face 一样拥有具体的详情页。
2024-11-07 23:15:06
741
原创 InternLM第四期入门岛第2关Python 基础知识
对于每个字符，我们同样将其转换为小写，并尝试从之前计算的字符计数中减去该字符的计数（表示我们使用了这个字符）。如果在任何时候，我们尝试减去一个字符的计数，但发现该字符的计数已经是0或负数（表示该字符在杂志中的数量不足以满足赎金信的需求），则我们可以立即断定无法用杂志来构造赎金信，并返回。遍历杂志字符串，对于每个字符，将其转换为小写（以确保不区分大小写），然后增加对应数组位置的计数。如果我们成功遍历了赎金信字符串而没有遇到任何问题（即所有字符的计数都足够），则我们可以断定可以用杂志来构造赎金信，并返回。
2024-10-31 20:23:07
297
原创 InternLM大模型进阶岛第5关：茴香豆-企业级知识库问答工具
在 InternStudio 中利用 Internlm2-7b 搭建标准版茴香豆知识助手，并使用 Gradio 界面完成 2 轮问答（问题不可与教程重复，作业截图需包括 gradio 界面问题和茴香豆回答）。知识库可根据根据自己工作、学习或感兴趣的内容调整，如金融、医疗、法律、音乐、动漫等。1、茴香豆：由书生·浦语团队开发的一款开源、专门针对国内企业级使用场景设计并优化的知识问答工具。茴香豆助手搭建在远程服务器上，因此需要先建立本地和服务器之间的透传，透传默认的端口为。傻瓜操作，安装和配置方便。
2024-10-12 10:51:18
300
原创 InternLM大模型基础岛第五关 ：XTuner微调个人小助手认知
使用 XTuner 微调 InternLM2-Chat-1.8B 实现自己的小助手认知，如下图所示（图中的伍鲜同志需替换成自己的昵称），记录复现过程并截图。1、XTuner微调：XTuner是一个专门为大语言模型和多模态模型设计的微调工具箱。它提供了高效的数据引擎、训练引擎和优化技术，帮助开发者在有限的计算资源下实现高效的大模型微调。XTuner支持多种热门开源数据集格式，如Alpaca、MOSS、Gunacao和OpenAI等，并提供了增量预训练和指令微调两种常用的微调模式。
2024-10-12 10:17:19
589
原创 InternLM大模型基础岛第四关：InternLM + LlamaIndex RAG 实践
基于 LlamaIndex 构建自己的 RAG 知识库，寻找一个问题 A 在使用 LlamaIndex 之前InternLM2-Chat-1.8B模型不会回答，借助 LlamaIndex 后 InternLM2-Chat-1.8B 模型具备回答 A 的能力，截图保存。2.RAG:是一种给模型注入新知识的一种方式，这种方式并不改变模型的权重，只是给模型引入格外的信息。然后再llamaindex_demo目录下新建一个app.py文件，方法如上，然后在该文件中输入下列代码。创建新的conda环境，命名为。
2024-10-09 20:39:52
425
原创 InternLM大模型第三期（闯关）
2.点击VSCode侧边栏的“Run and Debug”（运行和调试），然后点击“Run and Debug”（开始调试）按钮，或者按F5键，单击后会需要选择debugger和debug配置文件，我们单独debug一个python文件只要选择Python File就行。: step into: 进入函数或者方法。debug就是能再程序中设置中断点并支持一行一行地运行代码，观测程序中变量的变化，然后找出并修正代码中的错误。: step over：跳过，可以理解为运行当前行代码，不进入具体的函数或者方法。
2024-09-27 17:19:41
838
原创 InternLM大模型第三期（闯关）
其中：-p37367是端口号，每个人的端口号不同，需要在实际操作中进行修改。第一关：Linux基础知识。任务要求：完成SSH连接与。
2024-09-27 17:02:41
252
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人