不想让你知道我的昵称-优快云博客

原创【书生大模型实战营】进阶岛第6关 MindSearch 快速部署

在最后，将 /root/mindsearch/mindsearch_deploy 目录下的文件（使用 git）提交到 HuggingFace Space 即可完成部署了。按照教程，将 MindSearch 部署到 HuggingFace 并美化 Gradio 的界面，并提供截图和 Hugging Face 的Space的链接。由于硅基流动 API 的相关配置已经集成在了 MindSearch 中，所以我们可以直接执行下面的代码来启动 MindSearch 的后端。首先创建一个有写权限的token。

2024-09-02 16:09:39 519

原创【书生大模型实战营】进阶岛第5关茴香豆：企业级知识库问答工具

在 huixiangdou 文件加下创建 repodir 文件夹，用来储存知识库原始文档。再创建一个文件夹 workdir 用来存放原始文档特征提取到的向量知识库。茴香豆也用 gradio 搭建了一个 Web UI 的测试界面，用来测试本地茴香豆助手的效果。创建知识库，上传文档。

2024-09-02 13:31:22 340

原创【书生大模型实战营】进阶岛第4关 InternVL 多模态模型部署微调实践

修改XTuner下 InternVL的config，文件在： /root/InternLM/code/XTuner/xtuner/configs/internvl/v2/internvl_v2_internlm2_2b_qlora_finetune.py。使用pipeline进行推理。

2024-09-01 11:16:07 416

原创【书生大模型实战营】进阶岛第3关 LMDeploy 量化部署进阶实践

关于Function call，即函数调用功能，它允许开发者在调用模型时，详细说明函数的作用，并使模型能够智能地根据用户的提问来输入参数并执行函数。完成调用后，模型会将函数的输出结果作为回答用户问题的依据。准确说，模型量化是一种优化技术，旨在减少机器学习模型的大小并提高其推理速度。量化通过将模型的权重和激活从高精度（如16位浮点数）转换为低精度（如8位整数、4位整数、甚至二值网络）来实现。输入以下指令，让我们同时启用量化后的模型、设定kv cache占用和kv cache int4量化。

2024-08-30 16:32:11 1475

原创【书生大模型实战营】进阶岛第2关 Lagent 自定义你的 Agent 智能体

然后，我们将下面的代码复制进入 /root/agent_camp3/lagent/lagent/actions/magicmaker.py'dongman', # 动漫'guofeng', # 国风'xieshi', # 写实'youhua', # 油画'manghe', # 盲盒else:else:@tool_apiArgs:Returns:"""try:}),

2024-08-28 10:17:01 359

原创【书生大模型实战营】基础岛第6关 OpenCompass评测InternLM-1.8B实践

确保按照上述步骤正确安装 OpenCompass 并准备好数据集后，可以通过以下命令评测 InternLM2-Chat-1.8B 模型在 C-Eval 数据集上的性能。打开 opencompass文件夹下configs/models/hf_internlm/的hf_internlm2_chat_1_8b.py ,贴入以下代码。使用 OpenCompass 评测 internlm2-chat-1.8b 模型在 ceval 数据集上的性能，记录复现过程并截图。

2024-08-24 11:44:54 509

原创【书生大模型实战营】基础岛第5关 XTuner 微调个人小助手认知

该命令需要三个参数：CONFIG 表示微调的配置文件， PATH_TO_PTH_MODEL 表示微调的模型权重文件路径，即要转换的模型权重， SAVE_PATH_TO_HF_MODEL 表示转换后的 HuggingFace 格式文件的保存路径。在 XTuner 中提供了一键合并的命令 xtuner convert merge，在使用前我们需要准备好三个路径，包括原模型的路径、训练好的 Adapter 层的（模型格式转换后的）路径以及最终保存的路径。在安装 XTuner 之前，我们需要先创建一个虚拟环境。

2024-08-24 10:49:57 1481

原创【书生大模型实战营】基础岛第4关 InternLM + LlamaIndex RAG 实践

任务要求：基于 LlamaIndex 构建自己的 RAG 知识库，寻找一个问题 A 在使用 LlamaIndex之前InternLM2-Chat-1.8B模型不会回答，借助 LlamaIndex 后 InternLM2-Chat-1.8B 模型具备回答A 的能力。

2024-08-22 21:47:34 183

原创【书生大模型实战营】基础岛第3关浦语提示词工程实践

背景问题：近期相关研究发现，LLM在对比浮点数字时表现不佳，经验证，internlm2-chat-1.8b。(internlm2-chat-7b)也存在这一问题，例如认为13.8<13.11。任务要求：利用LangGPT优化提示词，使LLM输出正确结果。

2024-08-22 11:43:26 226

原创【书生大模型实战营】基础岛第2关 8G 显存玩转书生大模型 Demo

【代码】【书生大模型实战营】基础岛第2关 8G 显存玩转书生大模型 Demo。

2024-08-17 15:22:25 294

原创【书生大模型实战营】基础岛第1关书生大模型全链路开源体系

学术界比较主流的智能体框架Lagent：ReAct, ReWoo, AutoGPT。基于高质量的数据使用模型参与自身迭代，加速能力提升。与外部工具进行交互，来提高回复的可靠性。（4）OpenCompass评测体系。（2）支持100万Token上下文。（3）基于规划和搜索解决复杂问题。（2）预训练InternEvo。（5）部署LMDeploy。（3）微调XTuner。（1）强大的推理能力。

2024-08-17 15:00:23 194

原创【书生大模型实战营】入门岛第2关 Python 基础知识

可以一键把本地vscode的插件安装到开发机上。

2024-08-16 16:10:50 213

原创【书生大模型实战营】入门岛第1关 Linux基础知识

此时，本地还不能够访问，需要进行端口映射，找到我们的开发机，点击自定义服务，复制第一条命令，在本地的终端执行。这样就可以在本地访问了，VSCode提供了自动端口映射的功能，我们不需要手动配置，我们可以使用。这里使用VSCode Remote-SSH 插件连接开发机。输入收到的邮件中的邀请码就可以创建个人开发机了。创建hello_world.py并在开发机上运行。快捷键唤醒终端，在终端的右侧可以找到端口选项。复制开发机SSH连接中的内容进行连接。将本地生成的公钥输入到指定位置。在这里可以配置SSH Key。

2024-08-16 14:32:51 241

原创 c++课程设计——美发店管理系统

C++课程设计——美发店管理系统欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！这是你第一次使用 Markdown编辑器所展示的欢迎页。如果你想学习如

2021-07-08 17:31:27 3668 3

不想让你知道我的昵称的博客