HOPStudio的博客

原创 LMDeploy量化部署

部署要时间，先ssh链接开发机，使用localhost:6006在本地浏览器登陆网页，等服务成功运行就会出现gradio页面，可以对话。新建一个终端，部署模型，控制kv缓存占用剩余显存的最大比例为0.4，添加一个参数在命令后面就行。然后是量化部署，杀完终端新建的时候一定不能忘了conda。运行一下，注意模型名字，量化的是1.8b和7b是不一样的。最后量化1.8b模型，把时间加满去睡觉，醒来就搞好了。量化vl2-26b耗时太长，开启新的开发机封装api。左边点×，杀掉终端，把窗口关了是没有用的。

原创 Lagent：从零搭建你的 Multi-Agent

修改/root/agent_camp4/lagent/lagent/actions/__init__.py，在最后替换就行。修改agent_api_web_demo.py，用下面的替换前段代码就行。打开multi_agents_api_web_demo.py，写入代码。apikey前面不能有空格，不然会报错，加上代码去掉空格可能会好一点。运行代码，关闭终端的先把浦语apitoken添加到环境变量再运行。正常输出，但是他要apikey，这和说好的不一样啊。ctrl+c关闭运行的脚本，在终端里粘贴代码。

原创 InternVL 多模态模型部署微调实践

微调参数在/root/xtuner/xtuner/configs/internvl/v2/internvl_v2_internlm2_2b_lora_finetune_food.py，按照写好的参数就行了，路径啥的都填好了，不用改，直接运行（记得把之前推理用的命令行关了）建议使用10%配置进行环境配置，io性能是一样的，50%更加消耗算力，这io性能简直差到离谱。改完重启demo.py，别忘了把环境激活了，旧的命令行也要关掉，不然会爆显存。然后是微调，我的开发机里面已经没有xtuner了，可以克隆一个。

原创 浦语提示词工程实践

清晰的解释问题就行。

原创 玩转书生「多模态对话」与「AI搜索」产品

原创 玩转HF/魔搭/魔乐社区

下载两个文件。

原创 git闯关

icjztdhop/Internlm-cathttps://github.com/icjztdhop/Internlm-cat

原创 python关

原创 jellyfin

【代码】jellyfin。

原创 Lagent 自定义你的 Agent 智能体

开发机选择 30% A100，镜像选择为 Cuda12.2-conda。首先来为 Lagent 配置一个可用的环境。接下来通过源码安装的方式安装 lagent。按照上述方法开启webdemo，修改参数。还是搜索mindsearch论文。接下来，在本地浏览器中打开。

原创 OpenCompass测评Internlm-1.8b模型

打开 opencompass文件夹下configs/models/hf_internlm/的hf_internlm2_chat_1_8b.py,贴入以下代码。测评过程极其漫长，以10%A100的实力，测评一份数据集仅需2-4步，但是执行的平均速度达到了惊人的70s/it，意味着进行一份数据集测试耗时3-5分钟不等。使用的方法均为同一方法，模型也相同，但是数据会有巨大差异，分数相差将近100%测试项目包括艺术，医学，文化，会计等等，竟然还有毛泽东思想。我的测试结果：27.03。样本1的结果：13.51。

原创 XTuner 微调个人小助手认知任务

模型能够认清自己的弟位，并且在泛化性上依旧保持良好。进行qlora训练之前大模型表现。进行qlora训练之后大模型表现。

原创 LlamaIndex RAG

使用RAG知识库前，模型回答。使用RAG知识库后，模型回答。

原创 云端部署InternLM2-Chat-1.8B 模型

小白开始寻找这种草药，它走了很长时间，穿越了森林，翻过了山脉，穿过了河流，最终来到了一个神秘的洞穴。小白开始寻找这种草药，它走了很长时间，穿越了森林，翻过了山脉，穿过了河流，最终来到了一个神秘的洞穴。小白开始寻找这种草药，它走了很长时间，穿越了森林，翻过了山脉，穿过了河流，最终来到了一个神秘的洞穴。小白开始寻找这种草药，它走了很长时间，穿越了森林，翻过了山脉，穿过了河流，最终来到了一个神秘的洞穴。小白终于找到了这种草药，它把草药带回家中，用它治愈了所有的疾病，小白也因此成为了花园里最受欢迎的动物。

原创 提示词工程

下面使用上述langGPT对模型提示词进行优化，对于数学计算，workflow中内容对结果影响较大。而且模型比较有脾气，当我问10遍同样的问题模型就会拒绝回答，但是问别的依旧能够正常回答。例如，书生·浦语模型在认识13.8和13.11两个数值大小方面表现不佳。利用langGPT来让AI以更高效率输出正确的内容。有脾气了，但是“你好”还是能正常回复。但是当纯中文表达时，结果又能比较精确。但是对比负数时仍然出问题。进行数值比较会更加准确。啊这，中华文化博大精深。

原创 书生大模型全链路开源体系

InternLM2的发布，不仅代表了开源社区在大型语言模型领域的重大突破，也为研究者和开发者提供了一个高性能、多用途的工具箱，推动了自然语言处理技术的发展。通过对高质量多样数据的精心准备、创新的预训练策略及有效的数据管理，InternLM2在多个维度展现了卓越性能，为迈向通用人工智能的道路提供了坚实的基础。

原创 Python 关卡

编写word count脚本。自己写一段话也成功输出。选择语言python。

原创 Linux + InternStudio 关卡

编写hello world.py。成功打印hello world。