- 博客(15)
- 收藏
- 关注
RSS订阅原创 多模态大模型微调参数对比
可见就是 r 越高确实能提高生成的准确性，尤其当用户没有明确问来自哪个菜系时，模型对于生成内容的概率分布会随着r升高而变得更准确（比如r=8的模型会坚持把口水鸡和四川火锅关联在一起，多次生成同一结果说明错误的概率分布占比较大）。鸡蛋肠粉和羊肉抓饭也认出来了，比r=8好的是口水鸡说的很对，不过最后的叉烧肉还是说错了，我查了一下广东荔枝肉，和图中的叉烧肉还是有不小差别的。测评案例：羊肉抓饭（新疆），肠粉（粤菜），口水鸡（川菜），叉烧肉（粤菜）再测试一次，r=128的模型又说对了。
2024-12-22 23:47:11
196
原创 L2G4000InternVL 多模态模型部署微调实践
算力50%A100，显存40G首先是量化模型的LMDeploy配置，请参考，配置是一样的，不需要再重新搭建了然后是xtuner，本来是可以用和之前一样的环境，然而我手贱不小心创建了一个同名环境，结果它竟然不报错，最后整的原来环境没法用了，大悲xtuner环境：LMDeploy环境：可以用量化部署那一章的，也可以用本章的。不过为了防止报错，gradio最好是对应版本。
2024-12-21 22:00:45
876
1
原创 L2G3000 LMDeploy 量化部署进阶实践
LMDeploy 是一个用于压缩、部署、服务 LLM 的工具包，由 MMRazor 和 MMDeploy 团队开发。它具有以下核心功能：1.高效推理引擎（TurboMind）：开发持久批处理（又称连续批处理）、阻塞KV缓存、动态拆分融合、张量并行、高性能CUDA内核等关键特性，确保LLM推理的高吞吐和低延迟。2.交互式推理模式：通过在多轮对话过程中缓存注意力的k/v，引擎会记住对话历史，从而避免历史会话的重复处理。3.量化：LMDeploy 支持多种量化方法和量化模型的高效推理。
2024-12-21 15:25:05
772
原创 L2G2000 Lagent--自定义你的 Agent 智能体
Agent智能体简单来说就是给LLM提供查询工具，让他可以通过这些工具来完成特定任务。毕竟，如果你直接问llm某个任务该怎么做，那llm一般会返回一堆废话，让你去做这做那，而Agent就是让llm来执行这些看似废话的逻辑推理，并通过提供的查询接口等来完成特定任务。Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。Arxiv 搜索Bing 地图Google 学术搜索Google 搜索。
2024-12-14 00:50:42
694
原创 L1G3000 浦语提示词工程实践
综上所述，字母“r”在单词“strawberry”中出现了2次。Role：你是一个字母计数专家 Neglect：你在计数时会忽略掉单词的具体含义 Skills：你在计数时有独特的技巧 （1）首先，你会对单词中的所有字母进行编号，比如对“dad”一词，编号结果为[d-1，a-2，d-3] （2）然后，你会遍历整个字母串，记录目标字母的所有编号，比如对”dad“一词，d的编号有[d-1，d-3]（3）编号出现的次数总和就是目标字母出现的次数 Question：“strawberry”中有几个字母“r”
2024-12-06 22:47:51
869
原创 L1G6000 OpenCompass 评测书生大模型实践
然后，在运行以上脚本时，可能会出现缺少rouge或者metaplt的情况。若是缺少rouge，就要用pip先卸载，在安装一遍（版本1.0.1）下面是在指定位置设置puyu_api.py。接着获取api，设置api_key。缺少后者则用conda安装。按照步骤即可，输入以下代码。至此，评测也就完成了。
2024-12-06 21:40:33
308
原创 L1G4000 InternLM + LlamaIndex RAG 实践
然后是在下载 Sentence Transformer 模型部分，发现用py脚本容易断网报错，所以建议用git，也很快。至此，我们成功使用llama'index和书生的API实现了RAG，使得大模型获得了额外的知识库。可以看出，利用RAG让模型获得关于XTuner的知识库，大模型成功对XTuner有了正确的了解。由于XTuner是非常新的技术，大模型还不知道他，所以这里大模型基本上实在乱说。首先获取知识库，直接git得到XTuner的使用说明。使用RAG前，向大模型提问XTuner相关问题。
2024-12-06 18:13:43
208
原创 L1G5000 XTuner 微调个人小助手认知
按照步骤来即可，但注意，csdn上的文章可能只有下面第一行，这是因为他们的开发机已经装过cuda版本的torch了，来安装xtuner自带的torch不是cuda版本的，这回导致后面训练无法进行。因此，安装cuda版本的torch是必要的，不过transformers库可以不用另外安装了，xtuner依赖的就可以。
2024-12-05 20:50:32
304
原创 书生第四期--玩转书生「多模态对话」与「AI搜索」产品 - 任务
Hinton是深度学习领域的先驱之一，他的工作为神经网络的发展奠定了基础，这在AI研究中是一项革命性的突破。面对这种情况，有效的时间管理、保持健康的生活习惯（如充足的睡眠、健康的饮食和适度的运动），以及寻求社会支持（如与朋友、家人或导师交流）都是减轻压力的重要策略。3. 研究资金增加：AI领域的成就得到如此高级别的认可，可能会吸引更多的研究资金投入到这个领域，从而促进技术的发展和应用的扩展。2. 交叉学科的促进：此举可能鼓励更多的科学家和研究人员探索AI与传统物理学的交叉领域，推动新理论和技术的产生。
2024-12-04 20:09:33
531
1
原创 书生大模型全链路开源开放体系--笔记
4. 数据过滤&智能评估 ：在模型训练过程中，对收集到的数据进行筛选和清洗，确保只有高质量的数据被用于模型训练，从而提高模型的性能和准确性。利用模型的能力辅助人工标注，提高数据标注的效率和质量，进一步优化模型的训练数据。书生大模型的开源工具体系为用户提供了从模型训练到部署的全链条支持，包括模型训练框架、数据处理工具、模型评估工具、模型部署方案。
2024-12-04 19:21:26
498
原创 书生第四期，入门作业1
使用以上代码，就能将开发机的9997端口映射到本机了，在本机上输入127.0.0.1:9997，即可访问开发机的9997端口。（注：9997是xinference的端口，因为最近在使用chatchat所以经常用到）ok，以上就是入门1的闯关任务了，刚刚排上队，接下来使用开发机操作。由于在排队，使用autodl来完成Linux基础作业。安装gradio包，此处转到powershell操作。新建hello_world.py。运行hello_world.py。（网卡，图没加载出来。本机配置为Win10。
2024-12-04 16:44:36
157
原创 中国农业大学计算机网络考试（李想老师2023秋）
(2)10M以太网，退避系数r=100，求开始退避后多久能再传数据？如果是100M以太网呢？3.(1)2km长的线，传播速度200000km/s，带宽1Gbit/s，求最小帧长。3.发送窗口和发送缓存关系，接收窗口和接收缓存关系，画出来。翻译题：10分，都是比较简单的常见的，注意第九章会考一两个。4.单模光纤是什么？祝学弟学妹们能取得好成绩！简答题：6*5，挺难的说实话。1.距离说明最长前缀匹配原则。2.为什么WiFi经常很卡？5.什么会造成处理时延？1.IP数据报首部格式。
2023-11-20 20:03:07
565
4
原创 浅浅记录下第一次tomcat打开jsp的经历
首先，我们都知道，搭建一个简单web的要素就如下几个，前后端（jsp、mysql），服务器（tomcat），还有jdbc驱动。实际上多简单一玩意儿，但是吧，这里面涉及到3个版本问题：jdk，tomcat，mysql。首先，mysql基本上都8.0的了，jdk呢，1.6~1.8都有，tomcat最好用新的，9or10。然而，老师给咱们的事2011的tomcat7，这也是悲剧的开始。报了一堆错，解决一个错一个，去找解决方法，被一个魂淡坑了。也用了这个环境变量，兼容了，就能打开了。，导致不兼容，打不开。
2023-06-24 18:10:26
56
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人