- 博客(13)
- 收藏
- 关注
RSS订阅原创 书生大模型 - 进阶岛 - 第六关 -MindSearch 快速部署
由于硅基流动提供了免费的InternLM-2-7B-chat的API链接（白嫖硅基流动），在github codespaces构建了服务，并将 MindSearch 部署到 HuggingFace 的 Gradio 界面，打开即可以体验MindSearch的应用。还是很具体的，把游戏背景、角色介绍、玩法和主要打怪方式都列举的很详细，不得不说MindSearch还是很不错的。最后一关，有点激动。MindSearch是一个很不错的平台，具体可见。搜索一下当下最时髦的黑悟空如何过关。，有论文和具体实现过程。
2024-08-27 22:34:42
547
原创 书生大模型 - 进阶岛 - 第五关 - 茴香豆企业级知识库问答工具
配置模型，由于远程服务器已安装了相关模型，不用再次下载。4. 我拿一篇文章进行了测试，《九天智慧网络仿真平台设计和开放服务.pdf》，在gradio提供的网页服务中进行了配置，对pipeline type进行了配置，最终进行了回答。我问的是xtuner微调如何实现，然后可以依次可以看到，pipeline首先进行了重新query过程，找到主语和主题，然后根据语义进行匹配，然后综合起来进行回答。最终对初次回答的内容进行了过滤，最后呈现了问答。RAG和知识库问答，一个基本泛滥的主题，不再铺垫。
2024-08-27 22:06:27
424
原创 书生大模型 - 进阶岛 - 第四关 - InternVL 多模态模型部署微调实践
3. 微调训练过程，采用了xtuner中已集成的qlora方式，训练了3000个图像和对话，batch 选择了4，adamW优化器，选择了6圈，epoch一般为3，数据量越大训练epoch可减小，越小可适当增加。1. 首先了解下微调模型调整的参数，多模态模型其整体架构如下，整体模型大小26B，chatLLM 大小为20B，通过几层MLP 映射到6B的 VIT模块，在这个中间还有Pixel Shuffle层，作者称之为。个人理解，微调后的回答还是有些意思的，虽然不是爆梗，但也算中规中矩的冷笑话了。
2024-08-27 21:50:18
646
1
原创 书生大模型 - 进阶岛 - 第三关 - LMDeploy 量化部署进阶实践
由于计算（3+5）*2 其实是两次逻辑操作，如果一个足够智能的agent，自行控制流程，并进行下一次输入中间计算的参数，然而不行的是，我们发现是写死的，过程是写死的，'3+5={func1_out}',这种方式平添了人工。可以推算，KV-cache实际应该是（40-1.5)* 0.4 = 15.4GB, 模型参数1.5GB ，激活大概0.5GB 总共是17.4GB， 与显示数值相同；存储一个词元的 KV 缓存所需的内存大致为。采用了 1.8B 模型，BF16格式，那么模型参数占用的是3.6 GB。
2024-08-26 12:15:07
890
原创 书生大模型 - 基础岛 - 第六关 - OpenCompass应用
1. 配置准备，包含数据集准备、模型准备，较为简单的是有标准答案客观评测的比对，而难度较高的是需要人类或者模型的主管评测比对，还需要设置评测模型（GPT-4）这种模型来进行高阶准备；（1）是自己构建评测集，由于存在数据污染问题，训练的时候对测试题目都进行了训练，考虑到实际场景应用，需要自己构建评测集，这一点要全流程贯穿，考虑模型配置和数据集配置；本测试集使用Ceval 评测，主要是高中和大学的各科评测题，60个左右评测集，每个测试集包含20~200个题目不等，考虑模型推理速度，所以这些题目数目还是很多的。
2024-08-12 09:22:31
318
原创 书生大模型 - 基础岛 - 第五关 - XTuner 微调个人小助手
构建微调数据集地时候，增加了3750条地自我认知数据，说实话这些数据还是很有问题地，容易让模型过拟合，重复地数据还是会造成数据污染和过拟合等问题，但为了验证微调地demo，所以只是示意一下，所以呢，后续要在构建微调数据集上面做文章；这是之前地模型自我认知，应该还是之前模型地微调过程中是有相关地微调任务，并没有注入自己地核心认知。微调模型，这一章是看的最多也最感兴趣的一节，后面会更加仔细地研究；后续是微调后的模型，初步有了认知，其他方面的回答能力尚可。
2024-08-11 22:13:52
311
原创 书生大模型 - 基础岛 - 第四关 - LlamaIndex RAG 实践
这是采用了RAG之后的回答，明显回答靠谱了，在此就不过多介绍了，RAG的技术细节还是很多的，尤其最新的GraphRAG等等这些最新的技术。RAG具体的原理不过多介绍了，网上内容非常多，大家可以搜一下，这边主要介绍下如何实践；核心的代码如下， 主要就是模型向量切分、构建索引以及语义检索匹配的过程，核心代码如下。这是没有使用RAG之前的模型回答，明显不知道潘大小伙子是谁，这个人我查了下也不存在；
2024-08-11 22:05:13
387
原创 书生大模型 - 基础岛 - 第三关 -浦语提示词工程实践
模型初期提示词的作用很小，尤其在2B的时候对指令的理解能力很弱，这个时候提示词的改变并不能有多大的提升；核心点在于提示词示例中提供了一种思路方法，即将小数位转化为同位小数，通过直接比较小数位大小来判断，这样来调整其理解小数位大小比较，同时以数学教授的角色提示词来细心回答数学相关问题，这一点能够很好地理解用户的指令和意图。1. LangGPT提示词方法论：这是一个标准的标准的模块化的结构化提示词方法，以尽可能结构化人机对话和任务完成的提示词为目标，在此之下提示词包含。
2024-08-11 21:45:13
312
原创 书生大模型 - 基础岛 - 第一关 - 书生·浦语大模型全链路开源体系
涵盖了从数据、预训练、微调、部署评测和应用框架的完整链条，个人理解书生体系在数据集开放、微调工具以及最为知名的openCompass工作确实做的还不错，知名度还可以，花了很长时间功夫来实现了整体开源体系；高质量的语料也应用在书生内生大模型体系当中，高质量语料的数据吻合效应更加突出，对于Loss分布图中就能够看出来，以更少的模型参数，实现更强的性能；2. 微调能力，X-tuner，是书生体系重点打造的能力，比较重要的一点是上海人工智能实验室有很强的显卡储备，可以实现全链路纳管；
2024-08-01 11:21:14
222
原创 InternVL - Lab 入门岛闯关-第二关 Python
1. wordcount 编程：难度并不是很大，主要考察对于str 的熟悉程度，以及一些正则表达式，不过也可进行穷举方法，这一块还是自己手写了一下，不要用LLM 作弊哦。这一块不是很明确，在针对比较复杂的依赖关系的时候，为什么使用命令行，优势到底是什么，难道是减少中间的繁琐过程吗，希望在后续学习中对这个问题保持持续关注。2.1.1 主要对换行、标点符号的处理结果上，看看是否列的全，这个地方可以用正则表达式也可只保留空格和大小字母和` 字符，其他都不要，因人而异。2.1.2 转换为小写是否正确；
2024-07-21 21:17:13
289
原创 InternVL - Lab 入门岛闯关-第一关 Linux
1.1 总体评估：没有什么难度，教程每一步都介绍的详细也很实用，尤其是在端口映射、开发机、docker和VS code链接上教程的很详细，通过端口映射，使得在VS Code 上很轻量级的与开发机进行安全隧道链接，并进行实时开发和运行测试。试了很多个，再次不再一一展示了，tumx组件非常好用，且很有意义，解决session单一对话不便批量处理且attach的问题，这个后面要好好研究；整体来说，这个教程化繁为简，把复杂的问题简化，不过分叙述概念和专业术语，先有感性认识和上手，非常不错。
2024-07-21 21:03:38
185
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人