- 博客(14)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 进阶岛第5关 茴香豆部署
三阶段 Pipeline （前处理、拒答、响应），提高相应准确率和安全性。笔记：茴香豆的特点（企业级的 RAG 知识问答系统）（感觉web端，没有命令行的回答好呢。并使用 Gradio 界面完成 2 轮问答。打通微信和飞书群聊天，适合国内知识问答场景。适配性强，兼容多个 LLM 和 API。任务要求：部署茴香豆到服务器，
2024-08-25 18:48:43
273
原创 进阶岛第6关 mindsearch huggingface部署
硅基流动提供了免费的 InternLM2.5-7B-Chat 服务（免费的 InternLM2.5-7B-Chat 真的很香），MindSearch 的部署与使用也就迎来了纯 CPU 版本，进一步降低了部署门槛。那就让我们来一起看看如何使用硅基流动的 API 来部署 MindSearch。stepB. 部署用git提交教程参看建立好space的页面代码（先clone space到终端，然后拷贝要提交的文件到该文件夹。Hugging Face 的Space的链接。（重要步骤及处理笔记）
2024-08-23 20:20:58
282
原创 进阶岛第4关 InternVL多模态微调
InternVL 是一种用于多模态任务的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。对于InternVL这个模型来说，它vision模块就是一个微调过的ViT，llm模块是一个InternLM的模型。2. 尝试使用LoRA，或调整xtuner的config，如LoRA rank，学习率。选定的任务是让InternVL-2B生成文生图提示词，这个任务需要VLM对图片有格式化的描述并输出。进行实验，上面已经提到。
2024-08-20 16:17:38
440
原创 【无标题】
ERNIE-4.0-8K-Preview-0518 w/search (百度文心一言)ERNIE-4.0-8K-Preview-0518 w/search (百度文心一言)ERNIE-4.0-8K-Preview-0518 w/search (百度文心一言)ERNIE-4.0-8K-Preview-0518 w/search (百度文心一言)模型B ERNIE-4.0的回答，条理性更强，对景点完成了分类，更为友好高效。A的描述笼统，泛泛而谈，叙述方式平淡，个人更喜欢B的风格。B的描述更吸引人，更确切。
2024-08-15 19:25:53
718
原创 进阶岛·第三关（LMDeploy 量化部署进阶实践）
TurboMind与TurboMind模型的关系：TurboMind是推理引擎的名字，TurboMind模型是一种模型存储格式，TurboMind引擎只能推理TurboMind格式的模型。可以从Modelscope，OpenXLab下载相应的HF模型，下载好HF模型，下面的步骤就和使用LMDeploy运行InternLM2一样啦。，它的主要功能包括：LLaMa 结构模型的支持，continuous batch 推理模式和可扩展的 KV 缓存管理器。是LMDeploy团队开发的一款关于LLM推理的。
2024-08-09 12:36:56
670
原创 进阶岛·第2关 定义智能体
（重要步骤笔记：首先输入模型 IP 为 127.0.0.1:23333，在输入完成后按下回车键以确认。并选择插件为 ArxivSearch，以让模型获得在 arxiv 上搜索论文的能力。
2024-08-08 20:18:24
1494
原创 基础岛·第6关 OpenCompass评测
由于数据污染的源头是出现在 LLM 所用的训练数据中，因此最直接的检测数据污染的方法就是将测试数据与训练数据进行碰撞，然后汇报两者之间有多少语料是重叠出现的，经典的 GPT-3 论文中的表 C.1 会报告了相关内容。：一般是在的基座模型的基础上，经过指令微调或人类偏好对齐获得的模型（如OpenAI的ChatGPT、上海人工智能实验室的书生·浦语），能理解人类指令，具有较强的对话能力。本算法库的主要评测对象为语言大模型与多模态大模型。我们以语言大模型为例介绍评测的具体模型类型。
2024-08-07 23:03:19
498
原创 基础岛·第5关 XTuner fine-tuning
"text": "书生·浦语大模型实战营第三期是上海人工智能实验室推出的书生·浦语大模型实战营系列活动的第三批次，将于2024年7月正式进行。在准备好了模型和数据集后，我们就要根据我们选择的微调方法结合微调方案来找到与我们最匹配的配置文件了，从而减少我们对配置文件的修改量。（fine-tuning）是一种基于预训练模型，通过少量的调整（fine-tune）来适应新的任务或数据的方法。但模型无法回答它来是实战营做什么的问题。配置文件其实是一种用于定义和控制模型训练和测试过程中各个方面的参数和设置的工具。
2024-08-07 20:51:19
430
原创 基础岛第4关·RAG
基于 LlamaIndex 构建自己的 RAG 知识库，寻找一个问题 A 在使用 LlamaIndex 之前InternLM2-Chat-1.8B模型不会回答，借助 LlamaIndex 后 InternLM2-Chat-1.8B 模型具备回答 A 的能力，截图保存。选用了LlamaIndex框架。LlamaIndex 是一个上下文增强的 LLM 框架，旨在通过将其与特定上下文数据集集成，增强大型语言模型（LLMs）的能力。它允许您构建应用程序，既利用 LLMs 的优势，又融入您的私有或领域特定信息。
2024-08-06 17:52:49
180
原创 基础岛第三关 提示词
那么在下一次运行新的终端时，可以通过指令tmux a -t langgpt重新进入。：近期相关研究发现，LLM在对比浮点数字时表现不佳，经验证，internlm2-chat-1.8b (internlm2-chat-7b)也存在这一问题，例如认为。（注意SSH操作，是在电脑自带的cmd窗口，而不是在服务器上的终端运行以下指令。不要被我的伟岸身姿吓倒,我就是来教导你们这些平庸之辈的。2. 由于服务需要持续运行，需要将进程维持在后台，所以这里使用tmux软件创建新的命令窗口。凡人们,在本大师面前不要装逼。
2024-08-06 12:56:12
1260
原创 InternLM大模型第三期（闯关·第2关）
使用本地vscode连接远程开发机，将上面wordcount函数在开发机上进行debug，体验debug的全流程，并完成一份debug笔记(需要截图)。请实现一个wordcount函数，统计英文字符串中每个单词出现的次数。返回一个字典，key为单词，value为对应单词出现的次数。# 这里使用正则表达式替换掉标点符号和空格之外的字符，然后替换多个空格为一个空格。# 调用wordcount函数并打印单词计数结果。# 去除标点符号并转换为小写。# 创建字典，完成单词计数。#定义wordcount函数。
2024-07-19 00:15:41
475
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人