- 博客(8)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 书生浦语大模型第四课作业
使用这个额外的参数对话的模型和整合后的模型几乎没有什么太多的区别，因此我们可以通过测试不同的权重文件生成的 adapter 来找到最优的 adapter 进行最终的模型整合工作。比如说我们这里是希望在问出 “请你介绍一下你自己” 或者说 “你是谁” 的时候，模型能够给你的回复是 “我是XXX的小助手...” 这样的回复。而对于全量微调的模型（full）其实是不需要进行整合这一步的，因为全量微调修改的是原模型的权重而非微调一个新的 adapter ，因此是不需要进行模型整合的。假如加上的话应该是这样的。
2024-04-20 16:38:14
1703
原创 第三课茴 香豆实战
初始化环境下载或者拷贝模型文件使用modelscope下载#模型下载bce-embedding-base_v1: 中英双语，及其跨语种embedding模型for RAGbce-reranker-base_v1: 中英日韩，及其跨语种reranker模型for RAG拷贝share目录下的模型# internlm2-chat-7b 之前课程已做好软连接不用动下载代码，并切换到教程的提交点，安装依赖修改配置。
2024-04-13 11:33:05
2387
1
原创 书生浦语大模型-第三课笔记
RAG: 检索增强生成， 通俗理解为检索引擎，从知识库中所有相关内容，结合大语言模型生成回答。第一步： 生成索引， 将知识源文件，网页等分割成chunk，编码成向量存储到向量数据库中。第二步： 将用户的问题编码成向量在向量数据库中检索第三步： 将检索到的片段与远程问题一起作为提示给大模型生成最终回答的问题，返还给用户三种RAG的范式：Naive RAG： 即索引，检索，生成三部分构成的最基本的泛式， 这种范式经常用于简答的问答系统和信息检索场景中Advanced RAG： 在三个基础部分之外对检索前后都进行
2024-04-07 23:04:29
497
1
原创 书生浦语第二课笔记
可以理解自由形式的图文指令输入，包括大纲、文章细节要求、参考图片等，为用户打造图文并貌的专属文章。生成的文章文采斐然，图文相得益彰，提供沉浸式的阅读体验。打开powershell映射本地端口： (-p 为开发机的ssh端口， 6006为服务器应用端口， 127.0.0.1:6006为映射为本机的端口)具有海量图文知识，可以准确的回复各种图文问答难题，在识别、感知、细节描述、视觉推理等能力上表现惊人。模型，在13项多模态评测中大幅领先同量级多模态模型，在其中6项评测中超过。
2024-04-05 10:26:22
1286
1
原创 第二课趣闻demo作业
conda activate demo # 进入配置好的conda环境。下载慢也可以从/share/new_models拷贝。初始化环境, 创建虚拟机选择30% A100算力。
2024-04-01 19:05:23
431
原创 书生*浦语大模型第一个学习笔记
RLHF 会先训练一个reward model，让reward model去学习什么要的回复是更符合人类偏好，再让这个reward model去指导大模型进行学习，从而引导大模型输出更符合人类标注的回复。SFT（Supervised Fine-Tuning）是一种有监督的学习方式，给定输入和输出，模型来学习从输入到输出的这种映射关系。InternLM2-Base: 高质量和具有很轻可塑性的模型基座，是模型进行深度领域适配的高质量起点。专用模型也指目前普遍应用的小模型，是指应用于一个专业领域的模型。
2024-03-31 22:59:47
374
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人