自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(5)
  • 资源 (1)
  • 收藏
  • 关注

原创 moe-lora了解

MoRAL解决了将LLMs适应新领域/任务的挑战,并使用MOE技术使它们成为高效的终身学习者。MoCLE提出了一种MoE架构,根据指令集群激活任务定制的模型参数。为了协助多用户的需求,使用多层lora层,在把input以及prompt作为输入,对于输入的隐藏状态进行编码,输入给moe 的路由模块,由路由决定把这些信息输入给具体哪一个lora layer。LLaVA-MoLE有效地将令牌路由到特定领域的LoRA专家,减少了数据冲突,并在原始LoRA方法上实现了一致的性能提升。

2024-10-31 22:15:37 346

原创 论文阅读【Prompt Compression for Large Language Models: A Survey】

软提示方法将文本压缩成更少的特殊标记,。在软提示中,经过压缩的标记(Ci)关注了所有之前的输入标记(Ii)之后,随后的输出标记(Oi)不能关注压缩标记之前的标记。软提示是可训练的、连续的向量,与LLM字典中的标记嵌入具有相同的维度(Zhao等人,2023)。与硬提示不同,软提示中的标记经过高度训练,以传达无法通过预定义词汇中的离散标记捕获的细微含义。移除不必要的或信息量低的内容(硬提示方法)和在嵌入空间中学习提示信息的连续表示(软提示方法)本综述提供了提示压缩技术的概述,将其分为硬提示方法和软提示方法。

2024-10-22 13:29:42 398 1

原创 论文阅读【EXPLORING MODEL KINSHIP FOR MERGING LARGE LANGUAGE MODELS】

*局限性:**模型融合已成为增强大型语言模型(LLMs)能力和效率的关键技术之一,但是对于合并任意两个模型的性能提升和原则理解有限。**工作:**1.引入模型亲缘度概念,即LLMs之间的相似度或相关性的程度。发现模型亲缘度与模型合并后的性能提升之间存在一定的关系,这可以帮助我们选择候选模型。2.提出一种新的模型合并策略:Top-k Greedy Merging with Model Kinship效果:持续进行模型合并,减轻模型进化中的退化(局部最优解)

2024-10-21 18:48:44 339 1

原创 初次尝试调用gpt 的api(一)

环境:google的colab报错:You tried to access openai.ChatCompletion, but this is no longer supported in openai>=1.0.0 - see the README at https://github.com/openai/openai-python for the API.但是我在github上面的Usage上找到的代码运行也还是这个错误,不得已,我把openai降到了0.28版本,客服了这个问题。

2024-05-29 15:30:05 953

原创 【关于千问模型部署相关】

大语言模型的部署

2024-05-28 20:17:19 378

二叉树的 实现 插入遍历

二叉树 遍历 插入 二叉树的三种遍历,先,中,后遍历 二叉树的遍历分为以下三种: 先序遍历:遍历顺序规则为【根左右】 中序遍历:遍历顺序规则为【左根右】 后序遍历:遍历顺序规则为【左右根】 什么是【根左右】?就是先遍历根,再遍历左孩子,最后遍历右孩子; 举个例子,看下图(图从网上找的): 先序遍历:ABCDEFGHK 中序遍历:BDCAEHGKF 后序遍历:DCBHKGFEA 以中序遍历为例: 中序遍历的规则是【左根右】,我们从root节点A看起; 此时 是根节点,遍历A的左子树; A的左子树存在,找到B,此时B看做根节点,遍历B的左子树; B的左子树不存在,返回B,根据【左根右】的遍历规则,记录B,遍历B的右子树; B的右子树存在,找到C,此时C看做根节点,遍历C的左子树; C的左子树存在,找到D,由于D是叶子节点,无左子树,记录D,无右子树,返回C,根据【左根右】的遍历规则,记录C,遍历C的右子树; C的右子树不存在,返回B,B的右子树遍历完,返回A; 至此,A的左子树遍历完毕,根据【左根右】的遍历规则,记录A,遍历A的右子树; A的右子树存在,找到E,此时E看做根节点,遍历E的左子树; E的左子树不存在,返回E,根据【左根右】的遍历规则,记录E,遍历E的右子树; E的右子树存在,找到F,此时F看做根节点,遍历F的左子树; F的左子树存在,找到G,此时G看做根节点,遍历G的左子树; G的左子树存在,找到H,由于H是叶子节点,无左子树,记录H,无右子树,返回G,根据【左根右】的遍历规则,记录G,遍历G的右子树; G的右子树存在,找到K,由于K是叶子节点,无左子树,记录K,无右子树,返回G,根据【左根右】的遍历规则,记录F,遍历F的右子树; F的右子树不存在,返回F,E的右子树遍历完毕,返回A; 至此,A的右子树也遍历完毕; 最终我们得到上图的中序遍历为BDCAEHGKF,无非是按照遍历规则来的; 根据“中序遍历”的分析,相信先序遍历和后序遍历也可以轻松写出~

2020-04-27

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除