- 博客(5)
- 资源 (1)
- 收藏
- 关注
原创 moe-lora了解
MoRAL解决了将LLMs适应新领域/任务的挑战,并使用MOE技术使它们成为高效的终身学习者。MoCLE提出了一种MoE架构,根据指令集群激活任务定制的模型参数。为了协助多用户的需求,使用多层lora层,在把input以及prompt作为输入,对于输入的隐藏状态进行编码,输入给moe 的路由模块,由路由决定把这些信息输入给具体哪一个lora layer。LLaVA-MoLE有效地将令牌路由到特定领域的LoRA专家,减少了数据冲突,并在原始LoRA方法上实现了一致的性能提升。
2024-10-31 22:15:37
346
原创 论文阅读【Prompt Compression for Large Language Models: A Survey】
软提示方法将文本压缩成更少的特殊标记,。在软提示中,经过压缩的标记(Ci)关注了所有之前的输入标记(Ii)之后,随后的输出标记(Oi)不能关注压缩标记之前的标记。软提示是可训练的、连续的向量,与LLM字典中的标记嵌入具有相同的维度(Zhao等人,2023)。与硬提示不同,软提示中的标记经过高度训练,以传达无法通过预定义词汇中的离散标记捕获的细微含义。移除不必要的或信息量低的内容(硬提示方法)和在嵌入空间中学习提示信息的连续表示(软提示方法)本综述提供了提示压缩技术的概述,将其分为硬提示方法和软提示方法。
2024-10-22 13:29:42
398
1
原创 论文阅读【EXPLORING MODEL KINSHIP FOR MERGING LARGE LANGUAGE MODELS】
*局限性:**模型融合已成为增强大型语言模型(LLMs)能力和效率的关键技术之一,但是对于合并任意两个模型的性能提升和原则理解有限。**工作:**1.引入模型亲缘度概念,即LLMs之间的相似度或相关性的程度。发现模型亲缘度与模型合并后的性能提升之间存在一定的关系,这可以帮助我们选择候选模型。2.提出一种新的模型合并策略:Top-k Greedy Merging with Model Kinship效果:持续进行模型合并,减轻模型进化中的退化(局部最优解)
2024-10-21 18:48:44
339
1
原创 初次尝试调用gpt 的api(一)
环境:google的colab报错:You tried to access openai.ChatCompletion, but this is no longer supported in openai>=1.0.0 - see the README at https://github.com/openai/openai-python for the API.但是我在github上面的Usage上找到的代码运行也还是这个错误,不得已,我把openai降到了0.28版本,客服了这个问题。
2024-05-29 15:30:05
953
二叉树的 实现 插入遍历
2020-04-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅