<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[REfusing的博客]]></title><description><![CDATA[Little By Little]]></description><link>https://blog.youkuaiyun.com/REfusing</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; REfusing]]></copyright><item><title><![CDATA[Rethinking Data Selection at Scale: Random Selection is Almost All You Need]]></title><link>https://blog.youkuaiyun.com/REfusing/article/details/144013660</link><guid>https://blog.youkuaiyun.com/REfusing/article/details/144013660</guid><author>REfusing</author><pubDate>Sun, 24 Nov 2024 21:10:59 +0800</pubDate><description><![CDATA[在这项研究中，我们观察到许多自监督微调（SFT）数据选择方法依赖于小规模数据集，这些数据集并不满足实际场景的需求。这一发现使我们重新思考，在需要处理大规模IT数据集时，SFT数据选择方法是否仍然有效。我们在两百万规模的数据集上重现了一些现有的自评分数据选择方法，这些方法不需要外部大语言模型（LLM）的支持，结果发现几乎所有现有方法在处理大规模数据集时都没有显著超过随机选择。此外，我们的分析显示，在SFT阶段，数据选择中的数据多样性比数据质量更为重要。]]></description><category></category></item><item><title><![CDATA[Retrieval Augmented Generation or Long-Context LLMs? A Comprehensive Study and Hybrid Approach]]></title><link>https://blog.youkuaiyun.com/REfusing/article/details/144010304</link><guid>https://blog.youkuaiyun.com/REfusing/article/details/144010304</guid><author>REfusing</author><pubDate>Sun, 24 Nov 2024 17:38:37 +0800</pubDate><description><![CDATA[背景：根据长文本内容回答问题：输入：长文本100k策略：直接作为大模型的输入RAG：长文本进行分片，然后quey选择相关内容，作为大模型的输入检索增强RAG现在已经成为LLM的外挂，基于query检索相关知识。然而，像Gemini和GPT-4这样的最近发布的LLM已经展现出了直接理解长文本的非凡能力，相关内容直接作为数据，效果更好，但是花费更高。RAG相对而言更省钱。本文主要探索长文本和RAG结合的方式：Self-Route：本文提出的策略。]]></description><category></category></item><item><title><![CDATA[LLM padding left or right]]></title><link>https://blog.youkuaiyun.com/REfusing/article/details/137975373</link><guid>https://blog.youkuaiyun.com/REfusing/article/details/137975373</guid><author>REfusing</author><pubDate>Fri, 19 Apr 2024 20:31:51 +0800</pubDate><description><![CDATA[感觉pading left or right， 其实无所谓，主要就是为了方便。根据实际情况的具体需求，进行使用，用的正确，方便即可。]]></description><category></category></item><item><title><![CDATA[大模型中top-p&top-k&temperature如何共同使用——Gemma为例子]]></title><link>https://blog.youkuaiyun.com/REfusing/article/details/137866583</link><guid>https://blog.youkuaiyun.com/REfusing/article/details/137866583</guid><author>REfusing</author><pubDate>Wed, 17 Apr 2024 12:02:06 +0800</pubDate><description><![CDATA[之前系统学习了大模型的解码方式，Top-p, Top-k, Beam-search, Greedy, temperature等等，具体使用的时候，也清楚采用这些方式混合使用，但是具体怎么混合，有些模糊。看了一篇相关文章大模型文本生成——解码策略（Top-k & Top-p & Temperature），如下图所示，解决了我一些理解方面的问题，但是感觉还有有些模糊，仔细研究了一下Gemma，记录一下。]]></description><category></category></item><item><title><![CDATA[CodeGemma: Open Code Models Based on Gemma]]></title><link>https://blog.youkuaiyun.com/REfusing/article/details/137747341</link><guid>https://blog.youkuaiyun.com/REfusing/article/details/137747341</guid><author>REfusing</author><pubDate>Sun, 14 Apr 2024 17:03:58 +0800</pubDate><description><![CDATA[CodeGemma基于谷歌开源的文本大模型Gemma，结构上跟LLama差不太多。]]></description><category></category></item><item><title><![CDATA[Qwen1.5-MoE: Matching 7B Model Performance with 1/3 Activated Parameters]]></title><link>https://blog.youkuaiyun.com/REfusing/article/details/137154660</link><guid>https://blog.youkuaiyun.com/REfusing/article/details/137154660</guid><author>REfusing</author><pubDate>Fri, 29 Mar 2024 20:13:54 +0800</pubDate><description><![CDATA[大模型太卷了，总感觉天天出新的模型。今天看公众的号，看到阿里Qwen发布一款总模型7B，推理时，激活参数2.7B的大模型。仔细看了一下他的技术报告，记录一下。]]></description><category></category></item><item><title><![CDATA[DBRX: A New State-of-the-Art Open LLM——基于专家LLM]]></title><link>https://blog.youkuaiyun.com/REfusing/article/details/137122253</link><guid>https://blog.youkuaiyun.com/REfusing/article/details/137122253</guid><author>REfusing</author><pubDate>Thu, 28 Mar 2024 20:51:21 +0800</pubDate><description><![CDATA[一个由Databricks创建的开放的通用LLM。在一系列标准基准测试中，DBRX为已建立的开放LLM设定了新的最先进水平。此外，它为开放社区和企业构建自己的LLM提供了以前仅限于封闭模型API的功能；根据我们的测量，它超过了GPT-3.5，并与Gemini 1.0 Pro具有竞争力。它是一个特别有能力的代码模型，在编程方面超过了CodeLLaMA-70B等专门模型，此外它作为通用LLM的实力。这种最先进的质量在训练和推理性能方面有显著的改进。]]></description><category></category></item><item><title><![CDATA[Query2doc——Query改写]]></title><link>https://blog.youkuaiyun.com/REfusing/article/details/137057527</link><guid>https://blog.youkuaiyun.com/REfusing/article/details/137057527</guid><author>REfusing</author><pubDate>Tue, 26 Mar 2024 21:54:52 +0800</pubDate><description><![CDATA[本文介绍了一种简单但有效的查询扩展方法，称为 query2doc，旨在提升稀疏(如BM25)和密集检索(如E5,bge-m3等 )系统的性能。该方法首先通过少量样本提示大型语言模型（LLMs）生成伪文档，然后使用生成的伪文档来扩展查询。LLMs 是训练于网络规模的文本语料库，并擅长于知识记忆。来自 LLMs 的伪文档通常包含高度相关的信息，有助于查询消歧并引导检索器。]]></description><category></category></item><item><title><![CDATA[如何修改大模型的位置编码 --以LLama为例]]></title><link>https://blog.youkuaiyun.com/REfusing/article/details/136988379</link><guid>https://blog.youkuaiyun.com/REfusing/article/details/136988379</guid><author>REfusing</author><pubDate>Sun, 24 Mar 2024 15:37:51 +0800</pubDate><description><![CDATA[最近在看RoPE相关内容，一些方法通过简单修改位置编码就可以无需训练支持更长的文本内容。由于一些模型，已经训练好了，但是怎么修改已经训练好的模型位置编码。查了以下相关代码，记录一下。原理这里就不细讲了，贴几个相关博客。]]></description><category></category></item><item><title><![CDATA[Mixtral MOE代码理解]]></title><link>https://blog.youkuaiyun.com/REfusing/article/details/136773542</link><guid>https://blog.youkuaiyun.com/REfusing/article/details/136773542</guid><author>REfusing</author><pubDate>Sun, 17 Mar 2024 01:30:47 +0800</pubDate><description><![CDATA[我在看MOE的时候，虽然大概能够理解MOE的模型结构，但是看一些作者实现的代码（应该不是官方代码），虽然写的很好，但是始终理解无法彻底理解他代码的意思，于是，简单运行了一下，特此记录一下。]]></description><category></category></item><item><title><![CDATA[P-Tunning V2简单理解]]></title><link>https://blog.youkuaiyun.com/REfusing/article/details/136724679</link><guid>https://blog.youkuaiyun.com/REfusing/article/details/136724679</guid><author>REfusing</author><pubDate>Thu, 14 Mar 2024 23:29:18 +0800</pubDate><description><![CDATA[之前看过P-tunning V2, 知道他得思想，最近突然想到了这件事，仔细看了一下他得代码实现，重新看了一遍，记录一下。图片源于：https://zhuanlan.zhihu.com/p/423902902P-Tunning V2的思路，仅仅通过微调连续的一些虚拟Token进行训练，固定模型的其它参数，从而实现低成本微调。]]></description><category></category></item><item><title><![CDATA[Gemma中RoPE代码详细讲解]]></title><link>https://blog.youkuaiyun.com/REfusing/article/details/136714664</link><guid>https://blog.youkuaiyun.com/REfusing/article/details/136714664</guid><author>REfusing</author><pubDate>Thu, 14 Mar 2024 17:32:40 +0800</pubDate><description><![CDATA[以上就是我对RoPE代码实现的理解，相比原来理解的方式，这种相对更加简洁，但是略有一些绕。]]></description><category></category></item><item><title><![CDATA[KoPA: Making Large Language Models Perform Better in Knowledge Graph Completion]]></title><link>https://blog.youkuaiyun.com/REfusing/article/details/135128313</link><guid>https://blog.youkuaiyun.com/REfusing/article/details/135128313</guid><author>REfusing</author><pubDate>Thu, 21 Dec 2023 14:06:58 +0800</pubDate><description><![CDATA[本来这个论文用来组会讲的，但是冲突了，没怎么讲，记录一下供以后学习。]]></description><category></category></item><item><title><![CDATA[CP-KGC: Constrained-Prompt Knowledge Graph Completion with Large Language Models]]></title><link>https://blog.youkuaiyun.com/REfusing/article/details/135093857</link><guid>https://blog.youkuaiyun.com/REfusing/article/details/135093857</guid><author>REfusing</author><pubDate>Tue, 19 Dec 2023 21:52:47 +0800</pubDate><description><![CDATA[知识图谱补全(Knowledge graph completion, KGC)的目的是利用已有的知识来预测知识图谱中的缺失链接（即确实的实体和关系）。基于文本的方法，如SimKGC，已经优于图嵌入方法（即结构嵌入，只利用三元租的信息），展示了归纳KGC的前景。补充一下，其实只是再WN18RR数据集上比较好，在FB5k-上就比较拉。然而，基于文本的方法的有效性取决于实体文本描述的质量。在本文中，我们确定了大型语言模型（LLM）是否能够生成有效的文本的关键问题。]]></description><category></category></item><item><title><![CDATA[SimKGC: Simple Contrastive Knowledge Graph Completion with Pre-trained Language Models]]></title><link>https://blog.youkuaiyun.com/REfusing/article/details/135021633</link><guid>https://blog.youkuaiyun.com/REfusing/article/details/135021633</guid><author>REfusing</author><pubDate>Fri, 15 Dec 2023 18:30:15 +0800</pubDate><description><![CDATA[目前，比较流行的知识图谱补全模型，通常喜欢使用结构化的信息即（h,r,t）的这种形式进行知识图谱补全。但是这种方式其实可以使用的特征有限，增加额外信息-实体描述（或者叫文本信息，我习惯性交实体描述，差不多一个意思，不要纠结），可以提高模型的表达或者特征。目前在WN18RR数据集上评分最高的模型，就基于实体描述信息，为什么只提WN18RR，因为在FB15k-237上，效果不咋地，后面细说。]]></description><category></category></item><item><title><![CDATA[MoDS: Model-oriented Data Selection for Instruction Tuning]]></title><link>https://blog.youkuaiyun.com/REfusing/article/details/135015524</link><guid>https://blog.youkuaiyun.com/REfusing/article/details/135015524</guid><author>REfusing</author><pubDate>Fri, 15 Dec 2023 15:32:12 +0800</pubDate><description><![CDATA[一些论文证明Instruction tuning证明只需要很少的数据集就可以实现与人类意图对齐，并且大模型LLM并不能从Instruction tuning中学到东西，仅仅是生成一些可靠的格式。该论文提出通过模型，自动化选取一些少量并且高质量的数据。论文中认为从三个方面，Instruction tuning数据质量、多样性，以及必要性三个方面进行Instruction tuning数据的选取。对于数据质量：质量要求所选的指令数据对问题和答案都足够好。对于数据多样性：覆盖范围要求所选指令数据足够多样化。]]></description><category></category></item><item><title><![CDATA[Leetcode 刷题总结]]></title><link>https://blog.youkuaiyun.com/REfusing/article/details/129280690</link><guid>https://blog.youkuaiyun.com/REfusing/article/details/129280690</guid><author>REfusing</author><pubDate>Wed, 01 Mar 2023 14:46:38 +0800</pubDate><description><![CDATA[最近正在刷题，时间久了一些想法可能就忘记了，特此写此片论文，记录一下一些题目的解体思路，供以后参看。]]></description><category></category></item><item><title><![CDATA[令人又爱又恨的torch.argsort用法]]></title><link>https://blog.youkuaiyun.com/REfusing/article/details/126907203</link><guid>https://blog.youkuaiyun.com/REfusing/article/details/126907203</guid><author>REfusing</author><pubDate>Sat, 17 Sep 2022 16:31:38 +0800</pubDate><description><![CDATA[每次使用argsort用法，让人又爱又狠，一段时间不用，就忘了其如何使用，导致花费大量的实践进行理解，刚开始学习这个函数时认为这个函数输出每个数的排名，例如[4, 7, 9, 8]->[0, 1, 3, 2]， 从小到大进行排名，但是实际上并不是这个作用，而实将数据进行排名，排名的数字是原始数据的id。所有其显示内容与我们预期结果不符。]]></description><category></category></item><item><title><![CDATA[位运算练习]]></title><link>https://blog.youkuaiyun.com/REfusing/article/details/126386504</link><guid>https://blog.youkuaiyun.com/REfusing/article/details/126386504</guid><author>REfusing</author><pubDate>Wed, 17 Aug 2022 15:42:57 +0800</pubDate><description><![CDATA[位运算练习]]></description><category></category></item><item><title><![CDATA[Leetcode:剑指 Offer 59 - I. 滑动窗口的最大值]]></title><link>https://blog.youkuaiyun.com/REfusing/article/details/125112632</link><guid>https://blog.youkuaiyun.com/REfusing/article/details/125112632</guid><author>REfusing</author><pubDate>Fri, 03 Jun 2022 14:55:14 +0800</pubDate><description><![CDATA[给定一个数组 nums 和滑动窗口的大小 k，请找出所有滑动窗口里的最大值。采取优先队列，队首为大的元素，有限队列中存入两个数据，数值和位置，首先把前k个数据放入，在窗口进行滑动时，加入新的元素，查看队首最大的元素是不是当前窗口，不是则弹出，知道是当前窗口为止。...]]></description><category></category></item></channel></rss>