<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[银晗的学习博客]]></title><description><![CDATA[小白菜慢慢长大的记录]]></description><link>https://blog.youkuaiyun.com/RandyHan</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; RandyHan]]></copyright><item><title><![CDATA[知识图谱学习]]></title><link>https://blog.youkuaiyun.com/RandyHan/article/details/136948699</link><guid>https://blog.youkuaiyun.com/RandyHan/article/details/136948699</guid><author>RandyHan</author><pubDate>Sun, 19 Oct 2025 12:49:27 +0800</pubDate><description><![CDATA[概念实体链接（Entity Linking，EL）是指将自由文本中已识别的实体对象（例如：人名、地名、机构名等），无歧义的正确的指向知识库中目标实体的过程。通俗的讲，就是自由文本中的实体对象到底是个啥，找到知识库中最符合该实体的目标项。如果有对应的实体，则返回该实体；如果没有，则将该实体标记为NIL。NEL也被称为实体链接、命名实体消歧(NED)、命名实体识别和消歧(NERD)或命名实体规范化(NEN)。NEL除了信息提取外，还有广泛的应用。]]></description><category></category></item><item><title><![CDATA[模型推理加速paper list]]></title><link>https://blog.youkuaiyun.com/RandyHan/article/details/141755727</link><guid>https://blog.youkuaiyun.com/RandyHan/article/details/141755727</guid><author>RandyHan</author><pubDate>Sun, 19 Oct 2025 12:48:07 +0800</pubDate><description><![CDATA[这篇综述文章系统总结了提升大语言模型(LLM)推理效率的三大优化路径：数据级优化（输入压缩/输出组织）、模型级优化（结构设计/模型压缩）和系统级优化（推理引擎/服务系统）。其中数据级和系统级优化通常不改变模型且无损性能，而模型级优化可能影响性能但能显著提升效率。文章还介绍了KV缓存机制及四大核心评估指标：生成延迟、内存使用、峰值内存和Token吞吐量，为LLM效率优化提供了系统化的技术框架和评估标准。]]></description><category></category></item><item><title><![CDATA[多模态文档解析模型 PaddleOCR-VL，我的PDF之神！]]></title><link>https://blog.youkuaiyun.com/RandyHan/article/details/153405138</link><guid>https://blog.youkuaiyun.com/RandyHan/article/details/153405138</guid><author>RandyHan</author><pubDate>Thu, 16 Oct 2025 22:45:24 +0800</pubDate><description><![CDATA[PDF之神，大模型时代智能文档处理引擎，是文档的“照相机”，更是信息的“翻译官”，能将杂乱的版面直接“翻译”成规整的结构化数据。10月16日，百度正式发布并开源自研多模态文档解析模型PaddleOCR-VL，该模型在。在文档解析四大核心能力纬度上，PaddleOCR-VL实现全线SOTA，刷新全球OCR VL模型性能天花板。]]></description><category></category></item><item><title><![CDATA[文心X1.1的Agent能力非常强，文心快码代码能力显著提升]]></title><link>https://blog.youkuaiyun.com/RandyHan/article/details/151579950</link><guid>https://blog.youkuaiyun.com/RandyHan/article/details/151579950</guid><author>RandyHan</author><pubDate>Thu, 11 Sep 2025 15:12:48 +0800</pubDate><description><![CDATA[摘要：百度在WAVE SUMMIT 2025大会上发布文心大模型X1.1深度思考模型，在事实性、指令遵循和智能体能力上分别提升34.8%、12.5%和9.6%。该模型采用迭代式混合强化学习框架，在多个评测中表现优异。同时发布的文心快码3.5S版本强化了多智能体协同能力，已服务超1000万开发者。百度还展示了剧本驱动多模协同的数字人技术，其直播表现超越真人，并推出&quot;文心导师·星耀计划&quot;进一步加强AI生态建设。（150字）]]></description><category></category></item><item><title><![CDATA[生成方向paper list]]></title><link>https://blog.youkuaiyun.com/RandyHan/article/details/141575091</link><guid>https://blog.youkuaiyun.com/RandyHan/article/details/141575091</guid><author>RandyHan</author><pubDate>Wed, 02 Jul 2025 17:47:49 +0800</pubDate><description><![CDATA[摘要 本文综述了多项基于扩散模型的视频生成与控制技术研究。ControlNet通过零卷积初始化和U-Net结构实现对生成过程的精确控制；AnimateDiff和LVDM探索了视频生成的时序建模；MagicDance采用两阶段训练策略解耦外观与动作控制，结合多源注意力机制；VideoCrafter2通过双流条件注入范式平衡文本对齐与视觉细节；DynamicCrafter设计了可学习查询转换器和双交叉注意力层增强上下文感知；ToonCrafter针对动画领域提出卡通矫正学习和双参考3D解码器。这些工作通过创新的]]></description><category></category></item><item><title><![CDATA[百度文心4.5火到海外，继Deepseek后再次自豪感拉满（附使用教程）]]></title><link>https://blog.youkuaiyun.com/RandyHan/article/details/149070012</link><guid>https://blog.youkuaiyun.com/RandyHan/article/details/149070012</guid><author>RandyHan</author><pubDate>Wed, 02 Jul 2025 17:42:44 +0800</pubDate><description><![CDATA[6月30日，百度文心大模型4.5系列正式开源，对于这一新动作，海外反响强烈，CNBC等外媒报道关注，CNBC在报道中表示，“百度开源文心4.5系列模型将巩固中国无可争议的人工智能领导者地位”，百度文心大模型是中国大模型的世界名片。“ 根据技术报告，开源的文心大模型4.5系列，预训练和后训练模型均表现优异，可与 Qwen3/DeepSeekV3 最新版竞争；ERNIE 4.5 系列模型优越的性能主要来源于以下几个关键技术点：多模态混合专家模型预训练，高效训练推理框架， 针对模态的后训练。]]></description><category></category></item><item><title><![CDATA[关于Text Embedding检索模型]]></title><link>https://blog.youkuaiyun.com/RandyHan/article/details/136039029</link><guid>https://blog.youkuaiyun.com/RandyHan/article/details/136039029</guid><author>RandyHan</author><pubDate>Sat, 04 May 2024 14:48:05 +0800</pubDate><description><![CDATA[a) 将模型最后一层[CLS]位置的向量表征直接作为句向量。b) 将模型最后一层[CLS]位置的向量表征，再经过MLP层得到的向量。c) 将模型最后一层所有位置的向量表征，再经过一个Pooling层得到的向量。（大部分情况下采用的是mean pooling，在有些情况下也会使用max pooling等其他方式）d) 将模型最后一层所有位置的向量表征，再经过一个Pooling层跟MLP层得到的向量。]]></description><category></category></item><item><title><![CDATA[LLM推理优化]]></title><link>https://blog.youkuaiyun.com/RandyHan/article/details/134063725</link><guid>https://blog.youkuaiyun.com/RandyHan/article/details/134063725</guid><author>RandyHan</author><pubDate>Sat, 04 May 2024 14:47:38 +0800</pubDate><description><![CDATA[实际上 MQA 运算量和 MHA 是差不多的，可理解为读取一组 KV 头之后，给所有 Q 头用，但因为之前提到的内存和计算的不对称，所以是有利的。标准Attention算法由于要计算softmax，而softmax都是按行来计算的，即在和V做矩阵乘之前，需要让 Q、K 的各个分块完成整一行分块的计算得到Softmax的结果后，再和矩阵V分块做矩阵乘。而在Flash Attention中，将输入分割成块，并在输入块上进行多次传递，从而以增量方式（做加法，避免copy）执行softmax缩减。]]></description><category></category></item><item><title><![CDATA[Diffusion初学]]></title><link>https://blog.youkuaiyun.com/RandyHan/article/details/137874184</link><guid>https://blog.youkuaiyun.com/RandyHan/article/details/137874184</guid><author>RandyHan</author><pubDate>Sat, 04 May 2024 14:46:59 +0800</pubDate><description><![CDATA[扩散过程：Stable Diffusion的基础是扩散模型，这种模型通过逐步添加噪声将数据（如图像）转换成无结构的噪声。具体来说，这个过程通过多个步骤逐渐增加噪声，每一步都基于高斯分布添加噪声，直到数据完全转变为噪声。变分自编码器（VAE）：Stable Diffusion使用VAE来学习数据的压缩表示，这有助于提高模型的效率和生成质量。在扩散过程的开始，使用VAE编码的图像而不是原图，这样可以减少扩散模型需要处理的数据复杂度。去噪过程：与扩散过程相反，去噪过程从噪声中恢复出原始数据。]]></description><category></category></item><item><title><![CDATA[RankCSE]]></title><link>https://blog.youkuaiyun.com/RandyHan/article/details/136191831</link><guid>https://blog.youkuaiyun.com/RandyHan/article/details/136191831</guid><author>RandyHan</author><pubDate>Mon, 08 Apr 2024 16:35:26 +0800</pubDate><description><![CDATA[pointwise方法损失函数计算只与单个document有关，本质上是训练一个分类模型或者回归模型，判断这个document与当前的这个query相关程度，最后的排序结果就是从模型对这些document的预测的分值进行一个排序。对于pointwise方法，给定一个query的document list，对于每个document的预测与其它document是独立的。LTR有三种主要的方法：PointWise，PairWise，ListWise。精排是整个推荐环节的重中之重，在特征和模型上都会做的比较复杂；]]></description><category></category></item><item><title><![CDATA[位置编码学习]]></title><link>https://blog.youkuaiyun.com/RandyHan/article/details/135906907</link><guid>https://blog.youkuaiyun.com/RandyHan/article/details/135906907</guid><author>RandyHan</author><pubDate>Mon, 08 Apr 2024 16:34:15 +0800</pubDate><description><![CDATA[我们对长度外推的期望其实不仅仅是“平移不变性”，而是“平移更好性”，也就是说越往后效果应该越好才对（比如In Context Learning场景，给的examples越多，效果应该越好），所以模型还应该要能捕捉全局依赖的能力。而NTK-aware Scaled RoPE通过“高频外推、低频内插”隐含了两者优点，保证了局域性，又没有明显外推位置编码，所以不微调也有不错的效果。位置内插虽然没有外推位置编码，但扰乱了局域性（0附近位置编码被压缩为），所以不微调效果也不好；内，注意力机制的能力大大削弱。]]></description><category></category></item><item><title><![CDATA[预训练任务]]></title><link>https://blog.youkuaiyun.com/RandyHan/article/details/136908759</link><guid>https://blog.youkuaiyun.com/RandyHan/article/details/136908759</guid><author>RandyHan</author><pubDate>Mon, 08 Apr 2024 16:33:44 +0800</pubDate><description><![CDATA[对于短序列生成，建议无监督的目标函数在领域内无监督的数据上预训练，会对下游任务产生增益，重复的数据会损失性能训练生成式模型，需要大量且多样的数据集小模型在大量数据上训练，要优于大模型在少量数据上训练。]]></description><category></category></item><item><title><![CDATA[预训练细节]]></title><link>https://blog.youkuaiyun.com/RandyHan/article/details/135894862</link><guid>https://blog.youkuaiyun.com/RandyHan/article/details/135894862</guid><author>RandyHan</author><pubDate>Mon, 08 Apr 2024 16:33:19 +0800</pubDate><description><![CDATA[执行auto_split.sh文件，作用是分割大文件，超过1GB的文件，会自动分割未300M的小文件。]]></description><category></category></item><item><title><![CDATA[RAG & Agent调研]]></title><link>https://blog.youkuaiyun.com/RandyHan/article/details/136803923</link><guid>https://blog.youkuaiyun.com/RandyHan/article/details/136803923</guid><author>RandyHan</author><pubDate>Mon, 08 Apr 2024 16:32:17 +0800</pubDate><description><![CDATA[这种方法的好处是，你可以离线处理文章中的词等细粒度的向量表示，从而大大加速检索的效率（DR中，每拿到一个新的document，都需要将这个document进行向量化）。基于查询的RAG也被称为提示增强。然而，SR方面，ColBERT 或 AligneR 等后期交互模型试图通过计算每个token的向量，然后以某种方式利用它们，来减轻必须选择在固定大小的向量中出现的存储等的问题。在基于潜在表示的检索增强生成（RAG）框架中，生成模型与检索到对象的潜在表示进行交互，从而增强了模型的理解能力和生成内容的质量。]]></description><category></category></item><item><title><![CDATA[RLHF学习]]></title><link>https://blog.youkuaiyun.com/RandyHan/article/details/135862504</link><guid>https://blog.youkuaiyun.com/RandyHan/article/details/135862504</guid><author>RandyHan</author><pubDate>Fri, 26 Jan 2024 15:27:48 +0800</pubDate><description><![CDATA[Actor-Critic 算法本质上是基于策略的算法，因为这一系列算法的目标都是优化一个带参数的策略，只是会额外学习价值函数，从而帮助策略函数更好地学习。Bradley-Terry（BT）模型是一个常见选择（在可以获得多个排序答案的情况下，Plackett-Luce 是更一般的排序模型）与以往的 RLHF 方法（先学习一个奖励函数，然后通过强化学习优化）不同，我们的方法跳过了奖励建模步骤，直接使用偏好数据优化语言模型。基于值函数的方法只学习一个价值函数，而基于策略的方法只学习一个策略函数。]]></description><category></category></item><item><title><![CDATA[多模态大模型]]></title><link>https://blog.youkuaiyun.com/RandyHan/article/details/135844218</link><guid>https://blog.youkuaiyun.com/RandyHan/article/details/135844218</guid><author>RandyHan</author><pubDate>Fri, 26 Jan 2024 10:54:34 +0800</pubDate><description><![CDATA[对于给定的边界框，应用规范化处理（在范围[0, 1000]内）并转换为指定的字符串格式：“(Xtopleft, Ytopleft),(Xbottomright, Ybottomright)”。该字符串被标记为文本，不需要额外的位置词汇。此外，为了适当将边界框与其对应的描述性词或句子进行关联，引入了另一组特殊标记（< ref>和< /ref>），标记边界框所指的内容。为了区分检测字符串和常规文本字符串，在边界框字符串的开头和结尾分别添加两个特殊标记（< box >和< /box >）。]]></description><category></category></item><item><title><![CDATA[PPO学习]]></title><link>https://blog.youkuaiyun.com/RandyHan/article/details/135776594</link><guid>https://blog.youkuaiyun.com/RandyHan/article/details/135776594</guid><author>RandyHan</author><pubDate>Wed, 24 Jan 2024 18:47:21 +0800</pubDate><description><![CDATA[在对 query 和 response 的连接进行前向传递后获得的奖励将具有形状 (B, T, 1) ，其中 B 是 BS(批量大小)，T 是序列长度 (始终相同;在 OAI 的设置中，它是 query_length + response_length = 64 + 24 = 88 ，用于风格任务，参见 launch.py#L9-L11)，1 是奖励头其维度为 1原始代码库提取最后一个 token 的奖励 ，因此奖励将只具有形状 (B, 1)]]></description><category></category></item><item><title><![CDATA[MoEs学习]]></title><link>https://blog.youkuaiyun.com/RandyHan/article/details/135765516</link><guid>https://blog.youkuaiyun.com/RandyHan/article/details/135765516</guid><author>RandyHan</author><pubDate>Tue, 23 Jan 2024 11:37:30 +0800</pubDate><description><![CDATA[之所以是 47B 而不是 8 x 7B = 56B，是因为在 MoE 模型中，只有 FFN 层被视为独立的专家，而模型的其他参数是共享的。比如，假设我们的输入批量包含 10 个令牌， 可能会有五个令牌被路由到同一个专家，而剩下的五个令牌分别被路由到不同的专家。因为所有张量的形状在编译时是静态确定的，我们无法提前知道多少令牌会分配给每个专家，因此需要一个固定的容量因子。：尽管较大的批量大小通常有利于提高性能，但当数据通过激活的专家时，实际的批量大小可能会减少。稀疏性的概念采用了条件计算的思想。]]></description><category></category></item><item><title><![CDATA[RLHF训练代码]]></title><link>https://blog.youkuaiyun.com/RandyHan/article/details/135628966</link><guid>https://blog.youkuaiyun.com/RandyHan/article/details/135628966</guid><author>RandyHan</author><pubDate>Tue, 23 Jan 2024 10:15:28 +0800</pubDate><description><![CDATA[trl的RLHF代码地址]]></description><category></category></item><item><title><![CDATA[ICL和FT]]></title><link>https://blog.youkuaiyun.com/RandyHan/article/details/135510361</link><guid>https://blog.youkuaiyun.com/RandyHan/article/details/135510361</guid><author>RandyHan</author><pubDate>Tue, 23 Jan 2024 10:14:47 +0800</pubDate><description><![CDATA[In Context Learning 到底在干嘛]]></description><category></category></item></channel></rss>