<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[u012194696的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/u012194696</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; u012194696]]></copyright><item><title><![CDATA[LLM：巨人的肩膀 -- 经验和教训]]></title><link>https://blog.youkuaiyun.com/u012194696/article/details/147623653</link><guid>https://blog.youkuaiyun.com/u012194696/article/details/147623653</guid><author>u012194696</author><pubDate>Wed, 30 Apr 2025 07:47:41 +0800</pubDate><description><![CDATA[我们正站在人工智能新时代的门槛上，这个时代有望实现前所未有的能力水平。新一代智能体将通过主要从经验中学习，获得超越人类的能力。本文探讨了定义这一即将到来的时代的关键特征。]]></description><category></category></item><item><title><![CDATA[LLM Agent：PaSa]]></title><link>https://blog.youkuaiyun.com/u012194696/article/details/145798379</link><guid>https://blog.youkuaiyun.com/u012194696/article/details/145798379</guid><author>u012194696</author><pubDate>Sat, 22 Feb 2025 17:59:04 +0800</pubDate><description><![CDATA[PaSa 系统由两个 LLM 智能体组成：Crawler 和 Selector。Crawler 读取用户的查询内容，生成多个搜索查询，并检索相关的论文。检索到的论文会被添加到一个论文队列中。Crawler 进一步处理论文队列中的每一篇论文，以识别值得进一步探索的关键参考文献，并将任何新的相关论文添加到论文列表中。Selector 对论文列表中的每一篇论文进行全面审查，以评估其是否满足用户的查询要求。]]></description><category></category></item><item><title><![CDATA[LLM：Agent]]></title><link>https://blog.youkuaiyun.com/u012194696/article/details/145798328</link><guid>https://blog.youkuaiyun.com/u012194696/article/details/145798328</guid><author>u012194696</author><pubDate>Sat, 22 Feb 2025 17:51:01 +0800</pubDate><description><![CDATA[智能体的角色特征通常涵盖年龄、性别和职业等基本信息，以及反映智能体个性的心理信息，还有详述智能体之间关系的社会信息。当面对这些任务时，上述无反馈的规划模块可能效果不佳，原因如下：首先，直接从一开始就生成一个完美无缺的规划极其困难，因为这需要考虑各种复杂的先决条件。智能体的角色特征基于 LLM 自动生成。人类的记忆通常遵循这样一个过程：从记录感知输入的感觉记忆，到短暂保存信息的短期记忆，再到长期巩固信息的长期记忆。然而， LLM 有限的上下文窗口限制了将全面的记忆信息纳入提示词中，这可能会降低智能体的性能。]]></description><category></category></item><item><title><![CDATA[LLM：RAG]]></title><link>https://blog.youkuaiyun.com/u012194696/article/details/145712581</link><guid>https://blog.youkuaiyun.com/u012194696/article/details/145712581</guid><author>u012194696</author><pubDate>Tue, 18 Feb 2025 18:56:40 +0800</pubDate><description><![CDATA[RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合了信息检索（IR）和 LLM 的技术。它的核心思想是在 LLM 生成回答之前，通过检索相关文档来增强生成内容的上下文信息，从而帮助 LLM 更好地理解用户的查询并基于外部知识库生成更为准确和详细的回答。]]></description><category></category></item><item><title><![CDATA[LLM：GPT 系列]]></title><link>https://blog.youkuaiyun.com/u012194696/article/details/145612775</link><guid>https://blog.youkuaiyun.com/u012194696/article/details/145612775</guid><author>u012194696</author><pubDate>Thu, 13 Feb 2025 15:07:15 +0800</pubDate><description><![CDATA[GPT（Generative Pre-trained Transformer）是生成式预训练语言模型，基于 Transformer 架构，专注于通过自回归的方式生成自然语言文本，即给定一个输入序列xx1​x2​...xt​，模型学习预测下一个单词xt1​的条件概率Pxt1​∣x1​...xt​。]]></description><category></category></item><item><title><![CDATA[LLM：Qwen 系列]]></title><link>https://blog.youkuaiyun.com/u012194696/article/details/145541531</link><guid>https://blog.youkuaiyun.com/u012194696/article/details/145541531</guid><author>u012194696</author><pubDate>Mon, 10 Feb 2025 08:08:10 +0800</pubDate><description><![CDATA[后训练数据（post-training data）的构建旨在增强模型在广泛领域的能力，包括编码、数学、逻辑推理、指令遵循和多语言理解，以及确保模型的生成结果符合人类价值观，使其有用、诚实和无害。Qwen 1 发布于 2023 年 8 月，Qwen 是一个全面的大型语言模型系列，涵盖了具有不同参数数量的不同模型，包括 Qwen 基础预训练语言模型和 Qwen-Chat，后者是通过人类对齐技术微调的聊天模型。高质量的多任务指令数据被整合到 Qwen2 的预训练过程中，以增强模型的上下文学习能力和指令跟随能力。]]></description><category></category></item><item><title><![CDATA[LLM：DeepSeek 系列（三）]]></title><link>https://blog.youkuaiyun.com/u012194696/article/details/145524177</link><guid>https://blog.youkuaiyun.com/u012194696/article/details/145524177</guid><author>u012194696</author><pubDate>Sat, 08 Feb 2025 22:21:07 +0800</pubDate><description><![CDATA[DeepSeek-V3 发布于 2024 年 12 月，采用了 DeepSeek-V2 中的多头潜在注意力（MLA）和 DeepSeekMoE 架构，此外，DeepSeek-V3 开创了一种无辅助损失的负载均衡策略，并设定了多词元预测训练目标以获得更强的性能。DeepSeek-V3 总参数量达 6710 亿个，每个词元激活 370 亿个参数，DeepSeek-V3 在 14.8 万亿个多样化且高质量标记上对 DeepSeek-V3 进行了预训练，随后通过监督微调和强化学习阶段来充分发挥其能力。]]></description><category></category></item><item><title><![CDATA[LLM：DeepSeek 系列（二）]]></title><link>https://blog.youkuaiyun.com/u012194696/article/details/145524166</link><guid>https://blog.youkuaiyun.com/u012194696/article/details/145524166</guid><author>u012194696</author><pubDate>Sat, 08 Feb 2025 22:19:53 +0800</pubDate><description><![CDATA[DeepSeek-V2 发布于 2024 年 5 月，为多领域专家（MoE）语言模型，包含总共 2360 亿个参数，其中每个词元激活 210 亿个参数，并支持 12.8 万个词元的上下文长度。DeepSeek-V2 采用包括多头潜在注意力（Multi-Head Latent Attention，MLA）和 DeepSeekMoE 在内的创新架构。MLA 通过将键值（KV）缓存显著压缩为一个潜在向量，保证了高效推理；而 DeepSeekMoE 则通过稀疏计算，能以较低成本训练出强大的模型。与 Deep]]></description><category></category></item><item><title><![CDATA[LLM：DeepSeek 系列（一）]]></title><link>https://blog.youkuaiyun.com/u012194696/article/details/145524125</link><guid>https://blog.youkuaiyun.com/u012194696/article/details/145524125</guid><author>u012194696</author><pubDate>Sat, 08 Feb 2025 22:16:22 +0800</pubDate><description><![CDATA[原文链接DeepSeek LLM 发布于 2023 年 11 月，收集了 2 万亿个词元用于预训练。在模型层面沿用了 LLaMA 的架构，将余弦退火学习率调度器替换为多步学习率调度器，在保持性能的同时便于持续训练。DeepSeek LLM 从多种来源收集了超过 100 万个实例，用于监督微调（SFT）。此外，利用直接偏好优化（DPO）来提升模型的对话性能。数据构建的主要目标是全面提升数据集的丰富性和多样性，将方法组织为三个基本阶段：去重、过滤和重新混合。去重和重新混合阶段通过采样独特实例确保数据的多样表现形]]></description><category></category></item><item><title><![CDATA[搜索排序多目标预估和多目标融合]]></title><link>https://blog.youkuaiyun.com/u012194696/article/details/144774060</link><guid>https://blog.youkuaiyun.com/u012194696/article/details/144774060</guid><author>u012194696</author><pubDate>Fri, 27 Dec 2024 17:34:35 +0800</pubDate><description><![CDATA[搜索业务往往需要同时满足多个不同的优化目标，例如点击率、转化率、用户停留时长等单一指标难以全面衡量搜索效果。这些目标之间既存在关联性，又可能存在冲突，单独优化某一个目标可能导致其他目标的效果下降。因此，多目标预估的目标是全面建模不同目标的特征和关系，实现更精准的目标预估，从而为后续的多目标融合提供高质量的输入。此外，多目标预估还能避免单一目标带来的局限性，提高排序模型在不同业务场景下的鲁棒性和泛化性，确保搜索结果能够在多维度上平衡用户体验与商业价值，最终实现搜索系统整体效果的最大化。]]></description><category></category></item><item><title><![CDATA[搜索系统常见指标和评估方式]]></title><link>https://blog.youkuaiyun.com/u012194696/article/details/144721559</link><guid>https://blog.youkuaiyun.com/u012194696/article/details/144721559</guid><author>u012194696</author><pubDate>Wed, 25 Dec 2024 15:53:12 +0800</pubDate><description><![CDATA[搜索系统的优化离不开一套清晰、全面的指标体系，其中业务指标决定战略方向，中间指标反映执行效果。通过业务核心指标、中间过程指标和人工评估指标的结合，来量化用户满意度、系统性能和业务目标的达成情况，并以此建立从业务指标 → 中间指标 → 策略调整 → 效果反馈的完整数据闭环，实现全方位评估搜索效果，设定正确的系统优化方向。]]></description><category></category></item><item><title><![CDATA[搜索算法概要]]></title><link>https://blog.youkuaiyun.com/u012194696/article/details/144634452</link><guid>https://blog.youkuaiyun.com/u012194696/article/details/144634452</guid><author>u012194696</author><pubDate>Sun, 22 Dec 2024 09:22:22 +0800</pubDate><description><![CDATA[本文简要介绍了搜索算法流程中的关键节点和技术概要，展现搜索整体结构。在如今有关搜索领域的开源技术文章中，其算法策略百花齐放，尤其在细分方向上各有千秋。究其原因，一个角度的思考，搜索算法高度依赖产品定位、生态环境、平台支持、历史背景，作为一个复杂系统，其出发点、选择路径和目标的不同，最后导致该领域在细节上有一定差异化和多样性。不过，即使如此，在众多的搜索策略中，仍可以抽象出一些统一的方法论，且这种基础的哲学思想具有较高的指导意义，并在搜索大方向和细分领域中处处可见，影响深远。]]></description><category></category></item><item><title><![CDATA[搜索排序概要]]></title><link>https://blog.youkuaiyun.com/u012194696/article/details/144634431</link><guid>https://blog.youkuaiyun.com/u012194696/article/details/144634431</guid><author>u012194696</author><pubDate>Sun, 22 Dec 2024 09:20:18 +0800</pubDate><description><![CDATA[特别的，对于搜索系统而言，Query-Doc 的相关性是决定用户体验的关键，并在粗排、精排中建模。本章节将相关性模块单独用一个篇幅介绍，粗排、精排、重排、混排分别用四个篇幅介绍。排序系统的整体定位和要求主要是基于搜索系统的核心目标，在提升用户体验、确保业务目标、以及系统可扩展性和计算效率的基础上，进行精细的排序优化。是搜索链路中的最后一个阶段，排序系统普遍采用级联架构，以此平衡效率和效果，并为业务需求提供灵活的调整空间。]]></description><category></category></item><item><title><![CDATA[搜索排序：重排]]></title><link>https://blog.youkuaiyun.com/u012194696/article/details/144634047</link><guid>https://blog.youkuaiyun.com/u012194696/article/details/144634047</guid><author>u012194696</author><pubDate>Sun, 22 Dec 2024 08:08:55 +0800</pubDate><description><![CDATA[重排 是精排后的一个阶段，主要负责在最终展示结果前对精排后的排序列表进行进一步优化和调整（微调）。重排核心目标是保证一定相关性的前提下，提高结果的多样性，从而提升用户体验，满足用户在不同方面的需求，避免搜索结果过于单一、相似和同质化，为用户提供更丰富、全面的信息。设有一组候选文档 D={d1,d2,…,dm}D = \{d_1, d_2, \dots, d_m\}D={d1​,d2​,…,dm​}，需要从中选择一组结果 S⊆DS \subseteq DS⊆D，其中每个结果 did_idi​ 都有一个与查询 ]]></description><category></category></item><item><title><![CDATA[搜索排序：精排]]></title><link>https://blog.youkuaiyun.com/u012194696/article/details/144633656</link><guid>https://blog.youkuaiyun.com/u012194696/article/details/144633656</guid><author>u012194696</author><pubDate>Sun, 22 Dec 2024 08:07:20 +0800</pubDate><description><![CDATA[精排 的核心目标是从粗排阶段筛选出的候选集内（通常是几百个到几千个候选文档），依据更加细致的相关性、用户行为、时效性等因素，对文档进行细粒度的排序，以确保最相关的文档排在前面，最大化用户满意度和点击转化率。精排模型在设计上应该使用更多的特征、更复杂的模型，并且在排序上更加注重细节和上下文的匹配。精排策略的设计上应该重点关注：特征设计对于模型的效果至关重要。根据特征来源、结构和时效性的不同，特征可以从多个维度进行划分并设计。从特征来源上看，可以分为Query特征、User特征、Doc特征、Author特征、交]]></description><category></category></item><item><title><![CDATA[搜索排序：粗排]]></title><link>https://blog.youkuaiyun.com/u012194696/article/details/144633514</link><guid>https://blog.youkuaiyun.com/u012194696/article/details/144633514</guid><author>u012194696</author><pubDate>Sat, 21 Dec 2024 17:21:48 +0800</pubDate><description><![CDATA[粗排在搜索链路中的定位介于召回与精排之间，既要承接召回的多样性，又要为精排提供足够的排序精度支撑。在设计粗排策略时，需要明确其与精排的差异化目标，从子集优质性、协作效率、覆盖性等方面入手，通过特征优化、多目标建模等手段，在效率与效果之间找到平衡点，从而最大化搜索系统的整体表现。]]></description><category></category></item><item><title><![CDATA[搜索排序：相关性]]></title><link>https://blog.youkuaiyun.com/u012194696/article/details/144633413</link><guid>https://blog.youkuaiyun.com/u012194696/article/details/144633413</guid><author>u012194696</author><pubDate>Sat, 21 Dec 2024 17:10:34 +0800</pubDate><description><![CDATA[搜索相关性衡量搜索引擎返回的结果与用户查询意图的匹配程度，是评判搜索系统质量的一个关键因素。相关性通常和搜索效率指标冲突（如点击率、转化率等），如一些为了吸引用户点击但相关性不强的文档会对用户产生误导诱发点击，当相关性模块将类似文档过滤就有可能带来搜索点击率的下降。所以相关性必须有精确标准的一套相关性分档体系，帮助搜索系统在各种维度上优化排序结果。即，相关性策略的目标需要平衡相关性和搜索效率，清楚自己的功能定位，约束搜索排序以避免过度追求点击率而忽视了用户满意度，从长远上提高搜索系统的整体质量和用户体验。]]></description><category></category></item><item><title><![CDATA[搜索召回概要]]></title><link>https://blog.youkuaiyun.com/u012194696/article/details/144633332</link><guid>https://blog.youkuaiyun.com/u012194696/article/details/144633332</guid><author>u012194696</author><pubDate>Sat, 21 Dec 2024 17:01:07 +0800</pubDate><description><![CDATA[主要围绕提高搜索系统的用户体验和业务价值，作为一个承上启下的环节，召回整体的目标要和搜索的最终目标对齐，即上下游协同发展。本章将具体介绍文本召回中的倒排召回、协同过滤召回和向量召回的实现方式，以及如何评估和优化这些召回策略。并在最后介绍如何在多召回通道下聚合多路召回结果。是整个检索流程的核心组成部分之一，其主要任务是从大规模文档集合中初步筛选出一批可能与用户查询相关的文档。]]></description><category></category></item><item><title><![CDATA[搜索召回：召回聚合]]></title><link>https://blog.youkuaiyun.com/u012194696/article/details/144633299</link><guid>https://blog.youkuaiyun.com/u012194696/article/details/144633299</guid><author>u012194696</author><pubDate>Sat, 21 Dec 2024 16:59:15 +0800</pubDate><description><![CDATA[在召回模块中，各召回通道通常会通过不同的算法、模型或策略获取候选文档。由于这些召回通道目标、算法和策略的差异，它们生成的候选项通常具有不同的质量和覆盖面。召回聚合的任务是将这些候选项通过一定的方式进行加权、排序和融合，动态控制各个通道的召回量配额，确保最终的候选集合既具有足够的多样性，又能保持较高的相关性。]]></description><category></category></item><item><title><![CDATA[搜索召回：向量召回]]></title><link>https://blog.youkuaiyun.com/u012194696/article/details/144633131</link><guid>https://blog.youkuaiyun.com/u012194696/article/details/144633131</guid><author>u012194696</author><pubDate>Sat, 21 Dec 2024 16:57:26 +0800</pubDate><description><![CDATA[召回常用的损失函数是多分类的，相比于侧重局部比较、优化相对关系的Hinge Loss（如：Pairlist），交叉熵损失在训练和推理阶段可保持一致性，并使得模型具备全局比较能力。向量召回是一种基于向量空间模型进行信息检索的方法，核心思想是将查询Query和文档Doc转换为向量，通过计算这些向量之间的相似度来进行检索。向量召回通常采用双塔模型，为了实现特征交叉，一般采用 DCN、Attention等网络架构。]]></description><category></category></item></channel></rss>