<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[stephen147的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/stephen147</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; stephen147]]></copyright><item><title><![CDATA[个人精品文章导航]]></title><link>https://blog.youkuaiyun.com/stephen147/article/details/149248197</link><guid>https://blog.youkuaiyun.com/stephen147/article/details/149248197</guid><author>stephen147</author><pubDate>Thu, 10 Jul 2025 13:43:22 +0800</pubDate><description><![CDATA[asr综述：入门论文_boosting ctc-based asr using llm-based intermediat-优快云博客GBDT、XGB、LGB原理、差异、面试-优快云博客qwen2理论/改进点_dual chunk attention-优快云博客大模型上下文为啥受限？ - Stephen的文章 - 知乎]]></description><category></category></item><item><title><![CDATA[asr综述：入门论文]]></title><link>https://blog.youkuaiyun.com/stephen147/article/details/149076008</link><guid>https://blog.youkuaiyun.com/stephen147/article/details/149076008</guid><author>stephen147</author><pubDate>Wed, 02 Jul 2025 18:46:48 +0800</pubDate><description><![CDATA[通过包括 SFT → 上下文 SFT → RL 的阶段性训练流程，我们得到了 Seed-ASR (CN) 模型。在上述综合评估集上，我们观察到 Seed-ASR (CN) 模型在不同训练阶段具备了某些能力的提升。这里，我们提供了每个阶段效果的详细消融研究，结果如表 9 所示。首先，引入 RL 阶段带来了大多数评估集的改进，如多领域、多源视频、多方言、难案例和代码切换。在口音测试集上的轻微退化可能是由于训练数据比例的问题。]]></description><category></category></item><item><title><![CDATA[Python-3.12 告别 GIL 锁 & 性能原地飞升！]]></title><link>https://blog.youkuaiyun.com/stephen147/article/details/146534248</link><guid>https://blog.youkuaiyun.com/stephen147/article/details/146534248</guid><author>stephen147</author><pubDate>Wed, 26 Mar 2025 16:28:47 +0800</pubDate><description><![CDATA[多年以来由于全局解释器锁(GIL)的存在，导致 Python 生态一直就没有真正的多线程，也就是说所有线程都运行在同一个核心上，不管你的 CPU 物理上有多少个核心它只用一个。前面我们提到的两个绕过 GIL 的方案都不太优雅，优雅的解决方案就应该是把 GIL 锁拿掉。这么个老实的程序(不算再多的核心它都只用一个)，定然不是我们在 cpu 密集型场景下想要看到的。经过多年的磨合，社区为了临时解决这个 GIL 锁的问题，宏观上大致上有 2 类不同的方案。，不过我们上面的例子不存在不兼容性的事，可以直接测试。]]></description><category></category></item><item><title><![CDATA[Milvus WeightedRanker 对比 RRF 重排机制]]></title><link>https://blog.youkuaiyun.com/stephen147/article/details/146425710</link><guid>https://blog.youkuaiyun.com/stephen147/article/details/146425710</guid><author>stephen147</author><pubDate>Fri, 21 Mar 2025 17:29:30 +0800</pubDate><description><![CDATA[Milvus WeightedRanker 对比 RRF 重排机制下图说明了Milvus中混合搜索的执行过程，并强调了重排在这一过程中的作用。混合搜索中的重排是一个关键步骤，它整合了来自多个向量字段的结果，确保最终输出具有相关性并准确排序。：这种方法通过计算不同向量搜索得分（或向量距离）的加权平均值来合并结果。它根据每个向量字段的重要性分配权重。RRFRanker：这种策略基于不同向量列中的排名来合并结果。Milvus混合搜索通过重排策略优化多向量检索的结果，提高搜索质量。]]></description><category></category></item><item><title><![CDATA[L2和内积inner dot区别]]></title><link>https://blog.youkuaiyun.com/stephen147/article/details/146425291</link><guid>https://blog.youkuaiyun.com/stephen147/article/details/146425291</guid><author>stephen147</author><pubDate>Fri, 21 Mar 2025 17:14:58 +0800</pubDate><description><![CDATA[ip l2 向量相似度对比虽然L2距离在很多场景下更为全面（同时考虑方向和大小），但IP在特定场景（如推荐系统、文本相似度）中依然有不可替代的优势。选择合适的相似度度量方法，需要深入理解数据特性和应用场景需求。考虑因素选择IP选择L2数据特性稀疏数据密集数据计算需求高效率高准确性应用场景推荐系统、NLP图像检索、聚类相似性定义方向相似空间距离在实际应用中，建议通过离线实验对比两种方法的效果，选择最适合特定场景的相似度度量方法。]]></description><category></category></item><item><title><![CDATA[万字长文梳理2024年的RAG-综述]]></title><link>https://blog.youkuaiyun.com/stephen147/article/details/144697222</link><guid>https://blog.youkuaiyun.com/stephen147/article/details/144697222</guid><author>stephen147</author><pubDate>Tue, 24 Dec 2024 16:23:38 +0800</pubDate><description><![CDATA[——转自InfiniFlow，个人认为非常精彩在已经过去的 2024 年，RAG 的发展可以称得上是风起云涌，我们回顾全年，从多个角度对全年的发展进行总结。
首先用下图镇楼：对于 2024 年的 RAG 来说，有一系列标志性事件：2024 年在年初被称为“RAG 发展元年”，虽然这并非共识性的说法，但事实证明，全年的进展无愧于这一称号。在LLM 使用的场景中，RAG 自始至终都在扮演着不可或缺的重要角色。然而，自诞生以来关于 RAG 的争论就没有停止过。由上图可以看到，2023 年 RAG 的称呼并不流行，]]></description><category></category></item><item><title><![CDATA[Python/FastAPI 的并发能力对比]]></title><link>https://blog.youkuaiyun.com/stephen147/article/details/143509049</link><guid>https://blog.youkuaiyun.com/stephen147/article/details/143509049</guid><author>stephen147</author><pubDate>Tue, 05 Nov 2024 15:03:41 +0800</pubDate><description><![CDATA[最后，还是觉得有几点放到总结里头的，方便回顾时直接跳到最后方使用 FastAPI 直接用 Uvicorn 启动就行，代码或 uvicorn 方式都行。而不像代码启动 Flask 真的只能用于开发过程，产品环境必须用 uwsgi 或 gunicornFastAPI 的 async API 方法都由 MainThread 调用，因此其中调用的外部耗时方法必须也都是 async，并以 await 方式调用，否则一个请求拦住所有的其他请求。]]></description><category></category></item><item><title><![CDATA[文本语义分块、RAG 系统的分块难题：小型语言模型如何找到最佳断点？]]></title><link>https://blog.youkuaiyun.com/stephen147/article/details/143502747</link><guid>https://blog.youkuaiyun.com/stephen147/article/details/143502747</guid><author>stephen147</author><pubDate>Tue, 05 Nov 2024 10:42:12 +0800</pubDate><description><![CDATA[任务的构建方式对最终结果影响很大。让模型只输出文本块头部，而不是整个文本块，这个策略很关键。因为它让模型更专注于语义转换，而不是简单的复制输入内容，从而提高了边界检测的准确性和分块连贯性。而且，由于生成的文本更少，模型的处理速度也更快了。]]></description><category></category></item><item><title><![CDATA[HTTP、WebSocket、gRPC 或 WebRTC：各种协议的区别]]></title><link>https://blog.youkuaiyun.com/stephen147/article/details/143481184</link><guid>https://blog.youkuaiyun.com/stephen147/article/details/143481184</guid><author>stephen147</author><pubDate>Mon, 04 Nov 2024 12:04:17 +0800</pubDate><description><![CDATA[在本文中，我们将介绍一些可以作为开发人员使用的流行通信协议，并探讨不同协议的优缺点。正如开头所说，没有比另一个更好的解决方案，只有一些解决方案更适合特定的应用程序或问题。一些应用程序需要点对点连接，具有低延迟和高数据传输，并且可以接受一些数据包（信息）丢失。有些应用程序可以根据需要轮询服务器，而不需要获取被‬轮询方的同等数据，有些应用程序需要具有数据可靠性的实时通信，诸如此类。在线多人游戏、消息传递应用程序、博客网站、媒体库应用程序和视频会议软件都有不同的通信和数据需求。]]></description><category></category></item><item><title><![CDATA[FastAPI中如果async def和def 路由的区别]]></title><link>https://blog.youkuaiyun.com/stephen147/article/details/143439318</link><guid>https://blog.youkuaiyun.com/stephen147/article/details/143439318</guid><author>stephen147</author><pubDate>Mon, 04 Nov 2024 09:41:40 +0800</pubDate><description><![CDATA[原理：**在python 中，使用async def 定义的函数是运行在协程中，而多个协程是在一个主线程中的。fastapi中的async def协程路由处理的请求会全部放在main thread，而def 处理的请求每个都有自己的独立线程，fastapi内部会自动为这两种接口进行对应的处理逻辑 **我们来详细看一下各种情况。本文将使用。]]></description><category></category></item><item><title><![CDATA[Concurrency and async await - FastAPI解释]]></title><link>https://blog.youkuaiyun.com/stephen147/article/details/143439107</link><guid>https://blog.youkuaiyun.com/stephen147/article/details/143439107</guid><author>stephen147</author><pubDate>Fri, 01 Nov 2024 19:20:49 +0800</pubDate><description><![CDATA[关于_路径操作函数_的async def语法以及一些关于异步代码、并发和并行性的背景知识。]]></description><category></category></item><item><title><![CDATA[flask websocket服务搭建，flask-sock 和 flask-socketio]]></title><link>https://blog.youkuaiyun.com/stephen147/article/details/143428614</link><guid>https://blog.youkuaiyun.com/stephen147/article/details/143428614</guid><author>stephen147</author><pubDate>Fri, 01 Nov 2024 12:03:22 +0800</pubDate><description><![CDATA[socket是网络上运行的两个程序之间的双向通信链路的一个端点。这是一个非常低级的东西，其他一切都是在 TCP 套接字之上实现的。WebSocket 是 Web 的标准通信协议。它允许在客户端和服务器之间建立全双工通信通道。Socket.IO 是一种构建的通信协议，提供自动重新连接、基于事件的通知等额外功能。Flask-SocketIO 是 Socket.IO 服务器端协议的实现，作为 Flask 扩展。两个主流框架flask-sock 和 flask-socketio。]]></description><category></category></item><item><title><![CDATA[DockerUI：一款功能强大的中文Docker可视化管理工具]]></title><link>https://blog.youkuaiyun.com/stephen147/article/details/142592751</link><guid>https://blog.youkuaiyun.com/stephen147/article/details/142592751</guid><author>stephen147</author><pubDate>Fri, 27 Sep 2024 14:29:58 +0800</pubDate><description><![CDATA[DockerUI 是由国内开发者打造的一款优秀的 Docker 可视化管理工具。该工具拥有简洁直观的UI界面，可以轻松进行Docker主机管理、集群管理，以及Docker任务的编排等操作。DockerUI不仅展示了资源利用率、系统信息和更新日志等内容，还提供了镜像管理的功能，能够有效清理中间镜像和残留的垃圾文件。其UI设计和功能全面覆盖了Docker的核心操作，让用户无需通过命令行，即可方便地管理Docker环境。DockerUI 主界面。]]></description><category></category></item><item><title><![CDATA[transformer中为什么使用不同的K 和 Q， 为什么不能使用同一个值？]]></title><link>https://blog.youkuaiyun.com/stephen147/article/details/142559521</link><guid>https://blog.youkuaiyun.com/stephen147/article/details/142559521</guid><author>stephen147</author><pubDate>Thu, 26 Sep 2024 15:44:21 +0800</pubDate><description><![CDATA[简单的说，K和Q的点乘是为了计算一个句子中每个token相对于句子中其他token的相似度，这个相似度可以理解为attetnion score，关注度得分。这里解释下我理解的泛化能力，因为K和Q使用了不同的W_k, W_Q来计算，得到的也是两个完全不同的矩阵，所以表达能力更强。但是经过与attention score相乘后，V中每个token的向量（即一个单词的word embedding向量），在300维的每个维度上（每一列）上，都会对其他token做出调整（关注度不同）。]]></description><category></category></item><item><title><![CDATA[Transformers 中的 Softmax 可以并行加速么？]]></title><link>https://blog.youkuaiyun.com/stephen147/article/details/142551449</link><guid>https://blog.youkuaiyun.com/stephen147/article/details/142551449</guid><author>stephen147</author><pubDate>Thu, 26 Sep 2024 11:20:43 +0800</pubDate><description><![CDATA[通过融合前两个计算步骤，降低执行Reduce_max和Reduce_sum等操作的通信开销。利用共享内存来存储临时数据，以减少对全局内存的访问成本。]]></description><category></category></item><item><title><![CDATA[agentuniverse快速开始和踩坑]]></title><link>https://blog.youkuaiyun.com/stephen147/article/details/142049174</link><guid>https://blog.youkuaiyun.com/stephen147/article/details/142049174</guid><author>stephen147</author><pubDate>Mon, 09 Sep 2024 10:14:46 +0800</pubDate><description><![CDATA[老大看了演示demo也想跟着做个agent工具,但踩坑太多,含泪写下博客。]]></description><category></category></item><item><title><![CDATA[rag 长文本 Embedding 模型中的“迟分”策略]]></title><link>https://blog.youkuaiyun.com/stephen147/article/details/141591145</link><guid>https://blog.youkuaiyun.com/stephen147/article/details/141591145</guid><author>stephen147</author><pubDate>Tue, 27 Aug 2024 09:27:53 +0800</pubDate><description><![CDATA[大约一年前，2023 年 10 月，全球首个支持 8K 上下文长度的开源 Embedding 模型 —— jina-embeddings-v2-base-en。自此，长文本在 Embedding 模型中的应用引发了广泛讨论和争议。一个典型的 RAG Pineline 包括：分块-Embedding-检索-生成。那么，如果行业只需要具有 512 上下文长度的 Embedding 模型，那么训练 8192 上下文长度的模型又有什么意义呢？]]></description><category></category></item><item><title><![CDATA[LitServe：开源！闪电般快速部署AI模型的服务引擎！灵活、简单、企业级（比FastAPI快2倍）]]></title><link>https://blog.youkuaiyun.com/stephen147/article/details/141590906</link><guid>https://blog.youkuaiyun.com/stephen147/article/details/141590906</guid><author>stephen147</author><pubDate>Tue, 27 Aug 2024 09:25:58 +0800</pubDate><description><![CDATA[对于高性能 LLM 服务（例如 Ollama/VLLM），LitServe 与 LitGPT 搭配使用或构建自定义 VLLM 类服务器时是理想之选。为了最大限度地提高 LLM 性能，建议使用 KV 缓存等优化（可通过 LitServe 轻松实现）。各种优秀的功能都具备，而不是简单的炒作具有非常。]]></description><category></category></item><item><title><![CDATA[gradio如何实现修改代码后自动重载运行]]></title><link>https://blog.youkuaiyun.com/stephen147/article/details/141452336</link><guid>https://blog.youkuaiyun.com/stephen147/article/details/141452336</guid><author>stephen147</author><pubDate>Fri, 23 Aug 2024 09:08:49 +0800</pubDate><description><![CDATA[每次你重新运行单元格时，Gradio 都会在相同端口和底层web服务器上重新渲染你的应用。文件所在的目录，如果文件发生更改，它将自动重新运行文件。本指南将涵盖这两种方法，因此无论你如何编写Python代码，学习完本指南后，你都能更快地构建Gradio应用。当你使用 Blocks 构建 Gradio 演示时，你可能会发现每次测试更改时都要重新运行代码非常麻烦。问题是，每次你想更改布局、事件或组件时，都需要关闭并重新运行应用，即使用。因此，在完成开发并想在生产环境中运行时，你无需更改脚本，只需使用。]]></description><category></category></item><item><title><![CDATA[使用Qwen-Agent将上下文记忆扩展到百万量级 Qwen]]></title><link>https://blog.youkuaiyun.com/stephen147/article/details/141324563</link><guid>https://blog.youkuaiyun.com/stephen147/article/details/141324563</guid><author>stephen147</author><pubDate>Mon, 19 Aug 2024 14:25:51 +0800</pubDate><description><![CDATA[我们在本文中介绍了利用智能体扩展模型上下文记忆的关键思路。一旦智能体准备就绪，如何合成数据便显而易见。例如，我们可以招募志愿者与智能体互动，并记录结果来构建微调数据集。此外，我们还可以利用智能体对其他方法生成的数据进行交叉验证，以确保数据质量。此外，用智能体的结果去微调模型，这个思路也适用于其他领域，比如提升模型解决大规模任务的能力。]]></description><category></category></item></channel></rss>