<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[m0_67547784的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/m0_67547784</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; m0_67547784]]></copyright><item><title><![CDATA[Transformer-掩码多头注意力机制解析]]></title><link>https://blog.youkuaiyun.com/m0_67547784/article/details/156466283</link><guid>https://blog.youkuaiyun.com/m0_67547784/article/details/156466283</guid><author>m0_67547784</author><pubDate>Thu, 01 Jan 2026 00:16:37 +0800</pubDate><description><![CDATA[在Transformer 模型的Decoder中出现在为什么需要masked,“掩码”的目的是在计算注意力时，阻止模型“看到”某些不应该看到的信息。在给出第一个词的基础上，去猜测下一个词是什么。不添加掩码，可以说是看着答案结论的一个操作。这是生成式模型（如GPT）的关键。在训练或生成时，解码器应该只能“看到”当前词及之前的词，而不能“偷看”未来的词。这确保了自回归生成的特性。]]></description><category></category></item><item><title><![CDATA[Transformer多头注意力机制实战解析]]></title><link>https://blog.youkuaiyun.com/m0_67547784/article/details/156417795</link><guid>https://blog.youkuaiyun.com/m0_67547784/article/details/156417795</guid><author>m0_67547784</author><pubDate>Tue, 30 Dec 2025 16:41:44 +0800</pubDate><description><![CDATA[经典论文《Attention Is All You Need》多头注意力机制作为Transformer的核心，通过并行化计算多头表示和缩放点积高效性：完全并行计算，训练速度大幅提升强大性：能够建模任意距离的依赖关系通用性：成为NLP、CV、多模态的统一架构基础可扩展性：易于堆叠深层网络，支持大规模预训练。]]></description><category></category></item><item><title><![CDATA[Transformer位置编码实战解析]]></title><link>https://blog.youkuaiyun.com/m0_67547784/article/details/156395609</link><guid>https://blog.youkuaiyun.com/m0_67547784/article/details/156395609</guid><author>m0_67547784</author><pubDate>Mon, 29 Dec 2025 20:25:39 +0800</pubDate><description><![CDATA[本文探讨了Transformer模型中位置编码的实现原理。首先分析了词向量相似度计算（如&quot;black&quot;和&quot;brown&quot;余弦相似度达0.99），指出单纯词嵌入会丢失位置信息。接着介绍了正弦/余弦位置编码方法，计算显示位置编码相似度（0.86）明显低于词嵌入相似度。最后演示了将位置编码与词嵌入结合的方法（需乘以√d_model放大信号），使最终相似度达到0.995。文章通过代码实现展示了Transformer如何通过位置编码保留词序信息，并解释了乘以√d_model的数学]]></description><category></category></item><item><title><![CDATA[C++赛博修仙 之 cin 特性]]></title><link>https://blog.youkuaiyun.com/m0_67547784/article/details/151361901</link><guid>https://blog.youkuaiyun.com/m0_67547784/article/details/151361901</guid><author>m0_67547784</author><pubDate>Tue, 09 Sep 2025 15:22:35 +0800</pubDate><description><![CDATA[输出：5（换行）5（换行）3（换行）3（换行）是因为在C++中cin 本身就是一个对象。自动跳过空格、制表符、回车等空白符。情况二：输入 53 + 回车。情况一： 输入 5 + 回车。对象本身（用于条件判断）输入缓冲区中等待后续读取。输入 53 + 回车。]]></description><category></category></item><item><title><![CDATA[在使用numpy库求导数时的错误和理解]]></title><link>https://blog.youkuaiyun.com/m0_67547784/article/details/150061251</link><guid>https://blog.youkuaiyun.com/m0_67547784/article/details/150061251</guid><author>m0_67547784</author><pubDate>Fri, 08 Aug 2025 12:14:47 +0800</pubDate><description><![CDATA[在求梯度时，直接使用weight_gradients = 2 * np.mean(np.dot(errors*y_hat*(1-y_hat)),features) 去得到结果。发现结果与答案不同。]]></description><category></category></item><item><title><![CDATA[实现将文本数据（input_text）转换为input_embeddings的操作]]></title><link>https://blog.youkuaiyun.com/m0_67547784/article/details/149260070</link><guid>https://blog.youkuaiyun.com/m0_67547784/article/details/149260070</guid><author>m0_67547784</author><pubDate>Fri, 11 Jul 2025 15:51:51 +0800</pubDate><description><![CDATA[我们在使用大模型时，如何将我们理解的文字转换为大模型所理解的文字。]]></description><category></category></item><item><title><![CDATA[Pydantic + Function Calling的结合]]></title><link>https://blog.youkuaiyun.com/m0_67547784/article/details/148388202</link><guid>https://blog.youkuaiyun.com/m0_67547784/article/details/148388202</guid><author>m0_67547784</author><pubDate>Sun, 08 Jun 2025 16:22:16 +0800</pubDate><description><![CDATA[Pydantic 是一个 Python 库，用于数据验证和设置管理，通过 Python 类型注解强制执行数据类型。输入数据会自动验证类型，无效数据会引发。]]></description><category></category></item><item><title><![CDATA[关于langchain使用API加载model的方式]]></title><link>https://blog.youkuaiyun.com/m0_67547784/article/details/148241690</link><guid>https://blog.youkuaiyun.com/m0_67547784/article/details/148241690</guid><author>m0_67547784</author><pubDate>Mon, 02 Jun 2025 00:05:57 +0800</pubDate><description><![CDATA[定义工具函数"""获取当前天气情况。输入地点，如'上海'"""weather_conditions = ["晴天", "多云", "雨天"]return f"{location}今天是{random_weather}。# 查询当前时间的工具"""获取当前时间"""return f"当前时间：{formatted_time}。创建tool列表请根据以下的 JSON 格式提供工具信息。type字段固定为"function"；function字段为 Object 类型；name。]]></description><category></category></item><item><title><![CDATA[关于Agent的简单构建和分享]]></title><link>https://blog.youkuaiyun.com/m0_67547784/article/details/147398173</link><guid>https://blog.youkuaiyun.com/m0_67547784/article/details/147398173</guid><author>m0_67547784</author><pubDate>Wed, 23 Apr 2025 21:34:30 +0800</pubDate><description><![CDATA["""工具基类"""self._is_core = False # 是否为核心工具@property"""工具名称"""pass"""工具主逻辑Args:params: 参数字典Returns:执行结果"""pass"""天气查询工具，获取指定城市的天气信息"""@propertycity = params.get("city", "北京")# 实际调用天气API基于大语言模型(LLM)的智能代理(Agent)实现，具有工具使用、记忆和检索增强生成(RAG)能力。]]></description><category></category></item><item><title><![CDATA[[推荐]AI驱动的知识图谱生成器（AI Powered Knowledge Graph Generator）]]></title><link>https://blog.youkuaiyun.com/m0_67547784/article/details/147197369</link><guid>https://blog.youkuaiyun.com/m0_67547784/article/details/147197369</guid><author>m0_67547784</author><pubDate>Sun, 13 Apr 2025 22:12:55 +0800</pubDate><description><![CDATA[简介：以非结构化文本文档为输入，使用您选择的LLM以主语-谓语-宾语 (SPO) 三元组的形式提取知识，并将这些关系可视化为交互式知识图谱可与任何 OpenAI 兼容 API 端点配合使用prompt，简单的理解它是给 AI 模型的指令。任何你希望解决的问题通过文字形式表达出来，作为Prompt传递给AI模型（在ChatGPT等GPT产品中目前是文字形式，未来可能有图像，语音，视频等多形式），AI 模型会基于 prompt 所提供的信息，生成对应的文本、图片甚至视频等信息。]]></description><category></category></item><item><title><![CDATA[MCP 实战：实现server端，并在cline调用]]></title><link>https://blog.youkuaiyun.com/m0_67547784/article/details/146984724</link><guid>https://blog.youkuaiyun.com/m0_67547784/article/details/146984724</guid><author>m0_67547784</author><pubDate>Thu, 03 Apr 2025 17:24:54 +0800</pubDate><description><![CDATA[本文动手实现一个简单的MCP服务端的编写，并通过MCP Server 实现成绩查询的调用。]]></description><category></category></item><item><title><![CDATA[简单谈谈很火的MCP( Model Context Protocol，模型上下文协议)]]></title><link>https://blog.youkuaiyun.com/m0_67547784/article/details/146528614</link><guid>https://blog.youkuaiyun.com/m0_67547784/article/details/146528614</guid><author>m0_67547784</author><pubDate>Fri, 28 Mar 2025 17:10:10 +0800</pubDate><description><![CDATA[MCP(‌，旨在解决AI工具开发中接口不统一、跨模型共享困难等问题。‌。]]></description><category></category></item><item><title><![CDATA[如何简单预估大模型运行所需的显存]]></title><link>https://blog.youkuaiyun.com/m0_67547784/article/details/146187496</link><guid>https://blog.youkuaiyun.com/m0_67547784/article/details/146187496</guid><author>m0_67547784</author><pubDate>Tue, 11 Mar 2025 22:26:07 +0800</pubDate><description><![CDATA[模型消耗的显存主要来源于模型参数，前向/反向，梯度以及优化器……]]></description><category></category></item><item><title><![CDATA[利用矩阵相乘手动实现卷积操作]]></title><link>https://blog.youkuaiyun.com/m0_67547784/article/details/146026674</link><guid>https://blog.youkuaiyun.com/m0_67547784/article/details/146026674</guid><author>m0_67547784</author><pubDate>Tue, 04 Mar 2025 22:04:01 +0800</pubDate><description><![CDATA[卷积（Convolution） 是信号处理和图像处理中的一种重要操作，广泛应用于深度学习（尤其是卷积神经网络，CNN）中。它的核心思想是通过一个卷积核（Kernel） 或 滤波器（Filter） 对输入信号或图像进行扫描，提取局部特征。在信号处理领域，卷积可以看作是两个函数或信号在某种程度上的“重叠”运算。在图像处理中，卷积是图像滤波的核心操作。图像滤波器，例如边缘检测、模糊和锐化都是通过卷积来实现的。给定两个离散信号 f 和 g，它们的卷积 (f∗g) 定义为：对于二维信号（如图像），卷积的定义为：卷积操]]></description><category></category></item><item><title><![CDATA[ 关于使用transformers的Trainer微调报错 TypeError:model. forward() got an unexpected keyword argument ‘labels‘]]></title><link>https://blog.youkuaiyun.com/m0_67547784/article/details/145475150</link><guid>https://blog.youkuaiyun.com/m0_67547784/article/details/145475150</guid><author>m0_67547784</author><pubDate>Thu, 06 Feb 2025 16:00:45 +0800</pubDate><description><![CDATA[在运行trainer.train()时，报错TypeError: Qwen2Model.forward() got an unexpected keyword argument 'labels'在尝试AutoModelForCausalLM后，发现居然跑通了！起初认为时在构造数据集时定义的问题，但是在调试过程中发现trainer的构造。以为可以解决问题了，emmmmm发现作者找到了问题，但是最终并没有解决问题。然后突发奇想，去GitHub查看了Qwen的官方使用手册，然后百度了数篇文章，看到了。]]></description><category></category></item><item><title><![CDATA[browser-use 的简单使用]]></title><link>https://blog.youkuaiyun.com/m0_67547784/article/details/145259527</link><guid>https://blog.youkuaiyun.com/m0_67547784/article/details/145259527</guid><author>m0_67547784</author><pubDate>Mon, 20 Jan 2025 13:25:40 +0800</pubDate><description><![CDATA[BrowserUse是一个基于Python开发的开源库，它将先进的AI技术与浏览器自动化功能深度融合。通过集成Playwright等浏览器自动化工具，BrowserUse允许开发者使用任何支持LangChain的大型语言模型（如GPT-4、Claude、DeepSeek等）来自动化浏览网页、提取信息、模拟用户操作等。3、‘sk-xxxxxxxxx’替换为自己的DeepSeek的api-key即可运行。2、原文件要获取openai-key,下面的代码是以DeepSeek为例的修改版。]]></description><category></category></item><item><title><![CDATA[使用transformers和BertTokenizer遇到的问题]]></title><link>https://blog.youkuaiyun.com/m0_67547784/article/details/143594702</link><guid>https://blog.youkuaiyun.com/m0_67547784/article/details/143594702</guid><author>m0_67547784</author><pubDate>Thu, 07 Nov 2024 15:27:51 +0800</pubDate><description><![CDATA[问题二：使用BertTokenizer出现ValueError: Connection error, and we cannot find the requested files in the cached path. Please try again or make sure your Internet connection is on.问题三：AttributeError: 'BertTokenizer' object has no attribute 'max_model_input_size']]></description><category></category></item><item><title><![CDATA[解决Error：AttributeError: module ‘numpy‘ has no attribute ‘complex‘]]></title><link>https://blog.youkuaiyun.com/m0_67547784/article/details/143451802</link><guid>https://blog.youkuaiyun.com/m0_67547784/article/details/143451802</guid><author>m0_67547784</author><pubDate>Sat, 02 Nov 2024 16:00:54 +0800</pubDate><description><![CDATA[#  报错详情：AttributeError: module 'numpy' has no attribute 'complex'. `np.complex` was a deprecated alias for the builtin `complex`. To avoid this error in existing code, use `complex` by itself. Doing this will not modify any behavior and is safe. If you spe]]></description><category></category></item><item><title><![CDATA[NCCL报错 raise RuntimeError(“Distributed package doesn‘t have NCCL “ “built in“)RuntimeError: Distribu]]></title><link>https://blog.youkuaiyun.com/m0_67547784/article/details/143064063</link><guid>https://blog.youkuaiyun.com/m0_67547784/article/details/143064063</guid><author>m0_67547784</author><pubDate>Fri, 18 Oct 2024 23:03:29 +0800</pubDate><description><![CDATA[windows用户可能必须使用“gloo”而不是“nccl”作为后端。windows系统不支持nccl，采用gloo；#nccl：NVIDIA集体通信库。]]></description><category></category></item><item><title><![CDATA[Huggingface遇到 Couldn‘t reach xxx on the Hub (ConnectionError)解决方法]]></title><link>https://blog.youkuaiyun.com/m0_67547784/article/details/143021786</link><guid>https://blog.youkuaiyun.com/m0_67547784/article/details/143021786</guid><author>m0_67547784</author><pubDate>Thu, 17 Oct 2024 16:42:57 +0800</pubDate><description><![CDATA[使用datasets.load_dataset（）函数下载数据集失败。在对应的环境名/Lib/urllib/request.py。在下载模型时管用，数据集依旧无法解决。在对应的目录下，打开终端（前提：本机安装了Git）修改 proxyServers。]]></description><category></category></item></channel></rss>