<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[wangxiaobin1314的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/wangxiaobin1314</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; wangxiaobin1314]]></copyright><item><title><![CDATA[transformer中的位置编码]]></title><link>https://blog.youkuaiyun.com/wangxiaobin1314/article/details/154113921</link><guid>https://blog.youkuaiyun.com/wangxiaobin1314/article/details/154113921</guid><author>wangxiaobin1314</author><pubDate>Sun, 09 Nov 2025 17:11:18 +0800</pubDate><description><![CDATA[自然语言，本质上是一个序列数据，句子中的词语有先后顺序之分。可以从绝对位置和相对位置两个方面来说明位置信息的重要性。从绝对位置信息上讲，颠倒词语的先后顺序可能会改变整个句子的意思，例如“猫捉老鼠”和“老鼠捉猫”所表达的意思完全不同。从相对位置信息来讲，以某个词为中心，在句子中，越是靠近它的词，它们之间的关联性就越大，对它来说越重要。距离越远，可能关联性就越弱。]]></description><category></category></item><item><title><![CDATA[Transformer十问]]></title><link>https://blog.youkuaiyun.com/wangxiaobin1314/article/details/150441556</link><guid>https://blog.youkuaiyun.com/wangxiaobin1314/article/details/150441556</guid><author>wangxiaobin1314</author><pubDate>Tue, 19 Aug 2025 22:41:48 +0800</pubDate><description><![CDATA[对单样本所有特征维度归一化。]]></description><category></category></item><item><title><![CDATA[Attention is all you need论文解析]]></title><link>https://blog.youkuaiyun.com/wangxiaobin1314/article/details/149897668</link><guid>https://blog.youkuaiyun.com/wangxiaobin1314/article/details/149897668</guid><author>wangxiaobin1314</author><pubDate>Sat, 16 Aug 2025 18:22:41 +0800</pubDate><description><![CDATA[Attention is all you need》这篇论文是谷歌科学家于2027年发表的，是自然语言处理（NLP）和深度学习领域的一篇里程碑式著作。作者在这篇论文中提出了Transformer这个大杀器，它彻底改变了序列建模（尤其是机器翻译）的范式，并催生了后续一系列革命性的大模型（如BERT、GPT系列、T5等）。本文对《Attention is all you need》进行讲解。在Transformer之前，业界主流的序列模型是基于复杂的循环神经网络或卷积神经网络，然后叠加编码器和解码器。]]></description><category></category></item><item><title><![CDATA[注意力机制十问]]></title><link>https://blog.youkuaiyun.com/wangxiaobin1314/article/details/149142688</link><guid>https://blog.youkuaiyun.com/wangxiaobin1314/article/details/149142688</guid><author>wangxiaobin1314</author><pubDate>Fri, 11 Jul 2025 18:24:26 +0800</pubDate><description><![CDATA[在标准注意力/自注意力中，]]></description><category></category></item><item><title><![CDATA[注意力机制与自注意力机制]]></title><link>https://blog.youkuaiyun.com/wangxiaobin1314/article/details/148983172</link><guid>https://blog.youkuaiyun.com/wangxiaobin1314/article/details/148983172</guid><author>wangxiaobin1314</author><pubDate>Sat, 05 Jul 2025 19:55:47 +0800</pubDate><description><![CDATA[本文讲解深度学习中的注意力机制与自注意力机制。这篇博客写的非常好，所以本文就是在此基础上，添加了多头自注意力机制的介绍。注意力模型最近几年在深度学习各个领域被广泛使用，无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中，都很容易遇到注意力模型的身影。所以，了解注意力机制的工作原理对于关注深度学习技术发展的技术人员来说有很大的必要。]]></description><category></category></item><item><title><![CDATA[ELMo模型十问]]></title><link>https://blog.youkuaiyun.com/wangxiaobin1314/article/details/148780759</link><guid>https://blog.youkuaiyun.com/wangxiaobin1314/article/details/148780759</guid><author>wangxiaobin1314</author><pubDate>Sun, 22 Jun 2025 09:31:30 +0800</pubDate><description><![CDATA[在ELMo（Embeddings from Language Models）模型中，。它们共同工作，将单词的原始字符序列编码成一个固定长度的稠密向量，作为该单词的初始输入表示。每个单词被视为一个字符序列（例如，“cat” -> [‘c’, ‘a’, ‘t’]）。每个字符被映射到一个小的字符嵌入向量（Character Embedding）。过程：在字符嵌入序列上滑动多个不同宽度（例如 2, 3, 4 个字符）的卷积核（filters）。每个卷积核学习检测特定的局部字符模式（如前缀、后缀、词根片段等）。]]></description><category></category></item><item><title><![CDATA[ELMo（Embeddings from Language Models）详解]]></title><link>https://blog.youkuaiyun.com/wangxiaobin1314/article/details/148683603</link><guid>https://blog.youkuaiyun.com/wangxiaobin1314/article/details/148683603</guid><author>wangxiaobin1314</author><pubDate>Mon, 16 Jun 2025 09:37:02 +0800</pubDate><description><![CDATA[第一层LSTM的输入序列：，其中为经过MLP层后的输出层数：共计层，第层的参数用上标（）标记隐藏层状态维度：每层前向/后向LSTM的隐藏状态维度为合并操作：双向LSTM的输出通常将前向和后向隐藏状态拼接（记作），维度为。]]></description><category></category></item><item><title><![CDATA[CBOW和Skip-gram算法十问]]></title><link>https://blog.youkuaiyun.com/wangxiaobin1314/article/details/148102868</link><guid>https://blog.youkuaiyun.com/wangxiaobin1314/article/details/148102868</guid><author>wangxiaobin1314</author><pubDate>Wed, 21 May 2025 09:28:20 +0800</pubDate><description><![CDATA[一般情况下，CBOW 的训练速度比 Skip-gram 更快。因为 CBOW 是根据上下文预测目标词，上下文通常包含多个词，，梯度更新更集中，模型可以利用这些多个词的信息快速学习到词与词之间的关系；而 Skip-gram 是从目标词预测上下文，在训练时需要对每个目标词预测多个上下文词，需对每个上下文词单独计算损失，参数更新次数更多，计算量相对较大，所以训练速度较慢。]]></description><category></category></item><item><title><![CDATA[Word2vec之CBOW和Skip-gram]]></title><link>https://blog.youkuaiyun.com/wangxiaobin1314/article/details/147868156</link><guid>https://blog.youkuaiyun.com/wangxiaobin1314/article/details/147868156</guid><author>wangxiaobin1314</author><pubDate>Tue, 20 May 2025 09:30:52 +0800</pubDate><description><![CDATA[通过公式（51）可知，采用分层softmax后，计算输出层的时间复杂度从O(V)变为了O(L(w))，即O(log(V))。CBOW 算法根据上下文单词来预测目标单词，Skip - gram 算法则根据目标单词来预测上下文单词，它们都能够有效地利用文本中的上下文信息来学习单词的表示，从而更好地理解单词在不同语境中的语义。假设词汇表中的单词量为V，当V数量很大时，会极大增加开销、复杂度、降低模型的训练效率，此时的算法复杂度为O(V)。是W的一行，也是W的唯一一个导数不为0的行，是上下文单词的输入向量。]]></description><category></category></item><item><title><![CDATA[论文《Learning Phrase Representations using RNN Encoder–Decoderfor Statistical Machine Translation》解析]]></title><link>https://blog.youkuaiyun.com/wangxiaobin1314/article/details/147360036</link><guid>https://blog.youkuaiyun.com/wangxiaobin1314/article/details/147360036</guid><author>wangxiaobin1314</author><pubDate>Mon, 21 Apr 2025 13:34:20 +0800</pubDate><description><![CDATA[论文《Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation》是由Kyunghyun Cho等人于2014年发表的。该论文主要有两个贡献：(1)是提出了RNN Encoder-Decoder架构，首次将Seq2Seq模型引入到统计机器翻译（SMT），为后溪基于神经网络的机器翻译奠定了基础；]]></description><category></category></item><item><title><![CDATA[LSTM算法十问]]></title><link>https://blog.youkuaiyun.com/wangxiaobin1314/article/details/147024000</link><guid>https://blog.youkuaiyun.com/wangxiaobin1314/article/details/147024000</guid><author>wangxiaobin1314</author><pubDate>Sat, 12 Apr 2025 23:47:19 +0800</pubDate><description><![CDATA[核心结构PyTorch通过nn.LSTMinput_size：输入特征维度（如词向量维度）：隐藏层神经元数量num_layers：LSTM堆叠层数：输入数据的维度顺序（默认False，建议设为True）示例代码# 初始化隐藏状态和细胞状态# LSTM前向传播out = self.fc(out[:, -1, :]) # 取最后一个时间步的输出return out关键参数说明输入输出维度：输入数据形状为，输出为隐藏状态初始化：需手动初始化h0（隐藏状态）和c0（细胞状态），默认全零初始化。]]></description><category></category></item><item><title><![CDATA[LSTM思想解析—论文精读（Learning to Forget: Continual Prediction with LSTM）]]></title><link>https://blog.youkuaiyun.com/wangxiaobin1314/article/details/146446220</link><guid>https://blog.youkuaiyun.com/wangxiaobin1314/article/details/146446220</guid><author>wangxiaobin1314</author><pubDate>Tue, 25 Mar 2025 11:51:30 +0800</pubDate><description><![CDATA[遗忘门的提出是为了解决：输入数据是连续的数据流，造成激活函数h(x)饱和，从而出现梯度消失或记忆细胞退化为普通BPTT的问题。遗忘门的作用就是让记忆单元可以在适当的时间将状态进行重置，从而丢弃那些内容过时且无用的信息。图2上图为添加遗忘门后的LSTM结构。在图中，表示遗忘门。与其他门的计算方式一样，遗忘门的计算公式为：（10）激活函数为sigmoid函数，因此的取值范围为0~1。根据上图红框中的公式，公式（6）变为了：（11）]]></description><category></category></item><item><title><![CDATA[LSTM思想解析—论文精读（Long Short-Term Memery）]]></title><link>https://blog.youkuaiyun.com/wangxiaobin1314/article/details/146131808</link><guid>https://blog.youkuaiyun.com/wangxiaobin1314/article/details/146131808</guid><author>wangxiaobin1314</author><pubDate>Fri, 14 Mar 2025 21:10:10 +0800</pubDate><description><![CDATA[最近在学习LSTM(Long Short-term Memory )，网上的文章基本上都是基于下图对LSTM进行介绍。然而，有几个问题一直困扰着我：LSTM与相比，它能够有效处理长依赖问题（long time lags），原因是什么呢？LSTM的网络架构为什么要设计成这样呢？引入门控机制的原因是啥呢？为了解答上述疑惑，我翻阅网上的文章、咨询DeepSeek和豆包，均没有找到我想要的答案。因此，我决定阅读原论文，通过论文去了解作者的思想。]]></description><category></category></item><item><title><![CDATA[RNN循环神经网络之RNN十问]]></title><link>https://blog.youkuaiyun.com/wangxiaobin1314/article/details/145475090</link><guid>https://blog.youkuaiyun.com/wangxiaobin1314/article/details/145475090</guid><author>wangxiaobin1314</author><pubDate>Thu, 06 Feb 2025 22:27:03 +0800</pubDate><description><![CDATA[回忆一下RNN的基本结构。例如，在进行文本处理时，序列数据中包含了N条句子（这个N条句子之间相互独立，无先后顺序），一个 batch 可能包含了其中的若干条句子，样本间是可以并行计算的。随着序列长度的增加，较早时间步的信息在经过多次线性变换和非线性激活后，会逐渐被稀释，难以完整地保留和传递到后续时间步，导致模型对长序列中的早期信息记忆能力下降。如果不是按照batch输入，而是一个字一个字依次输入模型，计算梯度时采用的是随机梯度下降法，那么梯度的估计可能会非常不稳定，因为单个样本的特征可能具有较大的随机性。]]></description><category></category></item><item><title><![CDATA[RNN循环神经网络之代码实现]]></title><link>https://blog.youkuaiyun.com/wangxiaobin1314/article/details/145453533</link><guid>https://blog.youkuaiyun.com/wangxiaobin1314/article/details/145453533</guid><author>wangxiaobin1314</author><pubDate>Wed, 05 Feb 2025 23:23:23 +0800</pubDate><description><![CDATA[RNN循环神经网络原理介绍详见。本篇主要通过Pytorch实现RNN，包括手动编写代码实现及基于Pytorch自带的RNN去实现。]]></description><category></category></item><item><title><![CDATA[RNN循环神经网络之原理详解]]></title><link>https://blog.youkuaiyun.com/wangxiaobin1314/article/details/145371434</link><guid>https://blog.youkuaiyun.com/wangxiaobin1314/article/details/145371434</guid><author>wangxiaobin1314</author><pubDate>Sun, 26 Jan 2025 21:30:45 +0800</pubDate><description><![CDATA[详细讲解RNN的原理，包括RNN的网络结构、RNN前向传播、反向传播等。]]></description><category></category></item></channel></rss>