<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Dark_Cultivation的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Dark_Cultivation</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Dark_Cultivation]]></copyright><item><title><![CDATA[注意力机制（极简教程）：Transformer核心]]></title><link>https://blog.youkuaiyun.com/Dark_Cultivation/article/details/150934355</link><guid>https://blog.youkuaiyun.com/Dark_Cultivation/article/details/150934355</guid><author>Dark_Cultivation</author><pubDate>Wed, 27 Aug 2025 20:41:28 +0800</pubDate><description><![CDATA[注意力机制→ 解决信息选择问题自注意力机制→ 实现全局信息交互多头自注意力→ 捕获多样化关系模式多头掩码注意力→ 适配生成任务约束每一步改进都针对前一阶段的具体问题，最终形成了Transformer架构的核心。这个演进过程不仅是技术的进步，更体现了对序列建模本质问题的深入理解。从最初的"关注重要信息"，到最终的"在约束条件下进行多维度全局建模"，注意力机制的演进为现代自然语言处理奠定了坚实基础。]]></description><category></category></item><item><title><![CDATA[统计语言模型 (n元语言模型）]]></title><link>https://blog.youkuaiyun.com/Dark_Cultivation/article/details/149814042</link><guid>https://blog.youkuaiyun.com/Dark_Cultivation/article/details/149814042</guid><author>Dark_Cultivation</author><pubDate>Thu, 31 Jul 2025 21:27:04 +0800</pubDate><description><![CDATA[摘要：语言模型是自然语言处理的核心技术，用于计算句子概率和预测下一个词。统计语言模型通过条件概率链式法则计算句子概率，但面临数据稀疏问题。N-gram模型引入马尔可夫假设简化计算，将上下文限制为前n-1个词。通过最大似然估计从语料库统计N-gram概率，但零概率问题需采用平滑策略（如加一平滑）解决。语言模型在输入法、机器翻译等应用中发挥重要作用。]]></description><category></category></item></channel></rss>