<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[W976277的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/W976277</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; W976277]]></copyright><item><title><![CDATA[注意力复杂度分析]]></title><link>https://blog.youkuaiyun.com/W976277/article/details/132678169</link><guid>https://blog.youkuaiyun.com/W976277/article/details/132678169</guid><author>W976277</author><pubDate>Mon, 04 Sep 2023 21:33:27 +0800</pubDate><description><![CDATA[综上所述，每个注意力头的总FLOPs为 N * N * d（查询线性变换和键线性变换的点积）+ N * N * d（softmax归一化）+ N * D * D（自注意力输出的计算）。请注意，上述计算仅考虑了单个注意力头的FLOPs，并未考虑多头注意力和其它线性变换的FLOPs。对于每个注意力头（attention head），假设我们使用的是点积注意力（dot-product attention）。在点积注意力中，对于每个查询向量和键向量的维度，需要进行一个乘法操作。]]></description><category></category></item><item><title><![CDATA[自注意力计算举例]]></title><link>https://blog.youkuaiyun.com/W976277/article/details/132677459</link><guid>https://blog.youkuaiyun.com/W976277/article/details/132677459</guid><author>W976277</author><pubDate>Mon, 04 Sep 2023 20:50:29 +0800</pubDate><description><![CDATA[自注意计算，来自chat-gpt]]></description><category></category></item></channel></rss>