<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[aaaa_a133的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/aaaa_a133</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; aaaa_a133]]></copyright><item><title><![CDATA[RoPE笔记]]></title><link>https://blog.youkuaiyun.com/aaaa_a133/article/details/157945360</link><guid>https://blog.youkuaiyun.com/aaaa_a133/article/details/157945360</guid><author>aaaa_a133</author><pubDate>Tue, 10 Feb 2026 20:40:29 +0800</pubDate><description><![CDATA[笔记链接]]></description><category></category></item><item><title><![CDATA[b站up主chaofa用代码打点酱油：手把手推导LLM 大模型可训练参数量大小（大模型基本功--面试必考题）]]></title><link>https://blog.youkuaiyun.com/aaaa_a133/article/details/156278711</link><guid>https://blog.youkuaiyun.com/aaaa_a133/article/details/156278711</guid><author>aaaa_a133</author><pubDate>Thu, 25 Dec 2025 21:55:21 +0800</pubDate><description><![CDATA[这个博主的视频都好好！推荐把前面手搓注意力也看一下输入 = 输出，。序列里每一个位置只能看见它左边的 token，注意力矩阵是——信息流永远“从左到右”，因此必须生成。因果推理，前面的token预测下一个token(NTP:next token procession)Prefix LM把一段文本显式地分成两段。Prefix 部分用一次性编码；Target 部分仍用逐位生成。这样既能在前缀上“全文理解”，又能在后缀上“自回归生成”，所以叫 Prefix LM。以causalLM来计算。]]></description><category></category></item><item><title><![CDATA[机器学习——Random Forest随机森林：b站up主 五分钟机器学习+time星君]]></title><link>https://blog.youkuaiyun.com/aaaa_a133/article/details/156201412</link><guid>https://blog.youkuaiyun.com/aaaa_a133/article/details/156201412</guid><author>aaaa_a133</author><pubDate>Tue, 23 Dec 2025 21:20:04 +0800</pubDate><description><![CDATA[（3）假设有M个特征，选择有一部分数据，特征为m（m<<M）,每一次分裂都是从m中选一个出来；有很多决策树，不同决策树训练的数据集不一样，看问题的角度不一样，运行结果不一样，将不同结论综合起来，得到随机森林最终的输出。2.对于有不同取值的属性的数据，取值划分较多的属性会对随机森林产生更大的影响，所以随机森林在。征，而是从所有的待选特征中随机选取一定的特征，之后再在随机选取的特征中选取最优的。与数据集的随机选取类似，随机森林中的子树的每一个分裂过程并未用到所有的待选特。，构造子数据集，子数据集的数据量是和。]]></description><category></category></item><item><title><![CDATA[李宏毅：AI AGENT]]></title><link>https://blog.youkuaiyun.com/aaaa_a133/article/details/156148967</link><guid>https://blog.youkuaiyun.com/aaaa_a133/article/details/156148967</guid><author>aaaa_a133</author><pubDate>Mon, 22 Dec 2025 15:31:32 +0800</pubDate><description><![CDATA[先获得一个目标(goal)，然后观察，根据观察（obs1）进行行动(action1)，再观察(obs2)，再行动(action2)]]></description><category></category></item><item><title><![CDATA[BERT: Pre-training of Deep Bidirectional Transformers forLanguage Understanding——论文笔记]]></title><link>https://blog.youkuaiyun.com/aaaa_a133/article/details/155819190</link><guid>https://blog.youkuaiyun.com/aaaa_a133/article/details/155819190</guid><author>aaaa_a133</author><pubDate>Sun, 14 Dec 2025 11:09:26 +0800</pubDate><description><![CDATA[BERT被设计用来无标签文本预训练深度双向表达，通过共同调节所有层中左侧和右侧的上下文。结果是，预训练BERT模型可以被微调仅仅用一个额外的输出层来创造SOTA的模型适用大量的任务，例如问题回答和语言推理，而不需要针对大量任务特定结构微调。]]></description><category></category></item><item><title><![CDATA[The lllustrated Transformer——阅读笔记]]></title><link>https://blog.youkuaiyun.com/aaaa_a133/article/details/155767923</link><guid>https://blog.youkuaiyun.com/aaaa_a133/article/details/155767923</guid><author>aaaa_a133</author><pubDate>Thu, 11 Dec 2025 11:40:08 +0800</pubDate><description><![CDATA[训练时，未经训练的模型照样走一遍 完全一样的前向计算（forward padd）因为我们有标准答案（人工翻译的句子），可以把模型给出的概率分布与正确答案对比，算出损失（loss），然后反向传播更新权重。<eos>是句子结束符）这份“输出词典”是在训练前就建好的，通常是训练集里出现频率最高的 10 000 或 30 000 个词。一旦我们定义输出词典，我们可以使用同一宽度的向量表示单词，这也叫做one-hot encoding。]]></description><category></category></item><item><title><![CDATA[transformer代码实现——李沐动手学深度学习]]></title><link>https://blog.youkuaiyun.com/aaaa_a133/article/details/155747010</link><guid>https://blog.youkuaiyun.com/aaaa_a133/article/details/155747010</guid><author>aaaa_a133</author><pubDate>Tue, 09 Dec 2025 16:00:17 +0800</pubDate><description><![CDATA[ffn_num_input：输入特征的维度（一般是 Transformer 里 attention 的输出维度 d_model）。ffn_num_hiddens：中间隐层的维度（Transformer 原论文里放大 4 倍，例如 512 → 2048）。ffn_num_outputs：输出特征的维度（通常再缩放回 d_model，保持子层输入/输出一致，方便残差连接）。训练结束后，使用Transformer模型将一些英语句子翻译成法语，并计算它们的BLEU分数。暂退法也被作为正则化方法使用。]]></description><category></category></item><item><title><![CDATA[李宏毅——self-attention Transformer]]></title><link>https://blog.youkuaiyun.com/aaaa_a133/article/details/155629928</link><guid>https://blog.youkuaiyun.com/aaaa_a133/article/details/155629928</guid><author>aaaa_a133</author><pubDate>Sun, 07 Dec 2025 10:41:36 +0800</pubDate><description><![CDATA[encoder输出的a1,a2,a3...产生k1,v1,k2,v2,k3,v4，self-attention对应的q，k1q点积产生。在训练阶段用外部知识或先验分布去“告诉”模型的注意力矩阵应该长成什么样，从而加快收敛、提升鲁棒性，或让模型学到人类可解释的对齐方式。Guided Attention = 先验地图 + 辅助损失，让注意力矩阵在训练时就“走对方向”，从而学得更快、更准、更易解释。- **L2** = KL(A‖G) 或 MSE(A,G)，直接把 A 拉向先验分布；]]></description><category></category></item><item><title><![CDATA[Attention is all you need——论文笔记]]></title><link>https://blog.youkuaiyun.com/aaaa_a133/article/details/155601699</link><guid>https://blog.youkuaiyun.com/aaaa_a133/article/details/155601699</guid><author>aaaa_a133</author><pubDate>Fri, 05 Dec 2025 11:30:39 +0800</pubDate><description><![CDATA[在WMT 2014英法翻译任务上，我们的模型在8个GPU上进行了3.5天的培训后，建立了一个新的单一模型最先进的BLEU得分41.8%，成本比之前下降了a small fraction of the training costs of the best models from the literature。关联来自两个任意输入或输出位置的信号所需的操作数量随着位置之间的距离而增加，对于ConvS2S是线性的，对于ByteNet是对数的。它们被连接起来，并再次投影，产生最终的值，如图2所示。]]></description><category></category></item><item><title><![CDATA[Lessons Learned: A Multi-Agent Framework for Code LLMs to Learn and Improve——阅读论文笔记]]></title><link>https://blog.youkuaiyun.com/aaaa_a133/article/details/155426692</link><guid>https://blog.youkuaiyun.com/aaaa_a133/article/details/155426692</guid><author>aaaa_a133</author><pubDate>Sun, 30 Nov 2025 20:28:17 +0800</pubDate><description><![CDATA[我们认为一个团队的agent可以互相学习对方的成功和失败来改善表现。因此，lesson指的是被一个agent创造并且被其他agents传阅在共同解决的过程中。leverages multiple LLM agents without knowing their complementary strengths a priori利用多个LLM代理来解决编码问题，而不需要事先知道它们的互补优势。]]></description><category></category></item><item><title><![CDATA[人工智能自学记录]]></title><link>https://blog.youkuaiyun.com/aaaa_a133/article/details/154176174</link><guid>https://blog.youkuaiyun.com/aaaa_a133/article/details/154176174</guid><author>aaaa_a133</author><pubDate>Fri, 31 Oct 2025 10:56:43 +0800</pubDate><description><![CDATA[pytorch接口。# python基础。]]></description><category></category></item><item><title><![CDATA[计算机科学与技术——重生之我在b站上大学]]></title><link>https://blog.youkuaiyun.com/aaaa_a133/article/details/142899493</link><guid>https://blog.youkuaiyun.com/aaaa_a133/article/details/142899493</guid><author>aaaa_a133</author><pubDate>Sun, 13 Oct 2024 15:55:16 +0800</pubDate><description><![CDATA[汤家凤。]]></description><category></category></item><item><title><![CDATA[7-31 笛卡尔树]]></title><link>https://blog.youkuaiyun.com/aaaa_a133/article/details/134671249</link><guid>https://blog.youkuaiyun.com/aaaa_a133/article/details/134671249</guid><author>aaaa_a133</author><pubDate>Tue, 28 Nov 2023 16:39:46 +0800</pubDate><description><![CDATA[注意点：1、二叉搜索树不能通过递归判断，这样只能判断子树是二叉搜索树，不一定整棵树是，应该通过中序遍历判断是否是递增序列。2、注意最小堆的判断，先判断左右子树（如果不为空），再递归。]]></description><category></category></item><item><title><![CDATA[7-8 哈利·波特的考试]]></title><link>https://blog.youkuaiyun.com/aaaa_a133/article/details/133965030</link><guid>https://blog.youkuaiyun.com/aaaa_a133/article/details/133965030</guid><author>aaaa_a133</author><pubDate>Sat, 21 Oct 2023 19:12:46 +0800</pubDate><description><![CDATA[1、弗洛伊德算法的应用，注意不要擅自把k调到最里层循环，不然后面两个测试点过不了。]]></description><category></category></item><item><title><![CDATA[PTA数据结构习题集7-7 六度空间]]></title><link>https://blog.youkuaiyun.com/aaaa_a133/article/details/133964017</link><guid>https://blog.youkuaiyun.com/aaaa_a133/article/details/133964017</guid><author>aaaa_a133</author><pubDate>Sat, 21 Oct 2023 17:22:57 +0800</pubDate><description><![CDATA[1、考虑不连通的情况，所以value的初始值要化成10000000。2、用深搜过不了，要用广搜。]]></description><category></category></item><item><title><![CDATA[P5908 猫猫和企鹅]]></title><link>https://blog.youkuaiyun.com/aaaa_a133/article/details/133959758</link><guid>https://blog.youkuaiyun.com/aaaa_a133/article/details/133959758</guid><author>aaaa_a133</author><pubDate>Sat, 21 Oct 2023 12:28:10 +0800</pubDate><description><![CDATA[1、这是无向图。]]></description><category></category></item><item><title><![CDATA[P1347 排序]]></title><link>https://blog.youkuaiyun.com/aaaa_a133/article/details/133957944</link><guid>https://blog.youkuaiyun.com/aaaa_a133/article/details/133957944</guid><author>aaaa_a133</author><pubDate>Sat, 21 Oct 2023 10:01:30 +0800</pubDate><description><![CDATA[1、如果同时有两个度为0的点入队，则条件不足，因为无法确定这两个同时入队的大小关系。3、同时条件矛盾和不足时要输出条件矛盾。2、入队数小于总数，条件矛盾。4、每输入一次判断一次。]]></description><category></category></item><item><title><![CDATA[P1127 词链]]></title><link>https://blog.youkuaiyun.com/aaaa_a133/article/details/133954619</link><guid>https://blog.youkuaiyun.com/aaaa_a133/article/details/133954619</guid><author>aaaa_a133</author><pubDate>Fri, 20 Oct 2023 21:42:08 +0800</pubDate><description><![CDATA[2、string连接字符串的用法。1、(验证是否有自己排字典序）注意加自己写的字符串是单引号。则sort(s,s+n)]]></description><category></category></item><item><title><![CDATA[厦门大学数据结构实验3.4 【模板】KMP字符串匹配]]></title><link>https://blog.youkuaiyun.com/aaaa_a133/article/details/133937230</link><guid>https://blog.youkuaiyun.com/aaaa_a133/article/details/133937230</guid><author>aaaa_a133</author><pubDate>Thu, 19 Oct 2023 23:49:18 +0800</pubDate><description><![CDATA[2、重新开始搜索不要用递归，也不要移动i，直接j=next[j]1、数组要开到1e-6，不然会段错误。]]></description><category></category></item><item><title><![CDATA[P1807 最长路]]></title><link>https://blog.youkuaiyun.com/aaaa_a133/article/details/133912967</link><guid>https://blog.youkuaiyun.com/aaaa_a133/article/details/133912967</guid><author>aaaa_a133</author><pubDate>Wed, 18 Oct 2023 19:25:06 +0800</pubDate><description><![CDATA[1、所以点 1 绝对是一个没有入度的点，而且不会出现环。但是，题目并不保证只有点 11 是没有入度的。他们本身是无法到达的点，所以根本不可能会延伸到其他地方，如果加入队列，那么就会导致个别点，甚至所有点的答案错误。如果不管，那么他们延伸出来的点的入度永远大于 0，因为还有那些点。那么解决方法就是先做一遍 for 循环，找到那些点，再把延伸出来的点的入度 −1，如果这些点入读 −1后又变成了入度为 0的点，那么再做同样的处理。3、读取是注意有可能同一个边有多种权值，要把大的权值输入。]]></description><category></category></item></channel></rss>