qq_44459787的博客

此文作者本身对transformer有一些基础的了解,此处主要用于记录一些关于transformer模型的细节部分用于进一步理解其具体的实现机制，输入输出细节，以及一些理解.此文会不定期更新用于记录新学习到的知识.

先看这个蓝色笔记部分。最外圈的大圆代表的是整个概率分布空间，我们要求的后验概率 是此空间里的一个点，大圆内部还有个小圆Q，Q是这个空间里的一个概率分布family，VI要做的就是找到Q中的一个最优的替代概率分布 （此分布比后验分布好求解），其是整个Q中离 最近的分布。（题外话，KL散度数值上是always大于等于0的，那么在没有其他约束的条件下，。因为等式左边是常数，我们的目标又是最小化KL项，那么我们要做的其实就是最大化 ，既。如果我们能找到这样的分布 ，那么我们就可以用 去估计原来不好计算的。

@misc{sahoo2017online,title={Online Deep Learning: Learning Deep Neural Networks on the Fly},author={Doyen Sahoo and Quang Pham and Jing Lu and Steven C. H. Hoi},year={2017},eprint={1711.03705},archivePrefix={arXiv},primaryClass={cs.LG}}

在Online Learning的训练过程中，会存在全新的数据（特征空间不同或特征分布不同）进入模型，此时预测结果就会存在较大的偏差。这种现象称为概念漂移（Concept Drifting）真实数据如果在特征空间上出现了较大的变化，那么原先模型的预测效果就会大打折扣。当模型学到的模式不再成立时，就会发生概念漂移。按照概念漂移速度，可以大致分为以下情况：Sudden： 即相当于突然发生了疫情，那么原先对于市场的预测模型会被瞬间击穿，不具有预测价值。也是我们在思考数据或其他现象时经常会提疫情后时代.

算是之前落下的DL基础知识的填坑[笑哭]

SR研究（1）RCAN论文阅读上阅读论文：Image Super-Resolution Using Very Deep Residual Channel Attention NetworksRCAN网络主要的成就为提出了RIR结构用于构建深层次的网络从而提高视觉识别的效果，利用模型抓取高频信息并且和低频信息结合从而提高分辨率。此外还在低分辨率图像任务中首次引入了注意力机制，通过通道注意力来调整资源分配给信息更丰富的区域，提高分辨率改进效果。1. Introduction（引言部分）We add

参考论文：S. J. Pan and Q. Yang, “A Survey on Transfer Learning,” in IEEE Transactions on Knowledge and Data Engineering, vol. 22, no. 10, pp. 1345-1359, Oct. 2010, doi: 10.1109/TKDE.2009.191.笔者注：本文是迁移学习领域的一篇Survey，学习目标为通过论文阅读初步了解迁移学习的原理以及具体应用的场合。并寻找与跨场景轨迹预测相.

L. Jing and Y. Tian, “Self-Supervised Visual Feature Learning With Deep Neural Networks: A Survey,” in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 43, no. 11, pp. 4037-4058, 1 Nov. 2021, doi: 10.1109/TPAMI.2020.2992393.笔者注：这篇文章主要.

SR研究（1）RCAN论文阅读下阅读论文：Image Super-Resolution Using Very Deep Residual Channel Attention Networks上文链接4. Experiments（实验）- SettingsFollowing [23, 36, 43, 44], we use 800 training images from DIV2K dataset [36] as training set. For testing, we use five