gentlelu的博客

整体架构

Vit的变形总结（更新中）DeepVit发现在原来的Vit模型中，随着transformer层的增多，结果并没有得到优化，甚至会出现下降（32层的差于24层的）随着ViT模型深度的增加，注意力图在一定深层数的计算之后会趋于相似这个现象被称作attention collapse解决方法计算value时，将各个head的attention weight进行交换（用一个可学习的矩阵实现）原Attention Value计算公式：Attention(Q,K,V)=Softmax(QKTd)V

DE(Differential Evolution)算法A. 基本算法原理DE算法仍然是EA算法的一种，所以在学习DE算法之前，先让我们复习一下EA(Evolution Algorithm)算法的流程图：在开始进行具体的流程介绍之前，先让我们来定义一些东西Solution根据问题的维度D，我们用一个D维的向量来表示为一个Solution需要注意的是，每一个维度都应该有自己的上界和下界Population我们将固定数量(NP)个Solution打包起来，这样就形成了一个Population

给自己定下一个小目标，开始自学《机器学习实战》这本书，希望能通过在优快云上记录自己的学习历程可以看到自己的成长与进步！路漫漫其修远兮，吾将上下而求索！今天的就是在电脑上安装Anaconda3和Pycharm并配置好python3.6的环境。第一步，安装并配置Anaconda31、下载并安装在清华镜像源上下载Anaconda3，官网上的下载速度真的太慢了！下载链接：https:...