qq_52071659的博客

Pytorch提供了Dataset类和DataLoader类专门用于处理数据，他们既可以加载Pytorch预置的数据集，也可以加载自定义数据集。其中数据集类Dataset负责存储样本以及他们对应的标签；数据加载类DataLoader负责迭代访问数据集中的样本。

这三个矩阵与输入的向量进行相乘，就可以得到对应的q1，k1，v1，后面的以此类推。注意力分数的计算就是q和k相乘，得到注意力分数，得到注意分数之后，再和相应的v1，v2，v3,v4计算出b1，b2， b3,b3也就是输出。看到这张图，我们就已经明了了整个self-Attention的计算过程了，他其实就是存在三个矩阵Q,K,V。self-attention是输入一组向量然后再输出一组向量。

以下是RNN的计算公式,t时刻的隐藏状态H(t)等于前一时刻隐藏状态H(t-1)乘以参数矩阵，再加t时刻的输入x(t)乘以参数矩阵，最后再通过激活函数，等到t时刻隐藏状态。下图是输出input和初始化的隐藏状态，当参数batch_first = True时候，输入是（batch_size,Sequence_length,input_size),参数batch_first = False的时候，输入是(Sequence_length,batch_size,input_size)h_0就是初始时刻的隐藏

两种loss计算方法区别不是很大，但是在实际使用中有一些具体的区别，其实F.CrossEntropy()和F.nul_loss()的区别就是在输入上，F.CrossEntropy相当于先对input进行一个softmax计算，再进行一个取对数操作，最后再进行 F.nul_loss()。下面的代码可以说明，当对input进行softmax和log操作之后，再进行F.nul_loss()操作可以等效于F.CrossEntropy()操作。

如下图，在python中我们执行py文件命令，可以使用 python xx.py 当我们携带其他参数时，可以使用sys.argv打印传入的参数，本身xx.py文件名也是传入的参数。其实，本身我们也可以使用图中的方式去解析传入的数据，但是当传入参数变得复杂，或者说便于管理的话，这种方式可能就不太方便了，因此也就需要使用到我们这里介绍的。argparse可设置可选参数、不可选参数，主要是处理和管理传入的参数，其实本质上argparse也是用sys.argv进行处理。

因此summary可以通过这种方式打印检查模型，查看每一层模型的输出,以及查看参数量、内存大小等信息。问题：即使模型存在错误，也可以直接打印，而不会报错，因为不能通过这种方式检查模型结构。

参考视频链接

批量归一化可以固定住小批量的均值和方差，然后学习出适合的偏移和方差可以加速收敛速度，但对精度的影响很小。

卸载原有anaconda换用miniconda的时候遇到了这个错误头疼了一两个小时，心态差点搞裂开1.最后发现是清华源的问题，原有的源卸载可能不干净也可能导致2.解决方法 建议conda config --show查看自己的镜像源是否问题3.如果有多个源的话，建议全部删除然后再进行换源试试,多半问题就解决了换源参考博客:https://blog.youkuaiyun.com/ECHOSON/article/details/104774215，总结的很好，建议不要去换一些年代比较久远的源，容易搞心态。...

【机器学习】算法入门——KNN k—最邻近算法摘要：KNN分类算法，是理论上比较成熟的方法，也是最简单的机器学习算法之一。该算法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。简单的描述该算法的思想其实就是某个样本在特征空间中与其距离最近的k个样本中同一类样本最多的样本类同属于同一个样本类别。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。.