weixin_43057295的博客

【代码】DDF代码介绍 创新点。

【代码】即插即用卷积之TalkingHeadAttn。

假设我们的模型知道从训练数据集中学习的 10,000 个独特的英语单词（我们模型的“输出词汇”）。这就是我们解释线性层模型输出的方式。从行文看是不是一样的词语，但是其实它表达的含义是并不相同的，这就意味着我们并不能简单的将得到的输入嵌入直接放到我们的注意力里面。“编码器-解码器注意力”层的工作方式与多头自注意力类似，只不过它从其下面的层创建查询矩阵，并从编码器堆栈的输出中获取键和值矩阵。线性层是一个简单的全连接神经网络，它将解码器堆栈产生的向量投影到一个更大的向量中，称为 logits 向量。

【代码】python基础之matplotlib。

2.list对一维数组做一些操作,numpy其实就是对多维做操作。1.np.array是多维的,list是一维的。获取多维数组的行和列。

代码自上而下运行，m1需要m2的y，会去m2的名称空间找y，但是找到y之前，需要运行m2的代码，m2代码第一句是去找m1的x，然后又回去运行m1的代码，m1的第一行代码又失去寻找m2的y。m1.f1() # 运行两次，例如：使用python解释器运行time文件，然后把解释文件得到的名字放入time模块的名称空间；就是说：m1只能运行第一行，m2也只能运行第一行，所以产生了这样的问题。2、运行文件，被当做执行文件执行，只能有一个。1、模块文件，被当作模块给导入，可以有多个。3、内置模块，如time。

activate关闭。

，其中每个隐藏层与输入层的长度相同，并且添加长度的零填充(kernel size − 1)以保持后续层与先前层的长度相同。全连接卷积和因果卷积，由于该设计本身在应对长时间序列时需要堆叠多层神经层的问题，采取膨胀卷积扩大感受野并引入残差连接思想。（1）Dilated Convolutions（扩张卷积）：采用扩张卷积，使指数大的感受野，对于。的历史和高维输入序列的情况下，可能需要多达12层的网络。模型的设计中，我们采用通用残差模块代替卷积层。和前一层中更早的元素卷积的卷积。，而不是其他时刻的输入。

import torch from torch . utils . data import Dataset # 定义Mydataset继承Dataset的抽象类 '''在dataset中对数据进行处理，可编写独立的数据处理函数__init__():也可直接把数据处理方式写在里面。__getitem__():通过给定索引遍历数据样本，可直接调用数据处理函数，也可直接把数据处理方式写在里面，必须根据index返回响应的值，该值会通过index传到DataLoader中进行后续的Batch批量处理；

掌握使用PyTorch构建LSTM模型的方法掌握使用LSTM生成MIDI音乐的方法。

如何去表达词汇呢？— “bag of words”（词袋模型）— 只看单词出现的频数解决方法总结：将word转化成向量并存储，相关可以看我上一篇pytorch学习笔记之情绪分类器里面对one-hot的讲解，也可以访问以下文章来获取。独热编码（One-Hot Encoding）什么是one-hot编码，他有什么用？数据预处理之One-Hot机器学习之独热编码（One-Hot）详解（代码解释）代码文章末尾。

YσσX⋅WIH⋅WHOOut=1. ifY1/2Out0. ifY1/2​LN1​i1∑N​YXi​−Zi​2并不是一个凸函数在优化地形来看，mse目标函数就出现很多的局部最小点，对于优化问题的求解十分不利；

反向传播 线性回归