wo的博客

Embedding理解嵌入层将正整数（下标）转换为具有固定大小的向量 ------官网词嵌入是一种语义空间到向量空间的映射，简单说就是把每个词语都转换为固定维数的向量，并且保证语义接近的两个词转化为向量后，这两个向量的相似度也高。举例说明embedding过程：“Could have done better”通过索引对该句子进行编码，每个单词分配一个索引，上面的句子就会变成这样：122 8 114 12创建嵌入矩阵，即每一个索引需要分配多少维向量，也就是说每个词需要转化为多少维

'''nn.Linear(in_features,out_features,bias=True) 用于设置网络中的全连接层，需要注意的是全连接层的输入与输出都是二维张量输入：[batch_size, in_features]输出：[batch_size，output_size]'''import torch as tfrom torch import nn# in_features由输入张量的形状决定，out_features则决定了输出张量的形状connected_la

配置paddle环境时用的cuda11.2，现在又要配置torch环境，查看torch官网后发现没有cuda11.2对应的torch版本。

pytorch卷积层的介绍：torch.nn.Conv1d介绍：torch.nn.Conv1d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True)in_channels(int) – 通道，在文本分类中，即为词向量的维度out_channels(int) – 卷积产生的通道。有多少个out_channels，就需要多少个1维卷积kernel_size(int o.

nn.MaxPool1dnn.MaxPool1d(kernel_size, stride=None, padding=0, dilation=1, return_indices=False, ceil_mode=False)kernel_size(int or tuple) - max pooling的窗口大小stride(int or tuple, optional) - max pooling的窗口移动的步长。默认值是kernel_sizepadding(int or tuple, optio.

Long Short Term 网络（LSTM，由Hochreiter & Schmidhuber (1997)提出）是 RNN的一种特殊的类型，可以记住长期信息，学习长期依赖信息。网络结构符号解释[,]： 向量拼接*： 对应元素相乘+： 对应元素相加上面框： 一个框就是一个细胞(cell)数学公式公式含义每个细胞内部有三个阶段：1. 忘记阶段（1）对上一个节点传进来的输入c(t-1) 进行选择性忘记。“忘记不重要的，记住重要的”。2. 选择记忆阶段（2）和（3）

torch.nn.GRU输入：(input_dim ,hidden_dim ,num_layers ，…)– input_dim 表示输入的特征维度– hidden_dim 表示输出的特征维度，如果没有特殊变化，相当于out– num_layers 表示网络的层数– nonlinearity 表示选用的非线性**函数，默认是 ‘tanh’– bias 表示是否使用偏置，默认使用– batch_first 表示输入数据的形式，默认是 False，[即(序列长度seq,批大小batch,特征维.

本模块学完后对深度学习有了直观的理解，本模块先从简单的逻辑回归说起，慢慢过渡到深度学习模型，很清楚地阐述了逻辑回归和多样本二层及多样本多层神经网络的表示方式以及正反向传播的推导。其中推导过程中涉及的以下三个符号是我为了方便理解自己加的，在课程里没有涉及：1.逻辑回归的矩阵表示和正反向传播的推导2.多样本二层神经网络的表示和正反向传播的推导3.多样本多层神经网络的表示和正反向传播的推导...

目录训练集、验证集、测试集偏差、方差机器学习基础如何减少高方差（过拟合）？用正则化dropout 正则化（随机失活）其他正则化方法归一化输入梯度消失和梯度爆炸神经网络的权重初始化梯度的数值逼近梯度检验梯度检验应用的注意事项蓝色字体是我自己的理解,红色字体是疑问待补充的，其他内容为对课程知识点的梳理。训练集、验证集、测试集在训练集上训练模型，根据验证集的效果选择最好的模型，测试集在最终模型上做...

这是吴恩达深度学习第二模块第二周的内容，刚开始学习，文章里应该会有些理解错误的部分，多谢告知，qq: 2690382987目录Mini-batch 梯度下降指数加权平均数（在统计上被称作指数加权移动平均值）指数加权平均的偏差修正动量梯度下降法RMSpropAdam 优化算法学习率衰减局部最优的问题蓝色字体是我自己的理解,红色字体是疑问待补充的，其他内容为对课程知识点的梳理。为了加快训练速...