南方硅人的博客

PyTorch深度学习总结–10_Basic_CNN10_Basic_CNN任务介绍识别手写数字图片，输出对应的数字方法1、先通过CNN模型进行扫描2、再经过线性层处理多分类任务，得到一个10分类结果，最后选出最终结果数据处理1、采用CNN处理1、Conv2d作为卷积层2、MaxPool2d 作为池化层3、ReLU 作为激活层Conv2d作为卷积层Kernel是卷积核，卷积核一般为随机数当padding=1时，相当于填充了一圈0MaxPool2d 作为池化层用2x2的

PyTorch深度学习总结–12_Basic_RNN12_Basic_RNN任务介绍通过RnnCell学习将hello转化为ohlol使用embedding进行压缩如何使用embedding压缩，需要将字母转换为对应的数字。这里采用字母下标当做该字母表示的数字转换为embedding向量输入形式输入x是每个字母输出o是x转换为对应的字母实现代码python 语言，PyTorch实现import torchidx2char = ['e', 'h', 'l', 'o']x

PyTorch深度学习总结–13_Name_Classification13_Name_Classification任务介绍根据名称，选出国家使用模型GRU，这里采用双向的GRU模型，双向GRU的结构类似于下图，将RNNCell替换为GRUCell即可输入：两个hidden0，都是zeros形成的，输入的两个hidden需要拼接在一起输出：结果第一个是正向的hidden，第二个是反向的hidden因为是双向的，所以会输出两个hidden汉字的转化为Tensor1、先将单词中

基本术语数乘：矩阵对应元素相乘，乘出结果相加 ，得到的结果是一个数算法利弊梯度下降算法只能找到局部最优，不能找到全局最优但是神经网络中经常使用梯度下降法，因为神经网络中局部最优点很少（对每一个点求loss，求和后再更新w的值，因此可以并行计算）随机梯度下降算法对每一个点求loss后立刻更新w的值，不能并行计算，计算速度相对梯度下降来说比较慢鞍点O点为鞍点，导数为0画图函数import matplotlib.pyplot as pltplt.plot(w_list,mse_lis