小夭的博客

在这个例子中，SM (Streaming Multiprocessor) 的频率是1500 MHz，这就是我们用来计算TFlops的核心频率。

深度可分离卷积

相关论文阅读自行解决，这里主要是记录代码的学习与实验的复现此代码非官方部署代码，而是私人实现的。本博客仅做学习记录。

最近训练总是出问题，听取建议，在。

1x1卷积核作用

在网上看到很多关于注意力机制的说明，下面自己总结一下。大佬绕道下面放几个文章的链接这几年来，在是图像处理、语音识别还是自然语言处理等方面都有注意力机制应用。本文主要了解注意力机制在图像中的应用。........................

最近看文献看到了LTSM（Long Short Term Memory）相关的文献，所以把了解到的内容做一个记录RNN循环神经网络（Recurrent Neural Network, RNN），以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network）。因为与时间序列相关，所以多用于自然语言处理、语音识别、机器翻译等领域1、RNN的结构RNN之所以称为循环神经网路，即一个序列

在看过一些基本资料之后进行的小总结大佬绕道1、残差的数学概念是指估计值与实际值直接的差，如果存在一个映射f(x)=b，x=x0时，则b-f(x0)则为残差，x-x0为误差2、残差网络对于传统的CNN网络，简单的增加网络的深度，容易导致梯度消失和爆炸。针对梯度消失和爆炸的解决方法一般是正则初始化(normalized initialization)和中间的正则化层(intermediate normalization layers)，但是这会导致另一个问题，退化问题，随着网络层数的增加，在训练集上的

基于tensorflow1.0+太混乱了，博主转战2.5tensorflow1.0+相应的安装过程可以见tensorflow1.15.0安装1、安装前确定版本信息2、创建虚拟环境打开Anaconda中的 Anaconda Prompt输入命令创建新的虚拟环境conda create -n TF25GPU python=3.7.0注意安装的版本，这里的版本和上面的表格是对应的3、激活虚拟环境输入命令conda activate TF25GPU 在服务器上输入必须加入conda

梯度下降与随机梯度下降我们期望代价函数尽可能的小，但实际情况下我们不能直接通过数学解解除对应的最小值，于是产生了我们的梯度下降法求代价函数的最小值，相关概念可以看前面的博客将代价函数看做两个维度上的更改，那么代价函数引起的变化，是由v1、v2引起的将两个维度上的变化写成向量的形式我们希望代价函数尽可能小，所以这里代价函数的变化我们期望为负值，我们取因此可以得到代价函数的变化恒为负数。进而进行梯度下降的过程随机梯度下降我们期望以部分样本代价函数的平均来估计所有样本代价函数的平均

关于《神经⽹络与深度学习》代码部分进行了部分修改，针对python3.0进行相关更改记录如下''' 代码修改说明''''''1、xrangexrange是python2.0的用法python3.0+改成了range''''''2、printprint"Epoch {0}: {1} / {2}".format(j, self.evaluate(test_data), n_test)是python2.0的用法python3.0+改成了print("Epoch {0}: {1} /