QHCV的博客

循环神经网络的来源是为了刻画一个序列当前的输出与之前信息的关系。从网络结构上，循环神经网络会记忆之前的信息，并利用之前的信息影响后面结点的输出。即：循环神经网络的隐藏层之间的结点是有连接的，隐藏层的输入不仅包括输入层的输出，还包括上一时刻隐藏层的输出。

卷积神经网络由一个或多个卷积层和顶端的全连通层（也可以使用1x1的卷积层作为最终的输出）组成一种前馈神经网络。

Tensorboard是tensorflow内置的一个可视化工具，它通过将tensorflow程序输出的日志文件的信息可视化,使得tensorflow程序的理解、调试和优化更加简单高效。它可以帮助我们理解整个神经网络的学习过程、数据的分布、性能瓶颈等等。

在某些线性规划问题中，特征的数值范围和标签的数值范围差别很大，或者不同特征之间的数值范围差别很大。这时，某些权重值可能会特别大，这为优化器学习这些权重值带来了困难。在这种情况下常常对数据进行归一化（normalization），使得优化器面对的每个特征的数值或标签的数值在一个相对固定的范围内。

用已知某种或某些特性的样本作为训练集，以建立一个数学模型，再用已建立的模型来预测未知样本，此种方法被称为有监督学习，是最常用的一种机器学习方法。

在生物神经网络中，每个神经元与其他神经元相连，当它兴奋时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位；如果某神经元的电位超过了一个阈值，那么它就会激活，即兴奋起来并向其他神经元发送化学物质。在深度学习中也借鉴了这样的结构，每一个神经元（上面说到的简单单元）接受输入x，通过带权重w的连接进行传递，将总输入信号与神经元的阈值进行比较，最后通过激活函数处理确定是否激活，并将激活后的计算结果y输出，而我们所说的训练，所训练的就是这里面的权重w。......

深度学习是目前比较成功的表示学习的方法，是机器学习的一个分支。深度学习的基础理论学习可到B站上看吴恩达老师的深度学习课程，对应内容都有对应的练习题。

使用自定义transforms对图片每个像素位置随机添加黑白噪声并展示结果，具体看下面的代码，只需修改图片路径即可运行。

PyTorch通过torch.utils.data对一般常用的数据加载进行了封装，可以很容易地实现多线程数据预读和批量加载。 并且torchvision已经预先实现了常用图像数据集，包括前面使用过的CIFAR-10，ImageNet、COCO、MNIST、LSUN等数据集，可通过torchvision.datasets方便的调用。

nn构建于 Autograd之上，可用来定义和运行神经网络，但是原始的 Autograd 对于定义复杂的神经网络来说可能太底层了。本篇笔记主要记录使用pytorch中的神经网络包nn和优化器optm来搭建一个简单的神经网络。.........

PyTorch是一个基于Torch的Python开源机器学习库，用于自然语言处理等应用程序，目前是主流的深度学习框架。本篇介绍Pytorch中的张量和梯度计算。

PyTorch是一个基于Torch的Python开源机器学习库，用于自然语言处理等应用程序，目前是主流的深度学习框架，它主要由Facebook的人工智能研究小组开发。本篇博客介绍如何搭建Pytorch深度学习开发环境，为正式的pytorch学习做好准备。...............