NeilNiu

当使用反向传播的时候，每个节点，或者每个要更新的参数，都会求出一个对应的梯度，然后对参数进行优化，最终达到Loss降低的目的， 梯度下降。反向传播可以求出每个需要调节的参数，每个参数对应的梯度，有了梯度就可以利用优化器，这个优化器对参数进行调整，以达到整体误差降低的目的。cell_mode 为True的时候，要保留最大的值，当cell_mode为False的时候，不保留最大值。为什么池化的作用，保留输入的一个特征，同时把数据量减小，数据量减小了，训练的更快。动图，蓝色部分为输入图像，青色部分为输出图像。

common.py生成验证码。

我这Python3.7版本 应该匹配Numpy1.16.4版本。看这个报错信息，是python版本与Numpy版本不匹配，因此卸载NumPy1.21.2，重新安装。

深度学习模型中典型的就是卷积神经网络（convolutional neural network,CNN）。它主要应用是在图像识别方向。还有一个模型是循环神经网络（Recurrent Neural Network,RNN），通常用于自然语言的处理。本文介绍的是卷积神经网络。生成对抗网络、强化学习。在早期的图像分类任务中，通常是先人工提取图像特征，再用机器学习算法对这些特征进行分类，分类的结果强依赖于特征提取方法，往往只有经验丰富的研究者才能完成.在这种背景下，基于神经网络的特征提取方法应运而生。

公式：output[channel] = (input[channel] - mean[channel]) / std[channel]在Pytorch中涉及到如何读取数据，主要是两个类一个类是Dataset、Dataloader。Compose()中的参数需要的是一个列表，列表中的数据需要的是transforms类型。即 Compose([transforms参数1, transforms参数2, …Dataloader，可以对数据进行打包，为后面的网络提供不同的数据形式。TensorBoard的使用。

第一步：首先找到你的虚拟环境位置，我的是D:\tools\anaconda\envs\pytorch\Library\bin。添加环境变量D:\tools\anaconda\envs\pytorch\Library\bin，到path路径下。1、重新安装torch，但是这种办法太过于麻烦了。周末电脑关机后，再次运行深度学习模型后出现错误。

在使用Pytorch 下载CIFAR10的时候，遇到一个报错，可能是网络特别慢导致的，一般情况下都会遇到这个报错。解压后，放到对应的目录文件中，再次运行代码就成功了。1、到官网直接下载这个压缩包，解压。

而今，“深度学习工程师”进入了工业化大生产时代，只要掌握深度学习必要但少量的理论知识，掌握Python编程，即可在深度学习框架上实现非常有效的模型，甚至与该领域最领先的模型不相上下。机器学习的方法论和人类科研的过程有着异曲同工之妙，下面以“机器从牛顿第二定律实验中学习知识”为例，帮助读者更加深入理解机器学习（监督学习）的方法论本质，即在“机器思考”的过程中确定模型的三个关键要素：假设、评价、优化。神经网络思想的提出已经是70多年前的事情了，现今的神经网络和深度学习的设计理论是一步步趋于完善的。

它主要由Facebookd的人工智能小组开发，不仅能够 实现强大的GPU加速，同时还支持动态神经网络，这一点是现在很多主流框架如TensorFlow都不支持的。接下来安装Pytorch,在官网中找到适合自己的版本，https://pytorch.org/get-started/previous-versions/的dll文件，但实际上需要的dll在Anaconda3\library\bin目录下。原文地址 https://github.com/conda/conda/issues/8273。

Anaconda，一个开源的Python发行版本，可用于管理Python及其相关包，包含了conda、Python等180多个科学包及其依赖项。

5、评估、优化模型，训练模型是算法寻找最优的模型的内部参数，评估和优化模型是在验证集或测试集上进行模型效果评估的过程中，对模型的外部参数进行优化，超参数，是指在模型训练之前需要设置的参数，用户控制模型结构和训练过程中的一些超参数。特征工程（让数据易于被机器理解，并发掘重要特征）特征工程简单讲就是发现对因变量y有明显影响作用的自变量x，特征工程的目的就是发现重要特征，基于业务特性，从众多的特征中发现对标签有明显作用的特征，而摒弃掉无用的特征，降低特征的维度，提升机器学习模型的性能。

首先先安装Matplotlibmatplotlib是专门用于开发2D图表、3D图表以渐进、交互方式实现数据可视化。

Jupyter项目是一个非盈利的开源项目，源于2014年的python项目，Juptter Notebook，原名IPython Notbook，是IPython的加强网页版，一个开源web应用程序名字源自Julia、Python和R是一款程序员和科学工作者的编程/文档/笔记/展示软件.ipynb文件格式是用于计算型叙述的JSON文档格式的正式规范Juptyter项目旨在开发跨几十中编程语言的开源软件，开放标准和用于交互式计算的服务。

深度学习（Deep Learning）（也称为深度结构学习【Deep Structured Learning】、层次学习【Hierachical Learning】或者 深度机器学习【Deep Machine Learning】）是一类算法集合，是机器学习的一个分支。深度学习方法近些年，在会话识别、图像识别和对象侦测领域表现出了惊人的准确性。

机器学习常用算法的分类：根据数据集组成不同，可以把机器学习算法分为：1.2分类问题。

特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程。注：业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。3.3.2为什么需要特征工程（Feature Engineering）意义：会直接影响机器学习的效果。3.3.3特征工程包含内容。3.3.1什么是特征工程。3.3.4各概念具体解释。2、机器学习工作流程。机器学习工作流程总结。

数据算法计算力 ，硬件支撑 CPU、GPU、TPU计算力之CPU、GPU对比：CPU主要适合I\O密集型的任务GPU主要适合计算密集型任务什么类型的程序适合在GPU上运行？（1）计算密集型的程序所谓计算密集（Compute-intensive）的程序，就是其大部分运行时花在寄存器预算上，寄存器的速度和处理器的速度相当，从寄存器读写数据几乎没有延时。可以做一下对比，读内存的延迟大概是几百个时钟周期；读硬盘的速度比较慢，即便是SSD，也慢。（2）易于并行的程序。