这是一个还在被广泛研究的问题，先把简单的总结写起来，后面肯定是要更新的。数据经过归一化和标准化后可以加快梯度下降的求解速度，这就是Batch Normalization等技术非常流行的原因，它使得可以使用更大的学习率更稳定地进行梯度传播，甚至增加网络的泛化能力。1 什么是归一化/标准化Normalization是一个统计学中的概念，我们可以叫它归一化或者规范化，它并不是一个完全定义好的数学操作(如加减乘除)。它通过将数据进行偏移和尺度缩放调整，在数据预处理时是非常常见的操作，在网络的中间层如今也很频繁

conv2d是CNN中必须吃透的一个函数函数的api说明，在tensorflow的api文档中描述如下Padding中的SAME和VALID文档说的很仔细，字面上就是SAME会先补零，然后再补零，Valid不会补零；补零的逻辑和data_format一致，NHWC和NCHW格式各部一样但是还是很多人不明白，其实有个最简单的理解，VALID大小改变，SAME大小不变，为什么呢？自己好好去思考看看实验效果https://www.ginghan.com...

卷积是CNN里的算法核心，各种高级的NN算法，可以简单的看成是卷积，池化，全连接的有序的组合。其中卷积函数conv2d是我们常用的卷积计算函数，其中的data_format的理解，最开始学习的时候，总是忽略了，直到有次具体的项目，才仔细研究了这个参数data_format的参数 'NHWC' 和 ‘NCHW’， 在api的介绍里，只是囫囵吞找的记住了， NHWC，数据格式，尺寸大小的描述信息在2,3维度， NCHW，在3,4维。默认是NHWC；基本上的调用都是默认参数NHWC。 其实...

呵呵呵，是不是可以组织个人工智能的班了

CNN的核心就是卷积其中在理解多通道卷积的计算过程和作用时，实在是要把头看秃了，都没有整明白，网上国内的资料，东说一通，西说一通，其实也不能说他们是错的，只是在还没有熟悉的时候，看到的都是单点的，犹如盲人摸象一般，其实每个人摸的都是实实在在的，也都没有错，只是摸的只是个局部，所以大家在一起就相互扯皮了。知道深入的理解以后，才能站到全面上来看看，这时候，才 发现，其实大家都没错，只是看的都是局部。...

1. make_one_hotdef make_one_hot(data): return (np.arange(10)==data[:,None]).astype(np.int32)data [1,0]return [[0 1 0 0 0 0 0 0 0 0], [1 0 0 0 0 0 0 0 0 0]]点评，一个字 绝, 第一次看到的时候，反反复复的研究了一个小时，这个简直是切片和数组用到了极致，功能很简单，但是这句代码是有灵魂的代码....

"标准化(Normalization)"和"归一化(Standardization)"在数据准备中是经常要做的一个步骤。有很多的文档和文章经常把这两个整合为一个概念，这是个容易混淆的点，既正确又不正确说他正确， 是这里所说的标准化和归一化，确实都是同样的目的；说他们不正确，他们有不是不同的东西；这两个概念其实都是 特征缩放（Feture scaling）的两种不同方式；下面咱们就来详细来说道说道特征缩放（Feture Scaling）。...

人工智能研究算法就要牢牢记住这些图形, 离开大学22年了，一直都没把高数当回事，只到研究人工智能算法后，再后悔为什么没好好学习这些知识，推导忘记了，没关系，因为咱不搞纯理论研究，但是结果一定要记得，要不你怎么能套在场景里用呢。...

觉得介绍的很不错，好东西推荐给大家 转载至优快云上一篇文章https://blog.youkuaiyun.com/rtygbwwwerr/article/details/50778098交叉熵（Cross-Entropy）交叉熵是一个在ML领域经常会被提到的名词。在这篇文章里将对这个概念进行详细的分析。1.什么是信息量？假设XX是一个离散型随机变量，其取值集合为XX，概率分布函数为p(x)=Pr(X=x),x∈Xp(x)=Pr(X=x),x∈X，我们定义事件X=x0X=x0的信息量为：I(...