麦地与诗人

0.神经网络注意，神经网络的层数是这么定义的：从左到右，由0开始定义，x1，x2，x3x_1，x_2，x_3x1​，x2​，x3​这层是第0层，这层右边边的隐藏层是第1层，由此类推。1.深度学习的符号定义上图是一个四层的神经网络，有三个隐藏层。我们可以看到，第一层（即左边数过去第二层，因为输入层是第0层）有5个神经元数目，第二层5个，第三层3个。我们用LLL表示层数，上图：L=4L=...

摘录自张玉宏的《深度学习之美》，这本书真的特别不错哦！更一般的，常见的多层神经网络如图 8-2 所示。 在这种结构中，将若干个单层神经网络级联在一起，前一层的输出作为后一层的输入，这样构成了多层前馈神经网络（ Multi-layer Feedforward Neural Networks ）。 更确切地说，每一层神经元仅与下一层的神经元全连接。 但在同一层之内，神经元彼此不连接，而且跨层之间的神...

摘录自张玉宏的额《深度学习之美》，这本书真的不错哦！以前总觉得像分布式这样的词，听着就高深莫测，所以看到标题含有分布式词汇的，都会让我没有继续阅读的兴趣，但张玉宏的这本书真的是太棒了，深得我心，每一个知识点都娓娓道来，让人沉醉！在多层前馈神经网络中，输入层神经元主要用于接收外加的输入信息，在隐含层和输出层中都有内置的激活函数，可对输入信号进行加工处理，最终的结果由输出层呈现出来。这里需要说明...

原文地址【深度学习之美】一入侯门“深”似海，深度学习深几许（入门系列之一）https://yq.aliyun.com/articles/86580什么是学习？说到“深度学习”，追根溯源，我们需要先知道什么是“学习”。著名学者赫伯特 ·西蒙教授（ Herbert Simon, 1975 年图灵奖获得者、 1978 年诺贝尔经济学 奖获得者）曾对“学习”下过一个定义：“如果一个系统，能够通过执行...

摘录自张玉宏的《深度学习之美》，作为自己的学习笔记，这样就能对个个框架的大致用法有了系统的了解！深度学习框架比较“工欲善其事，必先利其器。”事实上，适用于深度学习的“器”有很多，如 Theano、 Keras、 Caffe 及 Pytorch 等，它们各有特色。 下面我们对这几款比较流行的深度学习框架分别给予简单 的介绍，以期给读者提供一个宏观的认知。1. TheanoTheano 是一个...

为什么要取这么一个名字呢？这自然也是有讲究的 。Tensor Flow的命名源于其运行原理 “Tensor”的本意是“张量”，“张量”通常表示多维矩阵。在深度学习项目中，数据大多都高于二维，所以利用深度学习处理的数据的核心特征来命名，是有意义的。 “Flow”的本意就是“流动”，它意味着基于数据流图的计算。 合在一起， “TensorFlow”的意思就是，张量从数据流图的一端流动到另一端的计算过...

这是看了张玉宏的《深度学习之美》做的笔记！这本书写得真的是接地气，通俗易懂，有趣生动！卷积层的全连接在 CIFAR-10 训练集中，所有图片的大小都只有32x32x332x32x332x32x3，即32像 素宽， 32像素高， RGE：（红、 绿、蓝） 3 色通道。 对于计算机而言，每张图片都是一个32×32×332×32×332×32×3的数值矩阵。按照全连接的前馈神经网络的处理模式，在输...

原文地址，个人觉得写的特别不错“https://www.toutiao.com/a6694017372015034892/”

张玉宏的《深度学习之美》阅读笔记，感觉是对机器学习里的函数最好的解释了.在《未来简史》一书中，尤瓦尔•赫拉利说，根据数据主义的观点，人工智能实际上就是找到一种高效的“电子算法”，用以代替或在某项指标上超越人类的“生物算法”。那么，任何一个“电子算法”都要实现一定的功能（Function），才有意义。在计算机术语中，中文将“Function”翻译成“函数”，这个多少有点扯淡，因为它的翻译并没有达...

张玉宏的《深度学习之美》阅读笔记.机器学习在本质上就是找到个好用的函数。而人工神经网络最牛的地方可能就在于，它可以在理论上证明：“一个包含足够多隐含层神经元的多层前馈网络，能以任意精度逼近任意预定的连续函数”。这个定理也被称为通用近似定理（UniversalApproximationTheorem这里的“Universal”，也有人将其翻译成“万能的”，由此可以看出，这个定理的能有多大。...

摘录自张玉宏的《深度学习之美》，这本书真的不错哦！我们都知道，神经网络学习的本质，其实就是利用损失函数来调节网络中的权重。 而“减肥”的英文是“weight loss，，，所以你看，我用自身减肥的案例来讲损失函数，是不是很应景啊？或许你又会说，就算应景，那神经网络的权值，到底该怎么调整呢？总体来讲，有两大类方法比较好用。第一类方法从后至前调整网络参数，第二类方法正好相反，从前至后调整参数。...

图像分类是指，向机器输入一张图片，然后机器告诉我们这张图片的类别（一只猫，一条狗等等），或者如果它不确定的话，它会告诉我们属于某个类别的可能性（很可能是条狗但是我不太确定）。对我们人类来说，这件事情简单的不能再简单了，从出生起，我们就可以很快地识别周围的物体是什么。当我们看到一个场景，我们总能快速地识别出所有物体，甚至是下意识的，没有经过有意的思考。但这种能力，机器并不具有。电脑和人看到的图片...

什么是超参数？比如算法中的learning rate （学习率）、iterations(梯度下降法循环的数量)、LLL（隐藏层数目）、n[l]n^{[l]}n[l]（隐藏层单元数目）、choice of activation function（激活函数的选择）都需要你来设置，这些数字实际上控制了最后的参数WWW和bbb的值，所以它们被称作超参数。实际上深度学习有很多不同的超参数，也有一些其他的...

ML策略？我们从一个启发性的例子开始讲，假设你正在调试你的猫分类器，经过一段时间的调整，你的系统达到了90%准确率，但对你的应用程序来说还不够好，这时候，你可能有很多想法去改善你的系统，比如，Collect more dataCollect more diverse training setTrain algorithm longer with gradient decentTry A...

用圆圈表示神经网络的计算单元：一个神经网络只是这样子做了好多次重复计算:我们先看其中一个节点：把以上式子向量化：hidden layer1：

为了更好地展开对神经网络地学习，我总是让自己先去了解这个知识的整体脉络，然后再一步一步地对具体地知识点进行深入，下图摘自深度学习500问，很好的向我们展示了神经网络常用的模型结构！...

1.sigmoid函数σ(z)=11+e−z\sigma(z)=\frac{1}{1+e^{-z}}σ(z)=1+e−z1​函数取值范围(0,1)(0,1)(0,1)用matlab画出sigmoid的函数图像：x=linspace(-10.0,10.0);y=1./(1.0+exp(-1.0*x));plot(x,y)2.tanh函数或叫做双曲正切函数，tanh=sinh...

https://www.jianshu.com/p/fe428f0b32c1Softmax函数或称归一化指数函数，是逻辑函数的一种推广。它能将一个含任意实数的K维向量 “压缩”到另一个K维实向量 σ(z)\sigma(z)σ(z)中，使得每一个元素的范围都在(0,1)(0,1)(0,1)之间，并且所有元素的和为1。该函数的形式通常按下面的式子给出：σ(z)=ezj∑k=1kezk\si...

以下是张玉宏的《深度学习之美》阅读笔记.在深度学习中，经常有“end-to-end（端到端）”学习的提法，与之相对应的传统机器学习是“Divide and Conquer”（分而治之）。这些都是什么意思呢？“end-to-end”（端到端）“end-to-end”（端到端）说的是，输入的是原始数据（始端），然后输出的直接就是最终目标（末端），中间过程不可知，也难以知。比如，基于深度学习的...