MIT_sword的博客

##图像分类（image classification）图像分类：根据图像的主要内容进行分类。数据集：MNIST, CIFAR, ImageNet##目标检测（object detection）给定一幅图像，只需要找到一类目标所在的矩形框人脸检测：人脸为目标，框出一幅图片中所有人脸所在的位置，背景为非目标汽车检测：汽车为目标、框出一幅图片中所有汽车所在的位置，背景为非目标数据集：PA...

深度学习中决定是否收集更多的数据时可考虑如下：1.建立第一个端到端的系统后，就可以度量算法的性能并决定如何改进算法很多新手忍不住尝试很多不同的算法来改进实际上，收集更多的数据往往比改进学习算法要有用的多2.决定是否需要收集更多数据的标准：首先：确定训练集上的性能可否接受。如果模型在训练集上的性能就很差，那么没必要收集更多的数据。此时可以尝试增加更多的网络层或者每层增加更多的隐单元从而...

权重一定不能全零初始化。因为这会导致神经元在前向传播中计算出同样的输出，然后在反向传播中计算出同样的梯度，从而进行同样的权重更新。这就产生了大量对称性神经元。通常采用小随机数初始化，通过这样来打破对称性。至于使用高斯分布还是均匀分布，对结果影响很小。之所以用小的随机数，是因为：如果网络中存在tanh 或者 sigmoid 激活函数，或者网络的输出层为sigmoid 等单元，则它们的变量值必须很...

深度学习数据预处理1.常见数据预处理方式：（红色的线指出各维度的数值范围）data_process1均值减法：对数据中每个独立特征减去均值，集合上理解为：在每个维度上，都将数据云的中心迁移到原点归一化：将所有维度都做归一化：第一种做法：先对数据做零中心化处理，然后每个维度都除以标准差第二种做法：每个维度都做归一化，使得每个维度最大和最小值都是 1 和 -1PCA 降维：取得数据的主成...

深度学习的默认基准模型1.根据问题的复杂性，项目开始时可能无需使用深度学习如果只需要正确选择几个线性权重就能解决问题，那么项目开始可以使用一个简单的统计模型，如逻辑回归2.如果问题属于 “AI-完全”类型的，如对象识别、语音识别等，那么项目开始于一个合适的深度学习模型，则效果会比较好3.根据数据结构选择一类合适的模型：如果是以固定大小的向量作为输入的有监督学习，那么可以使用全连接的前馈网...

在一套标准的系统上通常有多个计算设备. TensorFlow 支持 CPU 和 GPU 这两种设备. 我们用指定字符串 strings 来标识这些设备. 比如:“/cpu:0”: 机器中的 CPU“/gpu:0”: 机器中的 GPU, 如果你有一个的话.“/gpu:1”: 机器中的第二个 GPU, 以此类推…如果一个 TensorFlow 的 operation 中兼有 CPU 和 GPU...

深度学习性能度量1.确定目标，即使用什么误差度量是第一步因为误差度量将指导接下来的所有工作同时我们也能够了解大概能得到什么级别的目标性能2.对大多数应用而言，不可能实现绝对零误差即使有无限的训练数据，并且恢复了真正的概率分布，但是由于输入特征可能无法包含输出变量的完整信息、或者系统本质上是个随机系统，则仍然产生了误差当然实际上我们也不可能有无限的训练数据3.通常我们需要收集更多的数据...

下面认识几种常见的激活函数：1.阈值激活函数：这是最简单的激活函数。在这里，如果神经元的激活值大于零，那么神经元就会被激活；否则，它还是处于抑制状态。下面绘制阈值激活函数的图，随着神经元的激活值的改变在 TensorFlow 中实现阈值激活函数：2.Sigmoid 激活函数：在这种情况下，神经元的输出由函数 g(x)=1/(1+exp(-x)) 确定。在 TensorFlow 中，方法是 t...

最近一直在使用tensorflow这款谷歌的深度学习框架，基于谷歌的影响力，目前这个框架还是比较流行和受欢迎的。但苦于谷歌的产品或者说是国外的一些框架的攻略文档过于简单，于是也在苦苦追求比较好的学习文档，以下是一些比较好的文档学习：谷歌tensorflow官方文档，有英文和中文社区，可以对一些基本概念比如张量，常量、变量和占位符的定义与使用，还有一些案例回归、cnn、rnn的写法，对于开...

2016 年 3 月，谷歌公司 DeepMind 团队的 AlphaGo 以 4 比 1 战胜第 18 届世界围棋冠军李世石，这是一场具有历史意义的比赛。图 1 围棋落子位置种类让电脑学会下围棋是一件十分困难的事情，它有如图 1 所示这么多种可能的落子位置。在围棋中获胜不可能只靠简单的蛮力，它需要技巧、创造力，以及类似职业棋手的直觉。通过融合深度强化学习网络和最先进的树搜索算法，Alpha...