zchang81的博客

今天，谷歌上线人工智能学习网站Learn with Google AI，网站设有一门名为机器学习速成班（Machine Learning Crash Course ，MLCC）的免费课程。该课程基于谷歌内部课程，最初旨在帮助谷歌员工对AI和机器学习基础知识进行介绍。MLCC有中文版网站！网址是：https://developers.google.com/machine-learning/crash...

即使是最先进的深层神经网络也是很容易被欺骗的。只需要使用一些小技巧，你就可以迫使模型预测出你想要的任何结果

本文从三方面研究如何提高深度学习的效率：利用深度压缩实现更小的模型大小、利用 DSD 正则化实现更高的预测准确度，以及利用 EIE 加速实现快速、能耗低的推断。这三个方面遵循相同的原则：利用神经网络的稀疏性进行压缩、正则化和加速。

CMU计算机学院暨机器人研究所博士邓侃在本文中，尝试用大白话，通俗地解释 AlphaGo Zero，弄清楚蒙特卡洛树搜索（Monte Carlo Tree Search，MCTS）、深度学习启发函数和置信上限这三大核心概念。

百度今天 (2017 / 9 / 25 ) 开源了移动端深度学习框架 MDL (mobile-deep-learning) 。

具有数量众多计算单元和超长流水线、具备强大并行计算能力与浮点计算能力的GPU，成为了深度学习模型训练的标配。

训练的神经网络的常见问题

本篇论文主要讲述关于深度学习网络参数的压缩工作。论文主要从下三点出发：pruning：对网络进行剪枝，只保留重要的连接train quantization：通过参数共享量化权重矩阵huffman coding：对量化值进行huffman编码，进一步压缩。

深度学习框架提供的 “Model Zoo” ，有大量的在大数据集上预训练的可供下载的模型

Geoffrey Hinton 等人发表 arXiv 论文提出「软决策树」（Soft Decision Tree）。并且通过层级决策模型把 DNN 所习得的知识表达出来，具体决策解释容易很多。这最终缓解了泛化能力与可解释性之间的张力。

1、为什么深度学习需要使用 GPU ? 2、GPU 的哪种性能指标最为重要 ? 3、选购 GPU 时有哪些坑需要避免 ?

将神经网络用于结构化数据任务

由上海交通大学卢策吾团队发布的开源系统AlphaPose近日上线，该开源系统在标准测试集COCO上较现有最好姿态估计开源系统Mask-RCNN相对提高8.2%。Mask-RCNN是2017年以来计算机视觉领域的一个突破，获得了ICCV 2017最佳论文（马尔奖），涵盖了物体检测，分割，姿态估计。该系统比较的是其姿态估计部分。该系统是基于卢策吾团队ICCV 2017发表的RMPE算法[1]开发。以下

今天凌晨时分，李飞飞通过一篇博客文章发布了谷歌最新AI产品——AutoML Vision，可以自动设计机器学习模型。我很荣幸地宣布AutoML Vision面世。无需精通机器学习，每个人都能用这款AI产品定制机器学习模型。这是“AI民主化”的重要进展！——李飞飞这个名为Cloud AutoML的宏大项目浮出水面，或标志谷歌发展的战略转型。一直以来面向机器学习人工智能开发者的Google Cloud

github地址：https://github.com/Sarasra/models/tree/master/research/capsules运行测试验证设置是否正确，例如：python layers_test.py快速MNIST测试结果：从以下网址下载并提取MNIST记录到 $DATA_DIR/：https://storage.goo

大规模分类技术对人脸识别等任务的实际应用有着切实的价值。香港中文大学和商汤科技近日公布的一篇 AAAI 2018 论文介绍了一种旨在高效解决大规模分类问题的方法。机器之心对该研究成果进行了编译介绍。近些年来，在深度学习的发展和数据集的爆发式增长的推动下，人工智能领域已经见证了一波突破浪潮（Shakirov 2016）。伴随着这一趋势，涉及极大数量类别的大规模分类变成了一项重

Alex Honchar在Medium发文，从研究者的角度分享机器学习明年发展的走向。

由于是通用棋类AI，因此去掉了代表围棋的英文“Go”，没有使用人类知识，从零开始训练，所以用Zero，两相结合得到“AlphaZero”，

本文以机器翻译为例，深入浅出地介绍了深度学习中注意力机制的原理及关键计算机制，同时也抽象出其本质思想，并介绍了注意力模型在图像及语音等领域的典型应用场景。

The M Tank发布了一份对计算机视觉领域最近一年进展的报告《A Year in Computer Vision》

几个常用的Python库：numpy、pandas、matplotlib，scipy，ipython

目前CNN在图像分类领域是做的最好的，其次是物体检测领域，图像分割、图像标准、图像生成这三个领域也在蓬勃发展，发展速度很快，各种paper层出不穷，发展空间巨大。

百度开放了一系列的平台，感觉挺实在的。

2006年，Hinton提出了在非监督数据上建立多层神经网络的一个有效方法，该方法分为两步，一是每次训练一层网络，二是调优，使原始表示x向上生成的高级表示r和该高级表示r向下生成的x'尽可能一致：1、首先逐层构建单层神经元，这样每次都是训练一个单层网络。2、当所有层训练完后，Hinton使用wake-sleep算法进行调优。

深度学习的思想就是堆叠多个层，也就是说这一层的输出作为下一层的输入。通过这种方式实现对输入信息进行分级表达了。深度学习是无监督学习的一种。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

在dl中，有一个很重要的概念，就是卷积神经网络CNN，基本是入门dl必须搞懂的东西。本文基本根据斯坦福的机器学习公开课、cs231n、与七月在线寒老师讲的5月dl班第4次课CNN与常用框架视频所写，是一篇课程笔记。

深度学习（Deep Learning）是机器学习中一种基于对数据进行表征学习的方法，深度学习的好处是用非监督式或半监督式的特征学习、分层特征提取高效算法来替代手工获取特征（feature）。作为当下最热门的话题，Google、Facebook、Microsoft等巨头都围绕深度学习重点投资了一系列新兴项目，他们也一直在支持一些开源深度学习框架。

机器学习，尤其是其子领域深度学习，在近些年来取得了许多惊人的进展。重要的研究论文可能带来使全球数十亿人受益的技术突破。这一领域的研究目前发展非常快，为了帮助你了解进展状况，我们列出了自 2014 年以来最重要的 20 篇科学论文。

逐层贪婪训练，无监督预训练（unsupervised pre-training）即训练网络的第一个隐藏层，再训练第二个…最后用这些训练好的网络参数值作为整体网络参数的初始值。

Gradient Vanish 这个问题是由激活函数不当引起的

深度学习可以让那些拥有多个处理层的计算模型来学习具有多层次抽象的数据的表示。这些方法在许多方面都带来了显著的改善，包括最先进的语音识别、视觉对象识别、对象检测和许多其它领域，例如药物发现和基因组学等。深度学习能够发现大数据中的复杂结构。它是利用BP算法来完成这个发现过程的。

白化的目的是去除输入数据的冗余信息。例如：训练数据是图像，由于图像中相邻像素之间具有很强的相关性，因此输入是冗余的。白化的目的就是降低输入的冗余性。

在物体检测中NMS（Non-maximum suppression）非极大抑制应用十分广泛，其目的是为了消除多余的框，找到最佳的物体检测的位置。

1、adagrad相比于sgd和momentum更加稳定，即不需要怎么调参。2、精调的sgd和momentum系列方法无论是收敛速度还是precision都比adagrad要好一些。3、在精调参数下，一般Nesterov优于momentum优于sgd。4、adagrad一方面不用怎么调参，另一方面其性能稳定优于其他方法。

Deep Learning的推荐学习资源

Ubuntu16.04环境下命令行安装驱动

移动端深度学习的几种实现方式

zchang81博客博文导航1、深度学习基础2、深度学习数据集3、深度学习目标检测4、TensorFlow学习笔记

Nvidia自带了一个 nvidia-smi的命令行工具，会显示显存使用情况，结合watch命令就可以实时监测显卡使用情况。

深度学习岗位面试问题整理笔记