Pyrohjewel

原文链接 这里主要介绍Logistic回归模型及正则化。 分类问题 在分类问题中，预测的值是离散的。例如要实现一个垃圾邮件分类器，那么该分类器最后输出的结果应该只有两种–是垃圾邮件或者不是，而不像前面学习过的回归问题那样，输出的结果是与输入一一对应的连续值。 分类问题中，最简单的是二分类（binary classification）问题，其分类结果只有两种，一般选其中一类作为正类（positive...

原文链接 这里介绍机器学习的基本概念以及线性回归模型。 基本概念 1959年，IBM科学家Arthur Samuel开发了一个跳棋程序。通过这个程序，塞缪尔驳倒了普罗维登斯提出的机器无法超越人类，像人类一样写代码和学习的模式。他创造了“机器学习”，并将它定义为**“可以提供计算机能力而无需显式编程的研究领域”**。 1998年，卡内基梅隆大学的Tom MitChell给出了一种更为形式化的定义：假...

采用循环神经网络能够建立各种各样的序列模型（Sequence Model）。加入一些注意力机制，能够使这些序列模型更加强大。 Seq2Seq模型 2014年Cho等人在论文[Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation]中首次提出了Seq2Seq（S...

自然语言处理（Natural Language Processing，NLP)是人工智能和语言学领域的学科分支，它研究实现人与计算机之间使用自然语言进行有效通信的各种理论和方法。 词嵌入 前面介绍过，处理文本序列时，通常用建立字典后以one-hot的形式表示某个词，进而表示某个句子的方法。这种表示方法孤立了每个词，无法表现各个词之间的相关性，满足不了NLP的要求。 词嵌入（Word Em...

随深度学习技术的发展，使用循环神经网络（Recurrent Neural Network，RNN）建立的各种序列模型，使语音识别、机器翻译及自然语言理解等应用成为可能。 表示与类型 自然语言、音频等数据都是前后相互关联的数据，比如理解一句话要通过一整句而不是其中的几个词，分析一段音频要通过连续的片段而不是其中的几帧。前面所学的DNN以及CNN处理的都是前后毫无关联的一个个单独数据，对于这些...

计算机视觉（Computer Vision)是一门研究如何教机器“看”的科学，计算机视觉研究相关的理论和技术，试图创建能够从图像或者多维数据中获取“信息”的人工智能系统。 随着深度学习技术的发展，计算机视觉领域的研究也得到了快速的发展。在对各种图像进行处理的过程中，往往在少量的图像中便蕴含着大量的数据，难以用一般的DNN进行处理。而卷积神经网络（Convolutional Neural Netw...

认识了解了卷积神经网络的工作原理及其一些经典的网络结构后，这里介绍如何应用卷积神经网络，实现目标检测、人脸识别及神经风格转换。 目标检测 图像识别中，目标检测的任务，是对输入图像样本准确进行分类的基础上，检测其中包含的某些目标，并对它们准确定位并标识。 目标定位 图像分类问题一般都采用Softmax回归来解决，最后输出的结果是一个多维列向量，且向量的维数与假定的分类类别数一致。在此...

深度学习（Deep Learning）是机器学习（Machine Learning）的一大分支，它试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 逻辑回归（Logistic Regression，也译作“对数几率回归”）是离散选择法模型之一，属于多重变量分析范畴，是社会学、生物统计学、临床、数量心理学、计量经济学、市场营销等统计实证分析的常用方法。 符...

神经网络（Neural Network）的构筑理念是受到生物神经网络功能的运作启发而产生的。人工神经网络通常是通过一个基于数学统计学类型的学习方法得以优化，所以人工神经网络也是数学统计学方法的一种实际应用。 和其他机器学习方法一样，神经网络已经被用于解决各种各样的问题，例如机器视觉和语音识别。这些问题都是很难被传统基于规则的编程所解决的。 神经网络 机器学习领域所说的神经网络指的是一种模...

想提高一个深层神经网络的训练效率，需从各个方面入手，优化整个运算过程，同时预防其中可能发生的各种问题。 本文涉及优化深层神经网络中的数据划分，模型估计，预防过拟合，数据集标准化，权重初始化，梯度检验等内容。 数据划分 想要建立一个神经网络模型，首先，就是要设置好整个数据集中的训练集（Training Sets）、开发集（Development Sets）和测试集（Test Sets）。 ...

想提高一个深层神经网络的训练效率，需从各个方面入手，优化整个运算过程，同时预防其中可能发生的各种问题。 本文涉及优化深层神经网络中的几种梯度下降法，梯度下降中的Momentum、RMSProp、Adam优化算法及学习率衰减，批标准化等内容。 梯度下降法 批梯度下降法（BGD） 批梯度下降法（Batch Gradient Descent，BGD）是最常用的梯度下降形式，前面的Logi...

每次都从零开始全部靠自己去建立一个深层神经网络模型并不现实，借助现在众多流行的深度学习框架，能够高效地实现这些模型。TensorFlow便是其中之一。 TensorFlow TensorFlow是Google基于DistBelief进行研发的第二代人工智能学习系统，是一个使用数据流图进行数值计算的开源软件库。其命名来源于本身的运行原理，Tensor(张量)意味着N维数组，Flow（流）意味...

构建好一个机器学习系统并获得一些初步结果时，为得到最令人满意的结果，后续往往还需要进行大量的改进。如前面优化神经网络中所述，改进的方法多种多样，可能是收集更多的数据，或者是进行正则化，或者是采用不同的优化算法。 想要找准改进的方向，使一个机器学习系统更快更有效地工作，需要学习一些在构建机器学习系统时常用到的策略。 正交化 构建机器学习系统的挑战之一就是其中有很多你可以尝试、更改的东西，例...

总体架构 AlexNet的总体架构如下所示： 整个网络总共有八层，其中前五层为卷积层，后面三层为全连接层； 用了两个GPU（GTX 580，3G内存）进行训练，因此整个架构被平均分成了两部分，除了第二层与第三层是跨GPU进行连接，其他卷积层都只和各自的GPU内的前一层进行连接； 在第一、二个卷积层后进行现在并不常用的局部响应归一化（local response normalizati...