CCC的专栏

机器学习中的所有算法都依赖于最小化或最大化一个函数，我们称之为损失函数（loss function），或“目标函数”、“代价函数”。损失函数是衡量预测模型在预测预期结果方面做得有多好。求函数最小点最常用的方法是梯度下降法。损失函数就像起伏的山，梯度下降就像从山上滑下来到达最底部的点。没有一个单一的损失函数可以完美适用于所有类型的数据。它取决于许多因素，包括异常值的存在、机器学习算法的选择、梯度下降的时间效率等等。本文的目的是了解不同的损失函数，以及它们的原理。损失函数大致可分为两类：分类损失和回归损失，

本文通过以下8个部分来详细解释神经网络的一些基本概念：模型表示（Model Representation）模型的数学表示（Model Representation Mathematics）激活函数（Activation Functions）偏置节点（Bias Node）损失函数（Cost Function）前向传播计算（Forward Propagation Calculation...

L1 / L2Weight DecayDropoutBatch NormalizationData AugmentationEarly Stopping下面的故事听起来很熟悉。想象一下，我们必须用经典的机器学习算法来解决数据问题。一种典型的方法是通过降维来提高模型的性能并减少其训练时间。如今，在使用深度学习时，优化过程的繁重任务已被留在后台，尤其是由于GPU的出现以及对它们的便...

实现机器学习和深度学习算法与编写任何其他类型的软件程序都不同。虽然大多数代码都经历了传统的代码编写、编译/解释、测试和执行这样的生命周期，但是深度学习模型却始终经历着测试和改进过程的永无止境的生命周期。大多数人通常将生命周期的这一部分称为优化（Optimization），但实际上，它还包括深度学习理论的另一个重要领域：正则化（Regularization）。为了了解优化和正则化在深度学习模型中的作...

为什么要归一化？归一化已成为深度神经网络中的一个重要步骤，它可以弥补ReLU、ELU等激活函数无界性的问题。有了这些激活函数，输出层就不会被限制在一个有限的范围内(比如tanh的[−1,1][-1,1][−1,1])，而是可以根据训练需要尽可能高地增长。为了限制无界激活函数使其不增加输出层的值，需要在激活函数之前进行归一化。在深度神经网络中有两种常用的归一化技术，但常被初学者所误解。在本教程中，...

在AlexNet论文《 ImageNet Classification with Deep Convolutional Neural Networks》第3节中提到了饱和非线性（saturating nonlinearity）和非饱和非线性（non-saturating nonlinearity）的概念，这里做一个解释。定义直观定义：一个饱和的激活函数会将输出结果压缩到有限的区间。如果函数...

人工神经网络(Artificial Neural Network，ANN)是一种计算模型，其灵感来自于人类大脑中生物神经网络处理信息的方式。由于在语音识别、计算机视觉和文本处理方面取得了许多突破性的成果，人工神经网络在机器学习研究和工业领域产生了许多令人兴奋的成果。在这篇博文中，我们将尝试去理解一种叫做多层感知机（Multi Layer Perceptron）的特殊类型的人工神经网络。单个神经元...

什么是卷积神经网络?它们为什么重要?卷积神经网络(ConvNets或CNNs)是一类在图像识别和分类等领域非常有效的神经网络。除了增强机器人和自动驾驶汽车的视觉功能外，ConvNets还成功地被用于人脸、物体和交通标志的识别。Figure 1: 图片来源：[1]在上面的图1中，ConvNet能够识别场景，系统能够提示相关的说明(“一个足球运动员正在踢足球”)，而图2显示了一个ConvNet...