angciyu的博客

有没有玩过或听过这样一个游戏：参与游戏的一方在脑海里想好某个事物，然后其他参与者向他提问，回答者只能回答是还是不是。问问题的人通过答案推理，不断缩小待猜事物的范围。其实上面的过程就类似于决策树的工作原理。就像上面那个游戏，关键点在于如何问问题，那决策树的关键，就在于如何划分数据集。划分数据集的大原则就是：将无序的数据变得更加有序。那用什么衡量有序和无需呢？就是信息熵。要说信息熵，先说说信息量。信息...

为了评估模型，我们需要在测试集运行模型，因为在训练集上表现优秀的模型可能会出现过拟合。但如果我们使用测试集去调整模型的参数，优化模型的话会让我们的模型学习到测试集的信息，这是不符合实际的，因为测试集对应的是我们待预测的数据集，是未知的，这个时候我们就需要从训练集中分割出一部分作为验证集来优化调整我们的模型，避免过拟合。但这样又会导致我们的数据集不够，交叉验证可以用来解决数据不够的问题。 C...

网上很多关于标准化和归一化的文章，不少是误人子弟的存在。这篇文字希望给大家讲清讲透这两个概念。一、标准化（standardization）公式一般为：(X-mean)/std，其中mean是平均值，std是方差。从公式我们可以看出，标准化操作（standardization）是将数据按其属性（按列）减去平均值，然后再除以方差。这个过程从几何上理解就是，先将坐标轴零轴平移到均值这条线上，...

Python的特性允许你使用广播（broadcasting）功能，这是Python的numpy程序语言库中最灵活的地方。而我认为这是程序语言的优点，也是缺点。优点的原因在于它们创造出语言的表达性，Python语言巨大的灵活性使得你仅仅通过一行代码就能做很多事情。但是这也是缺点，由于广播巨大的灵活性，有时候你对于广播的特点以及广播的工作原理这些细节不熟悉的话，你可能会产生很细微或者看起来很奇怪的bu...

本文从4个方面（张量、生成模型、序列学习、深度强化学习）追踪深度学习几十年的发展史。主要按最早研究出现的时间，从4个方面来追踪深度学习的发展史。1、张量1958年Frank提出感知机，但后来被一些学者发现因算力的不足，制约了较大神经网络的计算，导致很长时间发展缓慢。Fukushima在1979年左右提出Neocognitron，感觉这是卷积和池化的雏形。Hinton在1986年...

深度学习发展很快，新的模型层出不穷，所以要想全部列举是不可能的。另外，很多模型都是这里提出很长很长时间了，所以也不是说“老”模型就没用，大家学习的话，还是要全面而深入的学习。1、 Feed forward neural networks (FF or FFNN) and perceptrons (P)前馈神经网络和感知机，信息从前（输入）往后（输出）流动，一般用反向传播（BP）来训练...

它是随机过程中的一种过程，到底是哪一种过程呢？好像一两句话也说不清楚，还是先看个例子吧。先说说我们村智商为0的王二狗，人傻不拉几的，见人就傻笑，每天中午12点的标配，仨状态：吃，玩，睡。这就是传说中的状态分布。你想知道他n天后中午12点的状态么？是在吃，还是在玩，还是在睡？这些状态发生的概率分别都是多少？ （知道你不想，就假装想知道吧~~学习真的好累~~）先看个假设，他每个状...

两种方法都是常见的分类算法，从目标函数来看，区别在于逻辑回归采用的是logistical loss，svm采用的是hinge loss。这两个损失函数的目的都是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重。SVM的处理方法是只考虑support vectors，也就是和分类最相关的少数点，去学习分类器。而逻辑回归通过非线性映射，大大减小了离分类平面较远的点的权重，相对提升了与...