这世界缤纷多彩

熵和信息增益我们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。……直到1948年，Shannon在他著名的论文“通信的数学原理”中提出了“信息熵”的概念，才解决了信息的度量问题，并且量化出信息的作用。信息熵 –表示随机变量的不确定性。首先，我们可以记住的是，信息熵一般使用符号H来表示，单位是比特。接下来，看一个书中给出的例子： 当我错过了上一届世界杯的比赛，而...

　在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。　　本文的目的就是对常用的相似性度量作一个总结。本文目录：1. 欧氏距离2. 曼哈顿距离3. 切比雪夫距离4. 闵可夫斯基距离5. 标准化欧氏距离...

写的很好，收藏用，转载自：https://blog.youkuaiyun.com/qq_36653505/article/details/82025971

在计算loss的时候，最常见的一句话就是tf.nn.softmax_cross_entropy_with_logits，那么它到底是怎么做的呢？首先明确一点，loss是代价值，也就是我们要最小化的值tf.nn.softmax_cross_entropy_with_logits(logits, labels, name=None)除去name参数用以指定该操作的name，与方法有关...

方向导数和梯度在高等数学偏导数那一部分提到，两者相互关联，可能会弄混，简单来说方向导数是一个值而梯度是一个向量。了解梯度的概念可以在以后的机器学习或者深度学习模型优化用到梯度下降时更容易理解，接下来让我们看看一些关于方向导数和梯度的细节。一、方向导数 对于多元函数，如果说偏导数表示的是多元函数在沿坐标轴的变化率，那么可以说方向导数是沿着任意一指定方向的变化率，不一定是沿着坐标轴。...

数学方面的能力该怎么培养我想大家都有这样的体会：小学的时候你根本不知道初中数学是什么样，高中的时候你也根本想不到大学数学是什么样。而大学生，如果你不专注于数学，恐怕也不知道现代数学是什么模样。下面将分别从学数学的动机、数学不同学科的分类以及如何切实可行培养数学能力等几个方面阐述如何学习数学。（另外，欢迎大家收看在数学系读书的感受如何？体会一下数学的乐趣，数学系人的特点以及智商不够该怎么办。）进...

                      1、Gram矩阵的定义   2、意义       格拉姆矩阵可以看做feature之间的偏心协方差矩阵（即没有减去均值的协方差矩阵），在feature map中，每个数字都来自于一个特定滤波器在特定位置的卷积，因此每个数字代表一个特征的强度，而Gram计算的实际上是两两特征之间的相关性，哪两个特征是同时出现的，哪两个是此消...

Description设有一个背包可以放入的物品重量为S，现有n件物品，重量分别是w1，w2，w3，…wn。问能否从这n件物品中选择若干件放入背包中，使得放入的重量之和正好为S。如果有满足条件的选择，则此背包有解，否则此背包问题无解。knap( s, n) =︳true, s= 0︳false, s< 0︳false, s> 0 且n<0︳knap( s, ...

-梯度下降法的误区网上挂了很多拿着二元函数的图像，来讲梯度的案例。我觉得，只会越讲越误解新学的人。二元函数是不存在梯度的，只有在三元及其以上的空间，面上的一点才会有方向的选择，才有下降最抖的方向。-梯度下降法的理解如果想细致的明白梯度的推导，需要明白方向导数的推导如果想细致的明白方向导数的推导，需要高数里的全微分概念。...

一. 爬山算法 ( Hill Climbing )介绍模拟退火前，先介绍爬山算法。爬山算法是一种简单的贪心搜索算法，该算法每次从当前解的临近解空间中选择一个最优解作为当前解，直到达到一个局部最优解。爬山算法实现很简单，其主要缺点是会陷入局部最优解，而不一定能搜索到全局最优解。如图1所示：假设C点为当前解，爬山算法搜索到A点这个局部最优解就会停止搜索，因为在A点无论向那个方向小幅度移动都不能得到...

L2R将机器学习的技术很好的应用到了排序中，并提出了一些新的理论和算法，不仅有效地解决了排序的问题，其中一些算法(比如LambdaRank)的思想非常新颖，可以在其他领域中进行借鉴。鉴于排序在许多领域中的核心地位，L2R可以被广泛的应用在信息(文档)检索，协同过滤等领域。 本文将对L2R做一个比较深入的介绍，主要参考了刘铁岩、李航等人的几篇相关文献[1,2,3]，我们将围绕以下几点来介绍L2...