这世界缤纷多彩

激活函数是用来加入非线性因素的，解决线性模型所不能解决的问题。可以参考博文：https://www.cnblogs.com/silence-tommy/p/7113405.html一般激活函数有如下一些性质：非线性： 当激活函数是线性的，一个两层的神经网络就可以基本上逼近所有的函数。但如果激活函数是恒等激活函数的时候，即f(x)=x，就不满足这个性质，而且如果MLP使用的是恒等激活...

一、前言 最近在看 无监督学习 的时候，发现欠缺了数据挖掘的知识，回来补充~ 关联规则的目的在于在一个数据集中找出项之间的关系，也称之为购物篮分析 (market basket analysis)。例如，购买鞋的顾客，有10%的可能也会买袜子，60%的买面包的顾客，也会买牛奶。这其中最有名的例子就是"尿布和啤酒"的故事了。 本篇的Apriori...

　在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。　　本文的目的就是对常用的相似性度量作一个总结。本文目录：1. 欧氏距离2. 曼哈顿距离3. 切比雪夫距离4. 闵可夫斯基距离5. 标准化欧氏距离...

在计算loss的时候，最常见的一句话就是tf.nn.softmax_cross_entropy_with_logits，那么它到底是怎么做的呢？首先明确一点，loss是代价值，也就是我们要最小化的值tf.nn.softmax_cross_entropy_with_logits(logits, labels, name=None)除去name参数用以指定该操作的name，与方法有关...

1. 学习率太大，步子迈的太大导致梯度爆炸等都是有可能的。 梯度消失或者爆炸的优化，请参考：https://blog.youkuaiyun.com/u013250416/article/details/814106932. 网络结构不合理，导致的Non 1. 增加或者减少网络的深度 2. 增加网络的宽度 3.不当的损失函数 4.relu和so...

1.命名文件夹名VOC2007。图片名六位数字。将数据集相应的替换掉VOC2007中的数据。(Updated development kit,annotated test data)2.画目标包围框由于每张图片需要选取目标框，所需时间较长，需要工具辅助。下面文字和代码源自wuzuyu365的博文深度学习python图像标记工具labelTool。深度学习训练...

                      1、Gram矩阵的定义   2、意义       格拉姆矩阵可以看做feature之间的偏心协方差矩阵（即没有减去均值的协方差矩阵），在feature map中，每个数字都来自于一个特定滤波器在特定位置的卷积，因此每个数字代表一个特征的强度，而Gram计算的实际上是两两特征之间的相关性，哪两个特征是同时出现的，哪两个是此消...

决策树一、 决策树优点1、决策树易于理解和解释，可以可视化分析，容易提取出规则。2、可以同时处理标称型和数值型数据。3、测试数据集时，运行速度比较快。4、决策树可以很好的扩展到大型数据库中，同时它的大小独立于数据库大小。二、决策树缺点1、对缺失数据处理比较困难。2、容易出现过拟合问题。3、忽略数据集中属性的相互关联。4、ID3算法计算信息增益时结果偏向数值比较多的特征。三、改进措施1、对决...

Session.run()返回Session.run()函数返回值为fetches的执行结果。如果fetches是一个元素就返回一个值；若fetches是一个list，则返回list的值，若fetches是一个字典类型，则返回和fetches同keys的字典。...

任意点 到超平面的距离公式在样本空间中，划分超平面可通过如下线性方程来描述:其中 w 决定了超平面的方向 ; b 为位移项，决定了超平面与原点之间的距离.显然，划分超平面可被法向量 ω 和位移 b 确定 。任意点到超平面的距离公式为：推到如下：...

L2R将机器学习的技术很好的应用到了排序中，并提出了一些新的理论和算法，不仅有效地解决了排序的问题，其中一些算法(比如LambdaRank)的思想非常新颖，可以在其他领域中进行借鉴。鉴于排序在许多领域中的核心地位，L2R可以被广泛的应用在信息(文档)检索，协同过滤等领域。 本文将对L2R做一个比较深入的介绍，主要参考了刘铁岩、李航等人的几篇相关文献[1,2,3]，我们将围绕以下几点来介绍L2...