xdy1120的博客

结构化机器学习项目：机器学习（ML）策略：正交化：单一数字评估指标：训练/开发/测试集划分：开发集和测试集的大小：使用来自不同分布的数据进行训练和测试：...

利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值例如：一个麻袋里有白球与黑球，但是我不知道它们之间的比例，那我就有放回的抽取10次，结果我发现我抽到了8次黑球2次白球，我要求最有可能的黑白球之间的比例时，就采取最大似然估计法：我假设我抽到黑球的概率为p,那得出8次黑球2次白球这个结果的概率为：P(黑=8)=p8*（1-p）2,现在我想要得出p是多少啊，很简单，使得P(黑=8...

有监督：训练数据中明确给出y值,数据被提前打上标签。无监督：训练数据中没有明确的y值。例如 聚类算法半监督：也叫强化学习，有奖赏的学习过程。生成模型：判别模型：名称类别c4.5 决策树分类K-Means聚类SVM 支持向量机统计学习Apriori关联规则EM统计学习PageRank链接挖掘AdaBoost集装与推进...

K-Means算法的思想对于给定的样本集，按照样本之间的距离大小，将样本集划分为K个簇。让簇内的点尽量紧密的连在一起，而让簇间的距离尽量的大。如果用数据表达式表示，假设簇划分为(C1,C2,…Ck)，则我们的目标是最小化平方误差E：　　　　　　　　其中μiμi是簇CiCi的均值向量，有时也称为质心，表达式为：　　　　如果我们想直接求上式的最小值并不容易，这是一个NP难的问题，因此只能采...

假设我们的数据集有10个二维数据(2.5,2.4), (0.5,0.7), (2.2,2.9), (1.9,2.2), (3.1,3.0), (2.3, 2.7), (2, 1.6), (1, 1.1), (1.5, 1.6), (1.1, 0.9)，需要用PCA降到1维特征。首先我们对样本中心化，这里样本的均值为(1.81, 1.91),所有的样本减去这个均值后，即中心化后的数据集为(0.69...

右图中，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类。对于分类决策规则，一般都是使用前面提到的多数表决法。所以我们重点是关注与k值的选择和距离的度量方式。对于k值的选择，没有一个固定的经验，一般根据样本的分布，选择一个较小的值，可以...

• 使用图 (graph) 来表示计算任务.• 在被称之为 会话 (Session) 的上下文 (context) 中执行图.• 使用 tensor 表示数据.• 通过 变量 (Variable) 维护状态.• 使用 feed 和 fetch 可以为任意的操作(arbitrary operation) 赋值或者从其中获取数据.TensorFlow 是一个编程系统, 使用图来表示计算任务....

组合和排列当需要从N个物体中选取n个物体，可以通过组合公式计算出可能的结果数量。排列是组合的特殊情况，当要考虑选取的顺序时，相同的n个物体，因为不同的顺序会有不同的结果，公式变为：在Excel的函数中，COMBIN和PERMUT函数分别对应组合和排列。事件及概率定义样本空间S={(正面,正面),(反面,反面),(正面,反面),(反面,正面)},表示某个过程中可能的所有样本点定义事件...

转载 http://www.cnblogs.com/pinard/p/5970503.html

转载 https://www.cnblogs.com/pinard/p/6418668.html

L1和L2正则化：。。。。。。。。。。。。。Bagging正则化除了常见的L1&L2正则化，DNN还可以通过集成学习的思路正则化。在集成学习原理小结中，我们讲到集成学习有Boosting和Bagging两种思路。而DNN可以用Bagging的思路来正则化。常用的机器学习Bagging算法中，随机森林是最流行的。它 通过随机采样构建若干个相互独立的弱决策树学习器，最后采用加权平均法或者...

以上两式相等，都等于e。2.718281828……

tf.truncated_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)从截断的正态分布中输出随机值。生成的值服从具有指定平均值和标准偏差的正态分布，如果生成的值大于平均值2个标准偏差的值则丢弃重新选择，这样保证了生成的值都在均值附近。shape表示生成张量的维度，mean是正态分布的均值...

将计算流程表示成图；通过Sessions来执行图计算；将数据表示为tensors；使用Variables来保持状态信息；分别使用feeds和fetches来填充数据和抓取任意的操作结果；例1，生成三维数据，然后用一个平面拟合它：import tensorflow as tfimport numpy as np# 用 NumPy 随机生成 100 个数据x_data = np...

TensorFlow实际上对应的是一个C++后端，TensorFlow使用会话(Session)与后端连接。交互式会话：sess = tf.InteractiveSession()sess是一个交互式会话，使得我们可以在运行图(Graph)的时候再插入计算图。x = tf.placeholder(“float”, shape=[None,784])x是占位符，可以在TensorFl...

tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, name=None)结果返回一个Tensor，这个输出，就是我们常说的feature map，shape仍然是[batch, height, width,channels]这种形式。第一个参数input：指需要做卷积的输入图像，它要求是一个Tens...

一般形式：目标函数 = Σ（观测值-理论值）2(平方)观测值就是我们的多组样本，理论值就是我们的假设拟合函数。目标函数也就是在机器学习中常说的损失函数，我们的目标是得到使目标函数最小化时候的拟合函数的模型。最小二乘法的代数法解法最小二乘法的矩阵法解法最小二乘法的局限性和适用场景原文链接：https://www.cnblogs.com/pinard/p/5976811.html...

1. 线性回归的模型函数和损失函数2. 线性回归的算法3. 线性回归的推广：多项式回归4. 线性回归的推广：广义线性回归5. 线性回归的正则化转载：https://www.cnblogs.com/pinard/p/6004041.html...

为了描述大的图像，一个很自然的想法就是对不同位置的特征进行聚合统计。例如，人们可以计算图像一个区域上的某个特定特征的平均值 (或最大值)来代表这个区域的特征。1. 一般池化池化作用于图像中不重合的区域（这与卷积操作不同）。我们定义池化窗口的大小为sizeX，即下图中红色正方形的边长，定义两个相邻池化窗口的水平位移/竖直位移为stride。一般池化由于每一池化窗口都是不重复的，所以si...

本次训练框架为keras，后续会有TensorFlow框架的训练过程，请等待更新。训练数据40600张图片验证数据1400张图片 数据准备：训练代码： 训练得分达到 0.9821428568022592 验证模型实际效果网上找的图片 lena1可以轻松识别出是数字2 lena2~lena6 无法识别 lena7~lena10可以...