Chain的博客

今天进行了机器学习第一章的学习，我觉得首先你可以认清这些概念          （1）模型、策略、算法          （2）分类与回归的概念          （3）监督、无监督、半监督问题          （2）过拟合、欠拟合  下面是拓展的一些概念：海森矩阵：黑塞矩阵（Hessian Matrix），又译作海森矩阵、海瑟矩阵、海塞矩阵等，是一个多元函数的二阶偏...

CatBoost 英文官网地址：https://catboost.ai/docs/concepts/python-reference_parameters-list.htmlTraining parametersPython package training parametersSeveral parameters have aliases. For example, thei...

梯度是一个向量；既有大小，也有方向。 函数z=f(x,y)在点P0处的梯度方向是函数变化率(即方向导数)最大的方向。梯度的方向就是函数f(x,y)在这点增长最快的方向，梯度的模为方向导数的最大值。梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。梯度概念是建立在偏...

首先，讲一下kd树的概念，实现k近邻法时，主要考虑的问题是如何对训练数据进行快速k近邻搜索。这在特征空间的维数大及训练数据容量大时尤其必要。k近邻法最简单的实现是线性扫描（穷举搜索），即要计算输入实例与每一个训练实例的距离。计算并存储好以后，再查找K近邻。当训练集很大时，计算非常耗时。为了提高kNN搜索的效率，可以考虑使用特殊的结构存储训练数据，以减小计算距离的次数。看来统计学习中的kd树的讲...

1. 正则化（Regularization）机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1-norm和ℓ2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用L2...

首先，先引用知乎大佬的一句话：平面(一维)导数为正，单调增加，导数为负单调减。可以这里的正负号理解成一维向量的方向。转自知乎专栏机器学习算法与自然语言处理 忆臻大佬文章：刚接触梯度下降这个概念的时候，是在学习机器学习算法的时候，很多训练算法用的就是梯度下降，然后资料和老师们也说朝着梯度的反方向变动，函数值下降最快，但是究其原因的时候，很多人都表达不清楚。所以我整理出自己的理解，从方...

前言在上一篇随笔里，我们讲了Logistic回归cost函数的推导过程。接下来的算法求解使用如下的cost函数形式：简单回顾一下几个变量的含义：表1 cost函数解释x(i) 每个样本数据点的特征值y(i) 每个样本数据的所属类别标签m 样本数据点的个数hθ(x) 样本数据的概率密度函数，即某个数据属于1类（二分类问题）的概率J(θ) 代价函数，...

笔记 https://blog.youkuaiyun.com/lsp1991/article/details/72857747

什么是卡方检验卡方检验是一种用途很广的计数资料的假设检验方法。它属于非参数检验的范畴，主要是比较两个及两个以上样本率( 构成比）以及两个分类变量的关联性分析。其根本思想就是在于比较理论频数和实际频数的吻合程度或拟合优度问题。它在分类资料统计推断中的应用，包括：两个率或两个构成比比较的卡方检验；多个率或多个构成比比较的卡方检验以及分类资料的相关分析等。 例子1：四格卡方检验 以...

转载有乱码，，附上原文链接：https://blog.youkuaiyun.com/u010099080/article/details/68060274 假设有 m×nm×n 的矩阵 AA ，那么 SVD 就是要找到如下式的这么一个分解，将 AA 分解为 3 个矩阵的乘积： Am×n=Um×mΣm×nVTn×nAm×n=Um×mΣm×nVn×nT 其中，UU 和 VV 都是正交矩阵 ...

精确算法1：计算量比较大近似方法：logloss：

上一篇简单提了一下马尔科夫模型，然后这是他的升级版隐马尔科夫模型的讲解。是状态+观测序列的组合。首先，这是马尔科夫三个假设，有观测值序列O=O1,O2,O3,O4.....OT,有隐状态序列：Q=q1,q2,q4,q5....qT隐马尔科夫的定义：概率计算问题HMM的概率计算问题是HMM三大问题之一。所谓概率计算就是给定一个模型参数已知的HMM和一组观测序列，求这组观测序...

一、马尔科夫链一个系统在t时刻的状态只与在时刻t-1的状态相关，则构成了一个离散的一阶马尔科夫链，可以就通俗的理解成昨天的天气对今天的天气的影响即可。公式为：二、马尔科夫模型加入只考虑独立于时刻t的随机过程，则满足以下两个公式的随机过程称为马尔科夫模型且举个栗子：得出结果：...

首先，存在一个用户电影打分矩阵Y，然后你要做的任务就是将这个矩阵分解为一个用户特征矩阵X，一个电影特征矩阵Q，即X矩阵里面是一些用户的特征，在给用户推荐时你可以根据计算用户的特征矩阵的皮尔逊相似度找出最相似的用户，然后进行你后期的一些推荐；Q里面是一些电影的特征，你要找一些相似电影的时候，可以计算这些电影的特征矩阵之间的相似度找出相似的电影，可以用距离进行衡量，也可以用pearson进行衡量，就可...

（1）用户冷启动（2）物品冷启动

首先计算协方差，然后用协方差去除以变量标准差之积，去得到两个变量之间的一个皮尔逊相关系数。协方差可以理解为两个向量之间的变化趋势一样，一个增大时另一个也增大，即一致，变化范围为【-1，1】，若为+1，则为正相关，若为-1，则为负相关，即下图的两种情况。最后的一个计算的具体步骤为：常用在推荐系统中。...

今天看来朴素贝叶斯，最大的进步我觉得就是知道了她的一个非常重要的用途，用作文本分类任务，下面是copy两个大佬的代码，用来进行记忆：#!/usr/bin/python# coding:utf-8from numpy import *from math import *def loadDataSet(): postingList = [['my', 'dog', 'has'...

维特比算法利用动态规划求解概率最大的路径，一条路径一个状态序列。动态规划求解最优路径专责：如果最优路径在某时刻t 通过节点i，那么这条路径从节点 i 到终点的部分路径，在节点 i 到终点的路径中，必须是最优的。通过这种原理就可以从t=1时刻开始，不断向后递推到下一个状态的路径的最大概率，直到在最后到达最终的最优路径终点，然后依据终点回溯到起始点，这样就能得到最优路径。具体过程：（《...