RainbowSea_-优快云博客

原创西瓜书第九章聚类算法

聚类算法聚类：物以类聚。将相似的样本聚集到一起，使得同一类簇的样本尽可能接近，不同类簇的样本尽可能远离。 1、距离计算距离反应了样本之间的相似程度，是对样本进行划分的重要依据。一般需要满足以下性质：非负性：dist(xi,xj)≥0dist(x_i,x_j)\ge0dist(xi,xj)≥0 同一性：dist(xi,xj)=0dist(x_i,x_j)=0dist(xi,xj)=0当且仅当xi=xjx_i=x_jxi=xj 对称性：dist(xi,xj)=dist(xj,xi)dist(

2022-04-29 16:28:18 927

原创西瓜书第八章集成学习

集成学习 1、个体与集成 “三个臭皮匠，顶个诸葛亮”，集成学习通过集合多个个体学习器的结果来提升预测结果的准确性以及泛化能力。 “君子和而不同”个体学习器需要比随机猜想要强一些，个体学习器的预测结果也要具有一定的多样性。样本a 样本b 样本c 样本a 样本b 样本c 样本a 样本b 样本c 学习器1 1 1 0 1 0 0 1 1 0 学习器2 1 0 1 0 1 0 1 1 0 学习器3 0 1 1 0 0 1 1 1 0 集成结果 1 1 1 0 0 0

2022-04-27 22:07:31 751

原创贝叶斯分类器

贝叶斯分类器 1、贝叶斯决策论贝叶斯决策论是概率框架下实施决策的基本方法，对于分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。以一个多分类任务为例：假设当前有一个NNN分类问题，即Y={c1,c2,...,cN}\mathcal{Y}=\{c_1,c_2,...,c_N\}Y={c1,c2,...,cN} 【定义】：λij\lambda_{ij}λij是将一个真实标记为cjc_jcj的样本误分类为cic_ici所产生的损失。

2022-04-11 21:27:02 468

原创西瓜书软间隔与支持向量回归

软间隔与支持向量回归 1、算法原理在现实任务中，线性不可分的情形才是最常见的，对此可以有以下两种方法：将样本映射到更高维的空间中，使得其在该空间上线性可分。如果原始空间是有限维，即属性数有限，那么一定存在一个高维特征空间使样本可分允许支持向量机犯错，对某些无法划分的样本表示宽容，毕竟它们也有可能是一些异常样本。 2、软间隔从数学角度来说，软间隔就是允许部分样本（但要尽可能少）不满足下式中的约束条件 minw,b12∣∣w∣∣2s.t.yi(wTxi+b)≥1,i=1,2,...,m

2022-04-07 22:28:02 377

原创西瓜书-SVM

SVM 1、算法原理从几何角度，对于线性可分数据集，支持向量机就是找距离正负样本都最远的超平面，相比于感知机，其解是唯一的，且不偏不倚，泛化性能更好 1.1、超平面 nnn维空间的超平面wTx+b=0w^Tx+b=0wTx+b=0，其中w,x∈Rnw,x\in \mathbb{R}^nw,x∈Rn: 超平面方程不唯一法向量www和位移bbb确定一个唯一超平面法向量www垂直于超平面(缩放w,bw,bw,b时，若缩放倍数为负数会改变法向量方向) 法向量www指向的那一半空间为正空间

2022-04-04 21:06:33 1502 1

原创 alpha-beta 极大极小值剪枝算法

α−β\alpha-\betaα−β极大极小值剪枝算法若正常使用搜索算法来穷举所有可能性进行判断，那范围是非常巨大的，就算3×33\times33×3的井字棋，他第一步就有9种下法，第二步就有9×89\times89×8种下法，最后一步更是达到9!9!9!种下法，更不用说15×1515\times1515×15的五子棋。所以说我们得在搜索的基础上进行剪枝，将一些根本不需要走到的分支抛弃掉，这让就能够大大减少我们的复杂度。算法原理首先，明白几个概念：为了便于搜索，我们会对棋局进行打分（比如自己四子

2022-03-28 16:36:49 1944

原创吃瓜（西瓜书）第五章神经网络

神经网络 1、M-P神经元一种模拟生物行为的数学模型，接受n个输入（通常来自其他神经元），并给各个输入赋予权重计算加权和，然后与自身阈值θ\thetaθ进行比较（作差），最后经过激活函数（大于0则激活，小于则抑制）处理得到输出。理想中的激活函数为阶跃函数，当输入值大于0时，输出1对应激活，小于0时，输出0对应抑制。但其具有不连续、不光滑等不太好的性质，所以实际常用SigmoidSigmoidSigmoid函数。当多个上面的神经元连接起来的时候，就可以构成一个神经网络。 2、感知机感知机（Perc

2022-03-25 22:23:27 1006 1

原创吃瓜（西瓜书）第四章决策树

1、算法原理决策树的理念与我们人思考的方式差不多，每个树节点对应一种属性，而分支对应该节点属性的具体值，给你一个样本[青绿色，蜷缩，浊响][青绿色，蜷缩，浊响][青绿色，蜷缩，浊响]进行决策：第一个节点，你会回答色泽是什么，然后再沿着对应分支往下走；每到一个节点，你都要选定一种属性，然后继续往下走；最后到达叶子节点，就确定了西瓜是好是坏。根据样本集构造决策树的原理：训

2022-03-21 21:12:40 197 1

原创吃瓜（西瓜书）第三章读后

第三章线性模型一、前置知识： 1、最小二乘法基于均方误差最小化模型求解的方法。 2、极大似然估计已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值：样本已经确定，通过寻找使得样本出现概率最大的参数值 3、凸函数与高数中的凸函数表示相反 4、协方差矩阵方差：度量单个随机变量的离散程度 σx2=1n−1∑i=1n(xi−xˉ)2\sigma_x^2 = \frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{x

2022-03-18 22:42:31 468

原创吃瓜（西瓜书）一二章读后

第一章绪论奥卡姆剃刀定理：如无必要，勿增实体，书中表述为“若有多个假设与观察一致，则选择最简单的那个。” 没有免费的午餐定律：对于所有的目标真实函数f，无论使用什么学习算法，其误差都是相同的。这里的目标真实函数f是指任何能将样本映射到输出空间的函数且服从均匀分布绪论中重要介绍了一些机器学习的专业术语，对一些较重要的总结如下： 1、分类与回归分类一般预测的是离散值，如好瓜、坏瓜回归一般预测的是连续值，例如西瓜的成熟度0.95. 2、独立同分布同分布：整个样本空间中的样本都服从同一个分布

2022-03-14 20:49:52 1140

原创编译原理-LL(1)文法分析法实现(扳碎了给你看)C++

LL(1)文法分析法一、基本思路：计算可推出ϵ\epsilonϵ的非终结符表计算各非终结符的FIRST集计算出各产生式右侧的FIRST集计算各非终结符的FOLLOW集计算各产生式的SELECT集构造预测分析表分析输入串二、实现过程文法实例： E->TA A->+TA A->= T->FB B->*FB B->= F->i F->(E) 此处用=代替ϵ\epsilonϵ，方便编程。 1、对文法进行预处理首先我们先把该文法的终结符和非

2020-10-16 16:36:40 1858 2

原创 LL文法First集和Follow集通俗讲解

编译原理FIRST集和FOLLOW集一、FIRST集定义：设 G=(VT,VN,S,P)G=(V_T,V_N,S,P)G=(VT,VN,S,P)是上下文无关文法，则 FIRST(α)=a∣α⇒a...,a∈VTFIRST(\alpha)= { a\vert \alpha\Rightarrow a...,a \in V_T }FIRST(α)=a∣α⇒a...,a∈VT 理解定义： FIRST(A)是以A为开始符的集合，即左边为A的产生式的集合，A的所有可能推导的开头终结符或者是ϵ\epsilon

2020-10-11 17:00:05 15121 6

原创机器学习实战：fit_transform() takes 2 positional arguments but 3 were given with LabelBinarizer

解决方法: 因为在scikit-learn新版本中，LabelBinarizer 不能接s收三个参数了，所以第一个解决方法就是安装先前的版本： $ pip install scikit-learn==0.18.0 第二个方法就是自定义一个接受三个参数的MyLabelBinarizer来代替LabelBinarizer: from sklearn.base import TransformerMixin class MyLabelBinarizer(TransformerMixin): def __

2020-07-17 18:44:05 1333

qq_44049627的博客