<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[DaMeng999的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/DaMeng999</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; DaMeng999]]></copyright><item><title><![CDATA[ELS-TWSVM]]></title><link>https://blog.youkuaiyun.com/DaMeng999/article/details/124574232</link><guid>https://blog.youkuaiyun.com/DaMeng999/article/details/124574232</guid><author>DaMeng999</author><pubDate>Wed, 04 May 2022 18:27:18 +0800</pubDate><description><![CDATA[前述知识：

TWSVM
	LS-TWSVM
与TSVM相比，LS-TSVM 的关键优势是 LS-TSVM 是一种非常快速和简单的算法。ELS-TWSVM（基于能量的双最小二乘支持向量机） 的目的是改善 LS-TSVM 的鲁棒性。

基于能量的 LS-TSVM 为每个超平面的引入能量的概念来提高其鲁棒性，引入能量后的原始最优化问题为（以其中一个超平面为例）：



其中另一个超平面的最优化问题类似：





将原始最优化问题的等式约束添加到最小化项中得到：



求其对...]]></description><category></category></item><item><title><![CDATA[LS-TWSVM]]></title><link>https://blog.youkuaiyun.com/DaMeng999/article/details/124480861</link><guid>https://blog.youkuaiyun.com/DaMeng999/article/details/124480861</guid><author>DaMeng999</author><pubDate>Thu, 28 Apr 2022 19:18:06 +0800</pubDate><description><![CDATA[目录

1. 最优化问题

2. 求解

3. 算法流程

在 TWSVM 中，利用拉格朗日乘子构建一个对偶问题并进行求解，但时间开销仍然比较大，对此有人提出了用最小二乘法来求解原始问题，求解之前需要对原始问题做一定的变换，将不等式约束变成等式约束。

1. 最优化问题

LS-TWSVM 的最优化问题定义如下，以其中一个超平面为例子：



该公式的最小化项的首项是正样本点到超平面的距离平方和，等式约束的目的是所有的负样本点到该超平面的距离在 1 附近，最小化公式的第二项就是这个误差的平方...]]></description><category></category></item><item><title><![CDATA[TWSVM]]></title><link>https://blog.youkuaiyun.com/DaMeng999/article/details/124468189</link><guid>https://blog.youkuaiyun.com/DaMeng999/article/details/124468189</guid><author>DaMeng999</author><pubDate>Thu, 28 Apr 2022 15:43:38 +0800</pubDate><description><![CDATA[与传统的 SVM 相比，TWSVM 是求解一对非平行的超平面，其中一个超平面离正样本点更近，另一个超平面离负样本点更近；它的模型和 SVM 模型对比结果如下：



1. 原始最优化问题

TWSVM 分类器是求解如下一对 QPP 方程：



1.1 符号说明

，是人为调整的超参数；

，是正样本的数目，是样本的维数，矩阵意味着所有的正样本点；

，是正样本的数目，是样本的维数，矩阵意味着所有的负样本点；

是两个超平面的法向量；

是两个超平面的常量；

是...]]></description><category></category></item><item><title><![CDATA[PCA 笔记]]></title><link>https://blog.youkuaiyun.com/DaMeng999/article/details/120957246</link><guid>https://blog.youkuaiyun.com/DaMeng999/article/details/120957246</guid><author>DaMeng999</author><pubDate>Tue, 09 Nov 2021 09:40:20 +0800</pubDate><description><![CDATA[一般来说，想要将高维数据转换成低维数据，最简单的是对原始高维空间进行线性变换；给定 d 维空间中的样本，变换后得到维空间中的样本，公式如下：



其中是变换矩阵，是样本在新空间中的表达。

    变换矩阵 W 可以视作个 d 维基向量。是第 i 个样本与这个基向量分别做内积得到的维属性向量，也就是说是原向量在新坐标系下的坐标向量。

    基于线性变换进行降维的方法称作线性降维方法，都符合上述公式的基本形式，但不同之处是对低维子空...]]></description><category></category></item><item><title><![CDATA[线性判别分析笔记]]></title><link>https://blog.youkuaiyun.com/DaMeng999/article/details/121161863</link><guid>https://blog.youkuaiyun.com/DaMeng999/article/details/121161863</guid><author>DaMeng999</author><pubDate>Fri, 05 Nov 2021 14:56:09 +0800</pubDate><description><![CDATA[LDA 思想为：对给定的训练集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近，异类样例投影点尽可能远离；在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定样本的类别。

    对给定的数据集，令分别表示第类示例的集合、均值向量、协方差矩阵。若将数据投影到直线上，则两类样本的中心点在直线上的投影分别为和；若所有的样本点投影到直线上，则两类样本的协方差分别为和。

    对投影结果，应使同类样本的协方差尽可能...]]></description><category></category></item><item><title><![CDATA[聚类算法笔记]]></title><link>https://blog.youkuaiyun.com/DaMeng999/article/details/121113389</link><guid>https://blog.youkuaiyun.com/DaMeng999/article/details/121113389</guid><author>DaMeng999</author><pubDate>Wed, 03 Nov 2021 09:27:43 +0800</pubDate><description><![CDATA[聚类是根据样本之间的特征的相似度或距离，将样本划分到若干类之中，相似度高的在一个类，相似度低的在另一个类。

1. 基本概念

1.1 相似度

给定样本集合



X 是一个的矩阵，其中表示第 j 个样本的第 i 维特征值。

    聚类的核心概念是相似度，可以用距离来表示两个样本之间的相似度。

1.1.1 闵可夫斯基距离

    闵可夫斯基距离定义如下



表示曼哈顿距离
	表示欧式距离
	p 取无穷时表示切比雪夫距离
1.1.2 马...]]></description><category></category></item><item><title><![CDATA[利用支持向量机进行癌症分类的基因选择]]></title><link>https://blog.youkuaiyun.com/DaMeng999/article/details/121078956</link><guid>https://blog.youkuaiyun.com/DaMeng999/article/details/121078956</guid><author>DaMeng999</author><pubDate>Tue, 02 Nov 2021 07:44:14 +0800</pubDate><description><![CDATA[文献标题:Gene Selection for Cancer Classifification using Support Vector Machines

1. SVM 递归特征消除（SVM-RFE）

    SVM-RFE 是一种以权重大小作为排序标准的 REFE 应用。

1.1 算法流程

输入：训练样本集



初始化：

幸存特征子集：

特征排序列表：

开始循环直到 s = []：

限制训练数据集从而得到一个良好的特征指标
	采用 SVM 进行分类（对偶方式）获得值
	计算...]]></description><category></category></item><item><title><![CDATA[提升方法笔记]]></title><link>https://blog.youkuaiyun.com/DaMeng999/article/details/121073386</link><guid>https://blog.youkuaiyun.com/DaMeng999/article/details/121073386</guid><author>DaMeng999</author><pubDate>Mon, 01 Nov 2021 13:57:34 +0800</pubDate><description><![CDATA[提升方法在分类问题中通过改变训练样本的权重，学习多个分类器，并将这些分类器线性组合来提高分类的性能。提升方法需要解决一下两个问题：

每一轮如何改变训练数据的权值分布
	如何将若分类器组合得到一个强分类器
    对应的解决方法分别是：

提高前一轮弱分类器错误分类样本的权值，降低那些被正确分类样本的权值
	加权多数表决，加大分类误差率小的若分类求得权值，减小分类误差率大的弱分类器的权值
1. 算法流程

1.1 AdaBoost 算法

输入：二分类样本训练集：



输出：最终分...]]></description><category></category></item><item><title><![CDATA[支持向量机笔记]]></title><link>https://blog.youkuaiyun.com/DaMeng999/article/details/121027376</link><guid>https://blog.youkuaiyun.com/DaMeng999/article/details/121027376</guid><author>DaMeng999</author><pubDate>Fri, 29 Oct 2021 11:04:05 +0800</pubDate><description><![CDATA[SVM 是一种二类分类模型，基本模型是定义在特征空间上的间隔最大的线性分类器（间隔最大区别于感知机，使用误分类最小策略求得超平面），SVM 还可以通过核函数来求解非线性模型。

    SVM 的学习策略是间隔最大化，学习算法是求解凸二次规划的最优化算法。SVM 由简到繁的模型如下：

线性可分支持向量机（硬间隔）
	线性支持向量机（软间隔）
	非线性支持向量机（核方法）
1. 线性可分SVM与硬间隔最大化

    考虑一个二分类问题，假设输入空间与特征空间为两个不同空间，...]]></description><category></category></item><item><title><![CDATA[朴素贝叶斯笔记]]></title><link>https://blog.youkuaiyun.com/DaMeng999/article/details/121019974</link><guid>https://blog.youkuaiyun.com/DaMeng999/article/details/121019974</guid><author>DaMeng999</author><pubDate>Thu, 28 Oct 2021 18:47:15 +0800</pubDate><description><![CDATA[目录

1. 原理

2. 参数估计

2.1 极大似然估计

2.2 算法流程

2.3 贝叶斯估计

    朴素贝叶斯时基于贝叶斯定理与特征条件独立假设的分类方法。对给定的训练集，首先基于特征条件独立假设学习输入输出的联合概率分布；然后基于此模型对给定的输入 x 利用贝叶斯定理求出后验概率最大的输出 y。

1. 原理

    假定输入空间是 n 维的向量集合，输出空间为类标记集合。X 是定义在输入空间上的随机向量，Y 是定义在输出空间上的随机变量。P(X, Y) 是 X 和 Y...]]></description><category></category></item><item><title><![CDATA[k 近邻算法笔记]]></title><link>https://blog.youkuaiyun.com/DaMeng999/article/details/121015980</link><guid>https://blog.youkuaiyun.com/DaMeng999/article/details/121015980</guid><author>DaMeng999</author><pubDate>Thu, 28 Oct 2021 16:53:18 +0800</pubDate><description><![CDATA[目录

1. 概述

2. 模型

2.1 距离度量

2.2 k 值选择

2.3 分类决策规则

3. kd 树

3.1 构造 kd 树

3.2 搜索 kd 树

    k 近邻算法是一种基本分类与回归方法。算法的输入为实例的特征向量，即特征空间的点；输出是实例的类别，可以取多类。分类时，对新的实例，根据其 k 个最近邻的训练实例的类别，通过多数表决等方式预测，可以看出 k 近邻算法不具有显示的学习过程。k 值的选择，距离度量及分类决策规则是 k 近的三个基本要素。

1. 概述

输入：...]]></description><category></category></item><item><title><![CDATA[感知机笔记]]></title><link>https://blog.youkuaiyun.com/DaMeng999/article/details/121006720</link><guid>https://blog.youkuaiyun.com/DaMeng999/article/details/121006720</guid><author>DaMeng999</author><pubDate>Thu, 28 Oct 2021 10:35:37 +0800</pubDate><description><![CDATA[感知机是二分类的线性分类模型，属于判别模型。感知机学习目的是求出一个可以将训练数据集线性划分的超平面。其优势在于简单且易于实现；感知机可以分为原始形式和对偶形式，是神经网络与支持向量机的基础。

1. 模型

1.1 定义

    感知机的定义如下：假设输入空间是，输出空间是，x 表示输入空间 X 的实例 ，由输入空间到输出空间的如下函数：



称为感知机，叫做权值或权值向量，叫做偏置，表示权值向量和实例向量的一个内积，sign 是符号函数。

感知...]]></description><category></category></item><item><title><![CDATA[模型评估与选择]]></title><link>https://blog.youkuaiyun.com/DaMeng999/article/details/120985275</link><guid>https://blog.youkuaiyun.com/DaMeng999/article/details/120985275</guid><author>DaMeng999</author><pubDate>Wed, 27 Oct 2021 14:42:39 +0800</pubDate><description><![CDATA[通常把分类错误的样本数占样本总数的比例称为错误率，精度=1-错误率。更一般的，把学习器在训练集上的误差称为训练误差或经验误差，在新样本上的误差称为泛化误差。我们希望得到的是一个泛化误差小的学习器。学习器学习能力过强会导致泛化性能下降，这就是过拟合；反之，如果学习器不足以很好的学习训练样本就会导致欠拟合。过拟合是无法避免的，只能缓解。

1. 评估方法

    通常可以通过测试来对学习器的泛化误差进行评估，因此需要测试集，并将其作为训练模型的输入，得到的测试误差来作为泛化误差的近似。...]]></description><category></category></item><item><title><![CDATA[ID3 和 C4.5 算法]]></title><link>https://blog.youkuaiyun.com/DaMeng999/article/details/120975089</link><guid>https://blog.youkuaiyun.com/DaMeng999/article/details/120975089</guid><author>DaMeng999</author><pubDate>Tue, 26 Oct 2021 16:38:21 +0800</pubDate><description><![CDATA[1. ID3 算法

1.1 算法流程

输入：训练数据集 D，特征集 A ， 阈值 d

输出：决策树 T

如果 D 中所有实例都属于同一类，则 T 为单节点树，并将类别设置为该类，返回 T
	如果 A 为空集，则 T 为单结点树，并将 D 中实例数量最多的类设置为该结点的类别，返回 T
	计算所有特征的信息增益，选择最大的特征 a
	如果 a 的信息增益小于阈值 d，则设置 T 为单节点树，并将 D 中实例数量最多的类设置为该结点得类别并返回 T
	对 a 的每一个可能值分割数据集 D 得到子集...]]></description><category></category></item><item><title><![CDATA[OC1 算法]]></title><link>https://blog.youkuaiyun.com/DaMeng999/article/details/120911704</link><guid>https://blog.youkuaiyun.com/DaMeng999/article/details/120911704</guid><author>DaMeng999</author><pubDate>Fri, 22 Oct 2021 20:20:31 +0800</pubDate><description><![CDATA[1. 算法流程

    OC1 算法大部分情况下使用确定性爬山来确保计算精度，还使用了两种随机化来避免陷入局部最小值，通过限制随机选择超平面的数量减少运行时间。

2. 扰动算法

    OC1 算法对超平面的方向没有限制，然而，为了接近标准的决策树算法，超平面首先被设置为该结点上效果最好的轴平行平面（即单变量决策树做出的平面）。OC1 算法只有在斜平面优于单变量平面的情况下才进行。

    通过扰动现在的超平面使它偏移来寻找可能的超平面，由于超平面的存在数量是指数级，无法简...]]></description><category></category></item><item><title><![CDATA[决策树学习笔记]]></title><link>https://blog.youkuaiyun.com/DaMeng999/article/details/120873425</link><guid>https://blog.youkuaiyun.com/DaMeng999/article/details/120873425</guid><author>DaMeng999</author><pubDate>Thu, 21 Oct 2021 08:29:33 +0800</pubDate><description><![CDATA[一、基本流程

    一般的，一棵决策树包含一个根结点，若干个内部结点和若干个叶结点；在叶结点给出决策结果，其它结点则对应于一个属性测试；每个结点包含的样本集合根据属性测试的结果被划分到子结点之中。从根节点到每个叶结点的路径都对应一个判定的序列。决策树的基本流程遵循简单且直观的“分而治之”策略。

输入：

   训练集：

   属性集：


函数 TreeGenerate(D, A)

从 A 中选择最优划分属性 ai;
for ai 的每一个值 aij do
    为结...]]></description><category></category></item><item><title><![CDATA[python 标准库 json 应用]]></title><link>https://blog.youkuaiyun.com/DaMeng999/article/details/120759231</link><guid>https://blog.youkuaiyun.com/DaMeng999/article/details/120759231</guid><author>DaMeng999</author><pubDate>Thu, 14 Oct 2021 10:55:59 +0800</pubDate><description><![CDATA[在做一个前端项目中需要中国行政区划分的 json 文件，在网上找到一个新版的 json 文件内容大致如下：



    需要将每个省市区的 value 字值设置为 label 的值。整体过程如下：

1. json导入


import json

with open('pca-code.json', 'r', encoding='utf-8') as fp:
    data = json.load(fp)

导入后的输出查看 data 是一个列表，分析列表中每个元素的结构：
...]]></description><category></category></item><item><title><![CDATA[机器学习实战笔记——第十三章]]></title><link>https://blog.youkuaiyun.com/DaMeng999/article/details/120736405</link><guid>https://blog.youkuaiyun.com/DaMeng999/article/details/120736405</guid><author>DaMeng999</author><pubDate>Thu, 14 Oct 2021 09:37:55 +0800</pubDate><description><![CDATA[一、数据 API

    使用tf.data.Dataset.from_tensor_slices 创建一个数据集：


dataset = tf.data.Dataset.from_tensor_slices(tf.range(10))

print(dataset, tf.range(10))
for item in dataset:
    print(item)

    结果如下：



from_tensor_slices

    该函数创建一个给定张量的切片（沿第...]]></description><category></category></item><item><title><![CDATA[机器学习实战笔记——第十一章]]></title><link>https://blog.youkuaiyun.com/DaMeng999/article/details/120682529</link><guid>https://blog.youkuaiyun.com/DaMeng999/article/details/120682529</guid><author>DaMeng999</author><pubDate>Sun, 10 Oct 2021 11:17:54 +0800</pubDate><description><![CDATA[在实际模型训练中，可能遇到以下问题：

梯度消失：随着算法向下传播到较低层，梯度通常会越来越小，低层的连接权重几乎不变导致模型的无法收敛到一个很好的解
	梯度爆炸：某些情况下（可能出现在递归神经网络中）梯度会越来越大，各层会产生较大的更新权重，直到算法发散
	没有足够的训练数据
	训练缓慢
	参数过大造成过拟合
一、梯度消失与梯度爆炸

1.1 Glorot 和 He 初始化

    针对梯度不稳定问题，Glorot 提出希望信号流动过程既不消失也不饱和，使得每层的输出方差等于其输...]]></description><category></category></item><item><title><![CDATA[机器学习实战笔记——第十章]]></title><link>https://blog.youkuaiyun.com/DaMeng999/article/details/120654983</link><guid>https://blog.youkuaiyun.com/DaMeng999/article/details/120654983</guid><author>DaMeng999</author><pubDate>Fri, 08 Oct 2021 20:51:54 +0800</pubDate><description><![CDATA[一、神经网络基础

1.1 反向传播训练算法

    使用有效技术自动计算梯度下降，针对每个模型参数计算网络误差的梯度，大致流程如下：

一次处理一个小批量并多次遍历整个训练集，每次遍历称为一个轮次
	每个轮次中，将小批量传入输入层，后将其传入隐藏层，并将隐藏层的输出传入下一个隐藏层直到输出，保留中间结果 （前向通路）
	使用一种损失函数来测量网络误差
	应用链式法则，计算每个输出连接对错误的贡献程度
	再次使用链式法则测量下面层的误差贡献直到输入层，即向后传播误差梯度 （后向）
	执行梯度下降
...]]></description><category></category></item></channel></rss>