Despicable_Me的博客

lightGBM的介绍

Despicable_Me — Sat, 10 Jun 2023 18:35:41 +0800

AdaBoost（Adaptive Boosting）是一种集成学习算法，通过组合多个弱分类器来构建一个强分类器。它是由Freund和Schapire在1996年提出的，是集成学习中最早被广泛应用的算法之一。如何改变训练数据的权重或概率分布提高前一轮被弱分类器错误分类的样本的权重，降低前一轮被分对的权重。如何将弱分类器组合成一个强分类器，亦即，每个分类器，前面的权重如何设置采取“多数表决”的方法。

XGBoost的介绍

Despicable_Me — Thu, 08 Jun 2023 00:23:53 +0800

XGBoost（eXtreme Gradient Boosting）是一种基于梯度提升树的机器学习算法，它在解决分类和回归问题上表现出色。它是由陈天奇在2014年开发的，如今已成为机器学习领域中最流行和强大的算法之一。XGBoost结合了梯度提升框架和决策树模型，通过迭代地训练一系列的决策树来逐步改进预测性能。它的目标是优化损失函数，使得预测值与实际值之间的误差最小化。

EM算法和HMM模型的介绍

Despicable_Me — Wed, 07 Jun 2023 01:51:03 +0800

EM算法（Expectation-Maximization algorithm）是一种迭代算法，用于求解含有隐变量（latent variable）的概率模型参数估计问题。它是一个基础算法，是很多机器学习领域算法的基础，比如隐式马尔科夫算法（HMM）等等。它被广泛应用于统计学和机器学习中，特别是在无监督学习中，如聚类、混合高斯模型等问题。EM算法的目标是通过迭代优化的方式，最大化观测数据的似然函数（或最大化似然函数的对数），从而估计模型的参数。在这个过程中，存在隐变量，即一些无法直接观测到的变量。

SVM算法的介绍

Despicable_Me — Sat, 03 Jun 2023 00:41:20 +0800

SVM（Support Vector Machine）是一种常见的监督学习算法，用于进行二分类或多分类任务。它的主要思想是找到一个最优的超平面，将不同类别的样本分隔开。超平面最大间隔介绍：上左图显示了三种可能的线性分类器的决策边界：虚线所代表的模型表现非常糟糕，甚至都无法正确实现分类。其余两个模型在这个训练集上表现堪称完美。但是它们的决策边界与实例过于接近，导致在面对新实例时，表现可能不会太好。右图中的实线代表SM分类器的决策边界，不仅分离了两个类别，且尽可能远离最近的训练实例。

朴素贝叶斯算法的介绍

Despicable_Me — Thu, 01 Jun 2023 21:39:16 +0800

朴素贝叶斯算法（Naive Bayes Algorithm）是一种基于贝叶斯定理和特征独立性假设的概率分类算法。它被广泛应用于文本分类、垃圾邮件过滤、情感分析等任务。朴素贝叶斯算法的基本思想是基于训练数据中的特征和标签之间的概率关系，通过计算后验概率来进行分类预测。朴素贝叶斯分类算法alpha：拉普拉斯平滑系数。

聚类算法以及聚类算法模型评估的介绍

Despicable_Me — Sun, 28 May 2023 18:39:00 +0800

聚类算法是一类无监督学习算法，用于将数据集中的对象分组（或聚类）成具有相似性的集合。聚类算法不依赖于预定义的类别标签，而是根据数据的内在特点将相似的数据点聚集在一起。聚类算法的目标是通过最大化组内的相似性和最小化组间的差异来实现聚类。聚类算法可以帮助我们发现数据中的潜在结构、识别相似的数据点、进行数据压缩和预处理等。

Boosting以及代表算法(Adaboost、GBDT)介绍

Despicable_Me — Sat, 27 May 2023 23:53:31 +0800

Boosting（提升）是一种集成学习方法，通过组合多个弱学习器来构建一个强学习器。与Bagging不同，Boosting采用了序列化的方式构建模型，每个弱学习器都是在前一个弱学习器的基础上进行训练，通过逐步调整样本的权重或难易程度来提高模型的预测性能。简而言之：没新加入一个弱学习器，整体能力就会得到提升代表算法有：Adaboost，GBDT，XGBoost，LightGBM初始化样本权重：对于包含N个样本的训练集，初始时将每个样本的权重设置为1/N。

集成学习以及随机森林介绍

Despicable_Me — Sat, 27 May 2023 18:22:46 +0800

集成学习（Ensemble Learning）是一种机器学习方法，通过将多个弱学习器（weak learner）组合在一起来构建一个更强大的学习器（strong learner）。在集成学习中，弱学习器通常是指在某种程度上性能较低的学习算法或模型，例如决策树的深度较浅、学习速度较快的版本。而强学习器则是指整个集成模型的性能更好、更具泛化能力的学习器。集成学习的核心思想是通过组合多个弱学习器的预测结果来获得更准确、稳定的预测结果。

回归决策树的介绍

Despicable_Me — Sat, 27 May 2023 16:01:13 +0800

回归决策树（Regression Decision Tree）是一种决策树算法，用于解决回归问题。与传统的分类决策树不同，回归决策树的目标是预测连续数值型的输出，而不是离散的类别标签。数据集准备：首先，需要准备训练数据集，包括输入特征和对应的输出值。每个样本都有一组特征值和一个连续数值型的输出。特征选择：选择最佳的特征来划分数据集。常用的划分准则包括平方误差（Mean Squared Error, MSE）和平均绝对误差（Mean Absolute Error, MAE）等。

决策树案例以及决策树可视化

Despicable_Me — Fri, 26 May 2023 23:56:05 +0800

1912年4月15日，在她的处女航中，泰坦尼克号在与冰山相撞后沉没，在2224名乘客和机组人员中造成1502人死亡。在这个案例中，我们要求完成对哪些人可能存活的分析。特别是，我们要求运用机器学习工具来预测哪些乘客幸免于悲剧。我们提取到的数据集中的特征包括票的类别，是否存活，乘坐班次，年龄，登录home.dest，房间，船和性别等。sklearn.tree.export_graphviz()：该函数能够导出DOT文件。打开命令提示符，cd进入到存放.dot文件的路径。dot文件的内容如下。

决策树及决策树的划分依据（ID3、C4.5、CART）

Despicable_Me — Wed, 24 May 2023 19:04:48 +0800

然而，信息增益偏向于选择具有较多取值的特征，因此，在实际应用中，可以使用信息增益比等指标来对信息增益进行修正，以避免对具有较多取值的特征的过度偏好。在上面的介绍中，我们有意忽略了“编号”这一列，若把“编号”也作为一个候选划分属性，则根据信息增益公式可计算出它的信息增益率为0.9182，远大于其他候选划分属性。如果一个分割点可以将当前的所有节点分为两类，使得每一类都很“纯”，也就是同一类的记录较多，那么就是一个好分割点（简单来说，就是分割点的左右子树最好是叶子节点）：以某特征划分数据集前后的熵的差值。

逻辑回归及逻辑回归的评估指标

Despicable_Me — Mon, 22 May 2023 21:36:21 +0800

逻辑回归(Logistic Regression)是机器学习中的一种分类模型，逻辑回归是一种分类算法，虽然名字中带有回归，但是它与回归之间有一定的联系。由于算法的简单和高效，在实际中应用非常广泛。

线性回归、正规方程和梯度下降法

Despicable_Me — Sun, 21 May 2023 21:21:07 +0800

线性回归是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。特点：只有一个自变量的情况称为单变量回归，多余一个自变量情况的叫做多元回归yβ0β1x1β2x2βpxpεyβ0β1x1β2x2...βpxpε。

归一化与标准化

Despicable_Me — Thu, 18 May 2023 18:39:57 +0800

特征预处理是指在应用机器学习算法之前对原始特征进行转换或处理的过程。它旨在改善数据的表示方式，使得特征更适合用于机器学习模型的训练和预测。将特征的值进行缩放，使得它们具有相似的数值范围。常见的特征缩放方法包括标准化（Standardization）和归一化标准化通过减去均值并除以标准差，使得特征具有均值为0、标准差为1的分布；归一化将特征缩放到一个特定的范围，例如[0, 1]。将一些非数值型的特征转换为数值型特征，以便机器学习算法能够处理。

什么是KD树？

Despicable_Me — Thu, 18 May 2023 12:34:18 +0800

KD树（K-Dimensional Tree）是一种用于高效处理多维数据的数据结构。它是二叉搜索树的一种变体，在每个节点上对数据进行分割，从而构建一个多维空间的层次结构。因为KD树是基于二叉搜索树的特性构建的，所以它保留了二叉搜索树的一些性质，例如在插入和搜索操作中的平均时间复杂度为O(log n)。但与传统的二叉搜索树不同的是，KD树的节点划分是基于多维空间的划分，而不仅仅是单个维度上的划分KD树主要用于解决最近邻搜索（Nearest Neighbor Search）等问题。

什么是K-近邻算法？

Despicable_Me — Tue, 16 May 2023 23:49:49 +0800

K近邻算法（K-Nearest Neighbors，简称KNN）是一种基本的分类和回归算法。它的基本原理是通过测量样本之间的距离来对未知样本进行分类或预测。KNN算法被归类为一种“懒惰学习”（lazy learning）算法，因为它没有显式地从训练数据中学习模型，而是在需要进行分类或预测时才对训练数据进行计算。

机器学习概述

Despicable_Me — Sat, 15 Apr 2023 22:48:31 +0800

机器学习是一种人工智能技术，通过对数据的学习和分析，让计算机系统自动提高其性能。简而言之，机器学习是一种从数据中学习规律和模式的方法，通过数据来预测、分类或者决策。

人工智能概述

Despicable_Me — Wed, 12 Apr 2023 17:49:21 +0800

在安川电机、Fanuc、ABB、库卡等公司的努力下，我们认为进入21世纪之后，机器人领域就已经进入了社会影响阶段，此时各种工业机器人已经主宰了装配生产线。随着大数据、云计算、互联网、物联网等信息技术的发展，泛在感知数据和图形处理器等计算平台推动以深度神经网络为代表的人工智能技术飞速发展，大幅跨越了科学与应用之间的“技术鸿沟”，诸如图像分类、语音识别、知识问答、人机对弈、无人驾驶等人工智能技术实现了从“不能用、不好用“到”可以用”的技术突破，迎来爆发式增长的新高潮。】可能会妨碍机器人领域的发展。

约瑟夫问题（单向循环链表经典例题）

Despicable_Me — Thu, 05 Mar 2020 19:47:39 +0800

1. 约瑟夫问题的简介及实现思路 Josephu（约瑟夫、约瑟夫环）问题：设编号1，2，…，n 的 n 个人围坐一圈，约定编号为 k (1 <= k <= n)的人从 1 开始报数，数到 m 的那个人又出列，依次类推，直到所有人出列为止，由此产生一个出队编号的序列。大致实现思路：将所有人添加到循环链表中然后由k结点起从1开始计数，计到 m 时，对应结点从链表中删除，然...

Java数据结构-链表（单链表、双链表、单向循环链表）

Despicable_Me — Thu, 05 Mar 2020 16:19:15 +0800

1. 什么是链表？链表的定义：链表是一种常见的基础数据结构，是一种线性表，但是并不会按线性的顺序存储数据，而是在每一个节点里存到下一个节点的指针链表的特点：使用链表结构可以克服数组链表需要预先知道数据大小的缺点链表结构可以充分利用计算机内存空间，实现灵活的内存动态管理链表失去了数组随机读取的优点，同时链表由于增加了结点的指针域，空间开销比较大 2. 链表的分...