<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[sinat_41928169的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/sinat_41928169</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; sinat_41928169]]></copyright><item><title><![CDATA[python批量合并excel文件]]></title><link>https://blog.youkuaiyun.com/sinat_41928169/article/details/143481497</link><guid>https://blog.youkuaiyun.com/sinat_41928169/article/details/143481497</guid><author>sinat_41928169</author><pubDate>Tue, 05 Nov 2024 12:22:07 +0800</pubDate><description><![CDATA[当工作中发现有多个excel表需要进行相同的操作或者需要汇总在一起，一个一个处理太费时间，以下的python代码能够帮你解决这个问题~]]></description><category></category></item><item><title><![CDATA[json与python中字典的互相转化]]></title><link>https://blog.youkuaiyun.com/sinat_41928169/article/details/143119440</link><guid>https://blog.youkuaiyun.com/sinat_41928169/article/details/143119440</guid><author>sinat_41928169</author><pubDate>Mon, 28 Oct 2024 12:14:10 +0800</pubDate><description><![CDATA[JSON （JavaScript Object Notation） ，是一种轻量级的数据交换格式。它的使用范围很广，并成为 ECMA 标准，可以被使用在多种编程语言中，用于前后端之间的数据传输、存储和交换数据。可以说是“用更少的编码，有更快的处理速度”，所以深受广大程序员的喜爱。JSON 格式的数据是由键值对组成的，其中键值对之间使用逗号分隔。在 JSON 中，键和值都必须使用双引号引起来。]]></description><category></category></item><item><title><![CDATA[python中dataframe转化为list的几种方法]]></title><link>https://blog.youkuaiyun.com/sinat_41928169/article/details/143100051</link><guid>https://blog.youkuaiyun.com/sinat_41928169/article/details/143100051</guid><author>sinat_41928169</author><pubDate>Sun, 20 Oct 2024 22:29:22 +0800</pubDate><description><![CDATA[【代码】python中dataframe转化为list的几种方法。]]></description><category></category></item><item><title><![CDATA[机器学习算法之KNN]]></title><link>https://blog.youkuaiyun.com/sinat_41928169/article/details/124738481</link><guid>https://blog.youkuaiyun.com/sinat_41928169/article/details/124738481</guid><author>sinat_41928169</author><pubDate>Fri, 27 May 2022 09:51:33 +0800</pubDate><description><![CDATA[1、K 最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是 最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的 k 个最相似(即 特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。

2、KNN 方法虽然从原理上也依赖于 极限定理，但在类别决策时，只与极少量的相邻样本有关。由于 KNN 方法主要靠周围有限的 邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多 的待分样本集来说，KNN 方法较]]></description><category></category></item><item><title><![CDATA[机器学习之树形算法(一)：决策树]]></title><link>https://blog.youkuaiyun.com/sinat_41928169/article/details/124719838</link><guid>https://blog.youkuaiyun.com/sinat_41928169/article/details/124719838</guid><author>sinat_41928169</author><pubDate>Thu, 26 May 2022 23:54:13 +0800</pubDate><description><![CDATA[熵/基尼系数

两种方法可以避免过拟合：剪枝和随机森林。

剪枝分为预剪枝和后剪枝。
对比预剪枝和后剪枝，能够发现，后剪枝决策树通常比预剪枝决策树保留了更多的分支，一般情形下，后剪枝决策树的欠拟合风险小，泛化性能往往也要优于预剪枝决策树。但后剪枝过程是在构建完全决策树之后进行的，并且要自底向上的对树中的所有非叶结点进行逐一考察，因此其训练时间开销要比未剪枝决策树和预剪枝决策树都大得多。

随机森林就是通过集成学习的思想将多棵决策树集成的一种算法，它的基本单元是决策树，本质是一种集成学习（Ensemble .]]></description><category></category></item><item><title><![CDATA[聚类算法之密度聚类方法]]></title><link>https://blog.youkuaiyun.com/sinat_41928169/article/details/124918574</link><guid>https://blog.youkuaiyun.com/sinat_41928169/article/details/124918574</guid><author>sinat_41928169</author><pubDate>Tue, 24 May 2022 23:25:24 +0800</pubDate><description><![CDATA[参考资料：
2.3-聚类 - sklearn中文文档

密度聚类方法

密度聚类方法的核心思想是，只要样本点的密度大 于某阈值，则将该样本添加到最近的簇中。这类算法能克服基于距离的算法只能发现“类圆形”(凸)的聚类的缺点，可发现任意形状的聚类， 且对噪声数据不敏感。但计算密度单元的计算复杂 度大，需要建立空间索引来降低计算量。

DBSCAN

DBSCAN(Density-Based Spatial Clustering of A]]></description><category></category></item><item><title><![CDATA[聚类算法之层次聚类方法]]></title><link>https://blog.youkuaiyun.com/sinat_41928169/article/details/124918334</link><guid>https://blog.youkuaiyun.com/sinat_41928169/article/details/124918334</guid><author>sinat_41928169</author><pubDate>Sun, 22 May 2022 23:08:58 +0800</pubDate><description><![CDATA[目录

AGNES算法

DIANA算法

类间距离的不同定义

层次聚类算法的优缺点

层次聚类方法对给定的数据集进行层次的分解，直到满足某种条件为止。具体又可分为：凝聚的层次聚类AGNES算法和分裂的层次聚类DIANA算法。

AGNES算法

一种自底向上的策略，首先将每个样本各自分到一个类，之后将相距最近的两类合并成一个新的类，重复此操作直到满足停止条件。

需要预先确定下面三个要素：1.距离或相似度公式；2.合并规则：类间距离最小，类间距离可以是最短距离、最长距离、中心距离、平均距离等；3.停止条]]></description><category></category></item><item><title><![CDATA[MySQL调优学习笔记(六)：分区表]]></title><link>https://blog.youkuaiyun.com/sinat_41928169/article/details/124737380</link><guid>https://blog.youkuaiyun.com/sinat_41928169/article/details/124737380</guid><author>sinat_41928169</author><pubDate>Sat, 21 May 2022 17:08:18 +0800</pubDate><description><![CDATA[简单来说，分区表就是把物理表结构相同的几张表，通过一定算法，组成一张逻辑大表。这种算法叫“分区函数”，当前 MySQL 数据库支持的分区函数类型有 RANGE、LIST、HASH、KEY、COLUMNS。

无论选择哪种分区函数，都要指定相关列成为分区算法的输入条件，这些列就叫“分区列”。另外，在 MySQL 分区表中，主键也必须是分区列的一部分，不然创建分区表时会失败

主键必须是分区列一部分，还是说分区列必须是主键一部分

分区表注意事项：唯一索引
在 MySQL 数据库中，分区表的索引都是局部，而非全]]></description><category></category></item><item><title><![CDATA[MySQL调优学习笔记(五)：子查询]]></title><link>https://blog.youkuaiyun.com/sinat_41928169/article/details/124899346</link><guid>https://blog.youkuaiyun.com/sinat_41928169/article/details/124899346</guid><author>sinat_41928169</author><pubDate>Sat, 21 May 2022 16:10:23 +0800</pubDate><description><![CDATA[参考资料：姜承尧的MySQL实战宝典

子查询性能提升

MySQL 8.0 版本中，子查询的优化得到大幅提升。优化器会自动地将子查询优化为最佳的 JOIN 执行计划，这样一来会显著的提升性能。所以放心大胆地在MySQL8.0 中使用子查询吧！

子查询 中IN 和 EXISTS，哪个性能更好？

主要看执行计划。如果两者执行计划完全一样，性能没有任何差别。

依赖子查询的优化

在 MySQL 8.0 版本之前，对于子查询的优化并不充分。所以在子查询的执行计划中会看到 DEPENDENT SUBQUERY]]></description><category></category></item><item><title><![CDATA[MySQL调优学习笔记(四)：MySQL优化器(CBO)]]></title><link>https://blog.youkuaiyun.com/sinat_41928169/article/details/124737340</link><guid>https://blog.youkuaiyun.com/sinat_41928169/article/details/124737340</guid><author>sinat_41928169</author><pubDate>Sat, 21 May 2022 15:43:48 +0800</pubDate><description><![CDATA[mysql是如何选择索引的
优化器决定了具体某一索引的选择，也就是常说的执行计划。优化器的选择是基于成本，哪个索引的成本越低，优先使用哪个索引。
如上图所示，MySQL 数据库由 Server 层和 Engine 层组成：

Server 层有 SQL 分析器、SQL优化器、SQL 执行器，用于负责 SQL 语句的具体执行过程；

Engine 层负责存储具体的数据，如最常使用的 InnoDB 存储引擎，还有用于在内存中存储临时结果集的 TempTable 引擎。

SQL 优化器会分析所有可能的执行计划，]]></description><category></category></item><item><title><![CDATA[数据预处理：分类和顺序变量转化为数值型数据]]></title><link>https://blog.youkuaiyun.com/sinat_41928169/article/details/124819126</link><guid>https://blog.youkuaiyun.com/sinat_41928169/article/details/124819126</guid><author>sinat_41928169</author><pubDate>Sat, 21 May 2022 12:17:40 +0800</pubDate><description><![CDATA[分类数据和顺序数据要参与模型计算，通常都会转化为数值型数据。当然，某些算法是允许这些数据直接参与计算的，例如决策树、关联规则等。

真值转换

要将非数值型数据转换为数值型数据的最佳方法是：将所有分类或顺序变量的值域从一列多值的形态转换为多列只包含真值的形态，其中的真值可通过True、False或0、1的方式来表示。这种标志转换的方法有时候也称为真值转换。

代码如下：


import pandas as pd  # 导入pandas库
from sklearn.preprocessing import ]]></description><category></category></item><item><title><![CDATA[数据预处理：数据降维]]></title><link>https://blog.youkuaiyun.com/sinat_41928169/article/details/124819256</link><guid>https://blog.youkuaiyun.com/sinat_41928169/article/details/124819256</guid><author>sinat_41928169</author><pubDate>Thu, 19 May 2022 10:23:10 +0800</pubDate><description><![CDATA[目录

数据降维的应用场景

基于特征选择的降维

基于维度转换的降维

参考资料：

1.《Python数据分析与数据化运营》宋天龙

2.主成分分析（PCA）原理详解 - 知乎

3.机器学习中SVD总结

数据降维的应用场景

数据降维可以降低模型的计算量并减少模型运行时间、降低噪音对于模型结果的影响、便于通过可视化方式展示归约后的维度信息并减少数据存储空间。因此，大多数情况下，当我们面临高维数据时，都需要对数据做降维处理。是否进行降维主要考虑以下方面：

维度数量。高维的数据大部分情况下是需要降维的]]></description><category></category></item><item><title><![CDATA[数据预处理：数据离散化]]></title><link>https://blog.youkuaiyun.com/sinat_41928169/article/details/124825511</link><guid>https://blog.youkuaiyun.com/sinat_41928169/article/details/124825511</guid><author>sinat_41928169</author><pubDate>Thu, 19 May 2022 08:34:06 +0800</pubDate><description><![CDATA[目录

数据离散化的应用场景和必要性

针对时间数据的离散化

针对多值离散数据的离散化

针对连续数据的离散化

针对连续数据的二值化

参考资料：《Python数据分析与数据化运营》宋天龙

数据离散化的应用场景和必要性

数据离散化大多是针对连续数据进行的，处理之后的数据将从连续属性变为离散属性。离散化处理的必要性：

节约计算资源，提高计算效率。
	算法模型（尤其是分类模型）的计算需要。虽然很多模型，例如决策树可以支持输入连续型数据，但是决策树本身会先将连续型数据转化为离散型数据，因此离散化转换是一]]></description><category></category></item><item><title><![CDATA[数据预处理：数据标准化]]></title><link>https://blog.youkuaiyun.com/sinat_41928169/article/details/124853433</link><guid>https://blog.youkuaiyun.com/sinat_41928169/article/details/124853433</guid><author>sinat_41928169</author><pubDate>Wed, 18 May 2022 23:48:56 +0800</pubDate><description><![CDATA[目录



实现中心化和正态分布的Z-Score

实现归一化的Max-Min

用于稀疏数据的MaxAbs

针对离群点的RobustScaler



参考资料：《Python数据分析与数据化运营》宋天龙

数据标准化是一个常用的数据预处理操作，目的是将不同规模和量纲的数据经过处理，缩放到相同的数据区间，以减少规模、单位、分布差异等对模型的影响。除了应用在模型中，标准化后的数据还具有直接计算并生成复合指标的意义，是加权指标的必要步骤。

实现中心化和正态分布的Z-Score

Z-Score标准化是..]]></description><category></category></item><item><title><![CDATA[距离函数汇总]]></title><link>https://blog.youkuaiyun.com/sinat_41928169/article/details/124086449</link><guid>https://blog.youkuaiyun.com/sinat_41928169/article/details/124086449</guid><author>sinat_41928169</author><pubDate>Sat, 14 May 2022 11:32:22 +0800</pubDate><description><![CDATA[2.1 闵科夫斯基距离（Minkowski distance）

2.2 曼哈顿距离(Manhattan distance)
当时，闵科夫斯基距离即曼哈顿距离(Manhattan distance)

2.3 欧式距离（Euclidean distance）
时，闵科夫斯基距离即欧式距离（Euclidean distance）

2.4 切比雪夫距离(Chebyshev Distance)
时，闵科夫斯基距离即切比雪夫距离(Chebyshev Distance)


闵可夫斯基距离，曼哈顿距离，欧式...]]></description><category></category></item><item><title><![CDATA[MySQL调优学习笔记(二)：索引组织表]]></title><link>https://blog.youkuaiyun.com/sinat_41928169/article/details/124721306</link><guid>https://blog.youkuaiyun.com/sinat_41928169/article/details/124721306</guid><author>sinat_41928169</author><pubDate>Thu, 12 May 2022 15:36:34 +0800</pubDate><description><![CDATA[参考资料：姜承尧的MySQL实战宝典

InnoDB 存储引擎是 MySQL 数据库中使用最为广泛的引擎，在海量大并发的 OLTP 业务中，InnoDB 必选。它在数据存储方面有一个非常大的特点：索引组织表（Index Organized Table）。

索引组织表
数据存储有堆表和索引组织表两种方式。

堆表中的数据无序存放， 数据的排序完全依赖于索引（Oracle、Microsoft SQL Server、PostgreSQL 早期默认支持的数据存储都是堆表结构）。
在堆表的组织结构中，数据和索引分开]]></description><category></category></item><item><title><![CDATA[MySQL调优学习笔记(三)：组合索引和函数索引]]></title><link>https://blog.youkuaiyun.com/sinat_41928169/article/details/124721376</link><guid>https://blog.youkuaiyun.com/sinat_41928169/article/details/124721376</guid><author>sinat_41928169</author><pubDate>Thu, 12 May 2022 11:24:03 +0800</pubDate><description><![CDATA[目录

什么是组合索引

组合索引的优势

什么是函数索引

函数索引的优势

总结

参考资料：姜承尧的MySQL实战宝典

什么是组合索引

组合索引是指由多个列所组合而成的B+树索引，组合索引既可以是主键索引，也可以是二级索引。
组合索引(a,b)和组合索引(b,a)排序结果是完全不一样的。对组合索引(a,b)来说，它可以对以下几个查询进行优化。


SELECT * FROM table_name WHERE a = ?

SELECT * FROM table_name WHERE a = ? A]]></description><category></category></item><item><title><![CDATA[MySQL调优学习笔记(一)：索引排序]]></title><link>https://blog.youkuaiyun.com/sinat_41928169/article/details/124720686</link><guid>https://blog.youkuaiyun.com/sinat_41928169/article/details/124720686</guid><author>sinat_41928169</author><pubDate>Thu, 12 May 2022 10:02:22 +0800</pubDate><description><![CDATA[参考资料：姜承尧的MySQL实战宝典

索引是什么

索引是提升查询速度的一种数据结构。索引之所以能提升查询速度，是因为它在插入时对数据进行了排序。显而易见，它的缺点是影响插入的性能。

在目前的 MySQL 8.0 版本中，InnoDB 存储引擎支持的索引包含 B+ 树索引、全文索引、R 树索引。全文索引用于多个维度的查询，类似搜索引擎的查询，输入多个条件，然后输出结果；
R树索引用于地理空间查询；B+树索引是数据库系统中最为常见的一种索引数据结构。

B+树索引结构

B+树索引是目前为止排序最有效率的]]></description><category></category></item><item><title><![CDATA[解决分类中样本分布不平衡问题]]></title><link>https://blog.youkuaiyun.com/sinat_41928169/article/details/124343036</link><guid>https://blog.youkuaiyun.com/sinat_41928169/article/details/124343036</guid><author>sinat_41928169</author><pubDate>Tue, 10 May 2022 22:04:11 +0800</pubDate><description><![CDATA[3.4 解决样本类别分布不均衡的问题 - 知乎

所谓的不平衡指的是不同类别的样本量异非常大。样本类别分布不平衡主要出现在分类相关的建模问题上。样本类别分布不均衡从数据规模上可以分为大数据分布不均衡和小数据分布不均衡两种。

大数据分布不均衡。这种情况下整体数据规模大，只是其中的少样本类的占比较少。但是从每个特征的分布来看，小样本也覆盖了大部分或全部的特征。例如拥有1000万条记录的数据集中，其中占比50万条的少数分类样本便于属于这种情况。
	小数据分布不均衡。这种情况下整体数据规模小，并且占据少量样本比例]]></description><category></category></item><item><title><![CDATA[数据清洗：缺失值识别和处理方法]]></title><link>https://blog.youkuaiyun.com/sinat_41928169/article/details/124417344</link><guid>https://blog.youkuaiyun.com/sinat_41928169/article/details/124417344</guid><author>sinat_41928169</author><pubDate>Sun, 08 May 2022 19:08:08 +0800</pubDate><description><![CDATA[说明：在数据建模前的特征选择阶段，假如我们通过一定方法确定带有缺失值的字段对于模型的影响非常小，那么我们根本就不需要对缺失值进行处理。数据缺失也是数据分布规律的一部分，将变量的实际值和缺失值都作为输入维度参与后续数据处理和模型计算中，然而缺失值通常无法参与直接运算，因此需要将缺失值进行真值转换。在数据预处理阶段，对于具有缺失值的数据记录不作任何处理，也是一种思路。相对丢弃而言，补全是更加常用的缺失值处理方式，通过一定的方法将缺失的数据补上，从而形成完整的数据记录，对于后续的数据处理、分析和建模至关重要。]]></description><category></category></item></channel></rss>