lys_828的博客

手动反爬虫：原博地址 https://blog.youkuaiyun.com/lys_828/article/details/123585838 知识梳理不易，请尊重劳动成果，文章仅发布在优快云网站上，在其他网站看到该博文均属于未经作者授权的恶意爬取信息问题之前在利用Excel进行三维地图绘制的时候，一切顺利，很久一段时间没有使用了。今天再使用这和功能发现提示如下的警告。解决方式其实解决起来也很简单：就是把当前电脑的区域设置调整一下即可。步骤如下。在开始菜单输入“区域”，进行搜索，如下然后进入到区

聚类算法详解前言一、K-MEANS算法1.基本流程2.优缺点二、DBSCAN算法总结前言前面已经介绍了决策树模型和集成学习模型等内容，无论使用它两用来做回归还是分类任务都是有一个预定对比的y值（也就是标签），如果数据中没有这个标签了，只是一群离散的值，该怎么处理呢？这就涉及到本次梳理的内容了，也就是聚类问题（属于无监督，没有预定对比的条件了），最终目的要是把相似的东西分到一组，主要的难点在于如何对创建的模型进行评估和参数调整，因为没有y了，之前的那些评估的方法也自然就不适用了，本次梳理将详细地介绍相关的

PCA主成分项目实战：MNIST手写数据集分类PCA处理手写数字集1 模块加载与数据导入2 模型创建与应用手动反爬虫：原博地址 https://blog.youkuaiyun.com/lys_828/article/details/122651759 知识梳理不易，请尊重劳动成果，文章仅发布在优快云网站上，在其他网站看到该博文均属于未经作者授权的恶意爬取信息什么是PCA在多元统计分析中，主成分分析（Principal components analysis，PCA）是一种统计分析、简化数据集的方法。它利用正

集成算法详解前言一、随机森林算法原理二、随机森林的优势与特征重要性指标1.随机森林的优势2.特征重要性指标三、提升算法概述四、堆叠模型简述五、硬投票和软投票1.概念介绍2.硬投票代码实现3.软投票代码实现六、Bagging策略效果七、决策边界可视化展示八、OOB袋外数据的作用九、特征重要性可视化展示十、AdaBoost算法决策边界展示十一、Gradient Boosting梯度提升算法十二、集成参数对比分析十三、提前停止策略总结前言前一篇博客对决策树算法进行了详解，属于建立模型的基础，如果想要机器学习的

支持向量机实战项目：水果分类器优化利用支持向量机水果分类的完善手动反爬虫：原博地址 https://blog.youkuaiyun.com/lys_828/article/details/122648245 知识梳理不易，请尊重劳动成果，文章仅发布在优快云网站上，在其他网站看到该博文均属于未经作者授权的恶意爬取信息传统分类算法大部分是二值分类算法：系统随机产生一个超平面并移动它，直到训练集中属于不同类别的样本点正好位于该超平面的两侧。显然，这种机理能够解决线性分类问题，但不能够保证产生的超平面是最优的。支持

KNN算法实战项目三：金融贷款策略分类3 金融贷款策略中的KNN分类3.1 模块导入与数据加载3.2 数据EDA3.2.1 数据预处理3.2.2 数据可视化3.2.3 特征工程3.3 模型创建与应用3.4 模型对比手动反爬虫：原博地址 https://blog.youkuaiyun.com/lys_828/article/details/122630788 知识梳理不易，请尊重劳动成果，文章仅发布在优快云网站上，在其他网站看到该博文均属于未经作者授权的恶意爬取信息3 金融贷款策略中的KNN分类3.1 模块导

KNN算法实战项目二：水果分类2 KNN实现水果分类2.1 模块导入与数据加载2.2 数据EDA2.3 模型创建与应用2.4 绘制决策边界手动反爬虫：原博地址 https://blog.youkuaiyun.com/lys_828/article/details/122615360 知识梳理不易，请尊重劳动成果，文章仅发布在优快云网站上，在其他网站看到该博文均属于未经作者授权的恶意爬取信息2 KNN实现水果分类第一个实战项目中的分类效果很明显， 使用KNN算法的分类结果也不错，第二个例子中的数据分类效果就比

KNN算法实战项目一：婚恋对象分类1 婚恋平台数据集KNN分析1.1 模块导入与数据加载1.2 数据EDA1.3 数据预处理1.4 模型创建与应用1.5 绘制决策边界手动反爬虫：原博地址 https://blog.youkuaiyun.com/lys_828/article/details/122588889 知识梳理不易，请尊重劳动成果，文章仅发布在优快云网站上，在其他网站看到该博文均属于未经作者授权的恶意爬取信息KNN建模思想已知样本集中每一数据与所属分类的对应关系，输入没有标签的新数据后，将新数据的每

贝叶斯分类三大实战项目：高斯模型进行疾病诊断、多项式模型进行文本分类、伯努利模型进行好/差评判别1 贝叶斯高斯模型1.1 模块导入以及数据加载1.2 划分数据1.3 模型创建与评估2 贝叶斯多项式模型2.1 模块导入与数据加载2.2 文本数据处理2.2.1 模块与压缩包安装2.2.2 文本分词2.2.3 去停用词2.2.4 去标点符号2.2.5 文本处理过程封装2.3 文本词频2.3.1 词向量编码2.3.2 词向量转化2.4 案例应用2.4.1 文本字段编码化2.4.2 编码转换2.4.3 TF-IDF模

利用决策树进行泰坦尼克号事故人员存活分类预测3 利用决策树进行泰坦尼克号事故人员存活分类预测3.1 导入模块与加载数据3.2 特征工程3.2 划分数据3.3 模型创建与应用3.4 模型可视化3.5 参数自动搜索手动反爬虫，禁止转载：原博地址 https://blog.youkuaiyun.com/lys_828/article/details/122048988（优快云博主：Be_melting） 知识梳理不易，请尊重劳动成果，文章仅发布在优快云网站上，在其他网站看到该博文均属于未经作者授权的恶意爬取信息3

利用决策树进行鸢尾花数据集分类预测2 利用决策树进行鸢尾花数据集分类预测2.1 导入模块与加载数据2.2 划分数据2.3 模型创建与应用2.4 模型可视化手动反爬虫，禁止转载：原博地址 https://blog.youkuaiyun.com/lys_828/article/details/122045161（优快云博主：Be_melting） 知识梳理不易，请尊重劳动成果，文章仅发布在优快云网站上，在其他网站看到该博文均属于未经作者授权的恶意爬取信息2 利用决策树进行鸢尾花数据集分类预测2.1 导入模块与

利用决策树进行年龄与音乐类型喜好分类预测1 利用决策树进行年龄与音乐类型喜好分类预测1.1 导入模块与加载数据1.2 划分数据1.3 模型创建与训练1.4 模型应用1.5 模型可视化1.6 数据核验手动反爬虫，禁止转载：原博地址 https://blog.youkuaiyun.com/lys_828/article/details/122041951（优快云博主：Be_melting） 知识梳理不易，请尊重劳动成果，文章仅发布在优快云网站上，在其他网站看到该博文均属于未经作者授权的恶意爬取信息1 利用决策树

逻辑回归案例二：鸢尾花数据分类，决策边界绘制逐步代码讲解1 数据加载2 数据EDA3 模型创建及应用3.1 数据切分3.2 创建模型与分类3.3 决策边界绘制3.3.1 二分类决策边界绘制3.3.2 多分类决策边界绘制3.3.3 三维决策平面的绘制手动反爬虫，禁止转载：原博地址 https://blog.youkuaiyun.com/lys_828/article/details/121929869（优快云博主：Be_melting） 知识梳理不易，请尊重劳动成果，文章仅发布在优快云网站上，在其他网站看到该博文

逻辑回归案例一：保险与年龄之间关系分析逻辑回归案例一：保险与年龄之间关系分析1 数据加载2 数据切分3 模型创建与应用4 逻辑回归和线性回归关系手动反爬虫，禁止转载：原博地址 https://blog.youkuaiyun.com/lys_828/article/details/121873835（优快云博主：Be_melting） 知识梳理不易，请尊重劳动成果，文章仅发布在优快云网站上，在其他网站看到该博文均属于未经作者授权的恶意爬取信息逻辑回归案例一：保险与年龄之间关系分析1 数据加载导入模块和加载

正则惩罚解决过拟合（Ridge回归和Lasso回归）案例五： 正则惩罚解决过拟合（Ridge回归和Lasso回归）3.2.1 模块记载与数据读入3.2.2 特征工程3.2.3 模型搭建与应用手动反爬虫，禁止转载：原博地址 https://blog.youkuaiyun.com/lys_828/article/details/121460567（优快云博主：Be_melting） 知识梳理不易，请尊重劳动成果，文章仅发布在优快云网站上，在其他网站看到该博文均属于未经作者授权的恶意爬取信息案例五： 正则惩罚解决

员工职位与薪资多项式回归模型3 多项式回归案例四：员工职位与薪资多项式回归模型3.1.1 模块加载与数据读入3.1.2 数据可视化3.1.3 模型创建与应用3.1.4 模型对比3.1.5 模型过拟合手动反爬虫，禁止转载：原博地址 https://blog.youkuaiyun.com/lys_828/article/details/121458428（优快云博主：Be_melting） 知识梳理不易，请尊重劳动成果，文章仅发布在优快云网站上，在其他网站看到该博文均属于未经作者授权的恶意爬取信息3 多项式回归

股票数据价格区间预测模型（国外+国内数据）案例三：股票数据价格区间预测模型（国外+国内数据）2.3.1 模块加载与忽略警告设置2.3.2 加载数据和数据筛选2.3.3 探索式数据分析（EDA）2.3.4 探究字段之间的关联性2.3.5 特征工程2.3.6 模型创建与应用2.3.7 模型对比2.3.8 预测结果可视化2.3.9 国内茅台股票数据集应用手动反爬虫，禁止转载：原博地址 https://blog.youkuaiyun.com/lys_828/article/details/121452962（优快云博主：B

线性回归实战案例二：车辆零售价回归模型分析步骤详解案例二：车辆零售价回归模型2.2.1 模块加载与忽略警告设置2.2.2 加载数据和表头处理2.2.3 探索式数据分析（EDA）2.2.4 探究字段之间的关联性2.2.5 特征工程2.2.6 模型创建与应用对比手动反爬虫，禁止转载：原博地址 https://blog.youkuaiyun.com/lys_828/article/details/121431534（优快云博主：Be_melting） 知识梳理不易，请尊重劳动成果，文章仅发布在优快云网站上，在其他网站

线性回归实战案例一：多元素情况下广告投放效果分析步骤详解2 线性回归2.1 案例一：多元素情况下广告投放效果分析2.1.1 模块加载与绘图布局样式设置2.1.2 加载数据和数据筛选2.1.3 探索式数据分析（EDA）2.1.4 探究字段之间的关联性2.1.5 模型创建与拟合2.1.6 数据标准化/缩放化2.1.7 模型验收2.1.8 模型对比手动反爬虫，禁止转载：原博地址 https://blog.youkuaiyun.com/lys_828/article/details/121382191（优快云博主：Be_

使用机器学习算法进行预测分析并进行网上部署9 使用机器学习算法进行预测分析9.1 数据探索式分析9.1.1 环境配置与数据读入9.1.2 探究延误航班有多少数据量9.1.3 探究出发延期到达提前的数据量9.1.4 探究延误的平均时间9.1.5 探究延误的原因9.2 特征工程9.2.1 去除空值9.2.2 时间数据处理9.3 模型创建，评估与保存9.3.1 模块导入与数据加载9.3.2 数据随机采样与标签数据处理9.3.3 数据集中字段处理9.3.4 数据集划分9.3.5 模型创建与评估9.3.6 模型保存9

这里写目录标题8 数据探索8.1 数据初探8.2 数据分组汇总8.3 利用Flask进行数据展示8.4 利用爬虫获取补充数据8.5 丰富网址主页信息8.5.1 航空公司信息的补充展示8.5.2 飞机详细信息的补充展示手动反爬虫，禁止转载：原博地址 https://blog.youkuaiyun.com/lys_828/article/details/121304149（优快云博主：Be_melting） 知识梳理不易，请尊重劳动成果，文章仅发布在优快云网站上，在其他网站看到该博文均属于未经作者授权的恶意爬取信息

数据实体提取与数据扩充7.1 获取飞机具体航班数量并保存到数据库7.2 利用Flask进行数据展示7.3 数据查找与索引添加7.4 利用爬虫获取补充数据手动反爬虫，禁止转载：原博地址 https://blog.youkuaiyun.com/lys_828/article/details/121296019（优快云博主：Be_melting） 知识梳理不易，请尊重劳动成果，文章仅发布在优快云网站上，在其他网站看到该博文均属于未经作者授权的恶意爬取信息经过上面一系列的操作，现在在我们需要进行数据分析中非常重要的

数据结果图形可视化6 数据结果图形可视化6.1 航班数据的时令特征6.2 利用Flask进行数据展示6.3 创建接口数据6.4 创建可视化图形手动反爬虫，禁止转载：原博地址 https://blog.youkuaiyun.com/lys_828/article/details/121287432（优快云博主：Be_melting） 知识梳理不易，请尊重劳动成果，文章仅发布在优快云网站上，在其他网站看到该博文均属于未经作者授权的恶意爬取信息6 数据结果图形可视化按照数据分析的金字塔，最底层的数据记录：包含收

Mongo/ES数据储存及利用Flask进行结果展示5 数据储存及结果展示5.1 将数据保存到MongoDB5.2 利用Flash进行数据结果展示5.2.1 将数据展示到指定页面5.2.2 数据筛选显示5.2.3 美化数据输出5.2.4 多数据分页显示5.2.5 制作具有查询功能的页面手动反爬虫，禁止转载：原博地址 https://blog.youkuaiyun.com/lys_828/article/details/121283758（优快云博主：Be_melting） 知识梳理不易，请尊重劳动成果，文章仅发布

Spark数据读取、处理以及保存手动反爬虫，禁止转载：原博地址 https://blog.youkuaiyun.com/lys_828/article/details/121204749（优快云博主：Be_melting） 知识梳理不易，请尊重劳动成果，文章仅发布在优快云网站上，在其他网站看到该博文均属于未经作者授权的恶意爬取信息...

Spark和Mongodb软件安装与python交互测试3.1 python处理文件3.2 搭建Spark开发环境和测试3.3 搭建Mongodb和ES数据库及测试3.3.1 Mongodb安装3.3.2 Mongodb与python代码互动3.3.3 Mongodb与Spark交互3.3.4 ES数据库安装3.4 搭建Flask网站和数据测试手动反爬虫，禁止转载：原博地址 https://blog.youkuaiyun.com/lys_828/article/details/121185626（优快云博主：Be

数据下载以及工具软件的使用1 数据从哪里来？数据怎么用？1.1 本项目中使用的数据——飞机航班数据1.2 结构化数据与非结构化数据1.3 结构表的特征提取和呈现1.4 数据分析金字塔1.5 数据下载2 大数据实战项目中工具软件的选择2.1 原始数据收集器使用的技术——Kafka2.2 原始数据存储使用到的技术——HadoopHDFS2.3 原始数据批处理使用到的技术——Spark、PySpark、SparkSQL2.4 结果数据存储使用到的技术——Mongodb ES2.5 结果数据展示用到的技术——Fla

多因素房价预测分析案例1 数据来源2 数据加载和基本的ETL2.1 模块导入和数据加载2.2 数据清洗3 数据可视化3.1 地理可视化3.2 关系矩阵和热力图3.3 添加衍生字段3.4 字符串字段的可视化4 机器学习4.1 特征工程4.2 模型选择4.2.1 线性回归模型4.2.2 随机森林模型4.2.3 梯度爆炸模型手动反爬虫，禁止转载：原博地址 https://blog.youkuaiyun.com/lys_828/article/details/121125433（优快云博主：Be_melting） 知识

泰坦尼克号生还者预测案例1 数据1.1 数据下载1.2 数据字段介绍2 数据加载和基本的ETL2.1 模块导入和数据加载2.2 数据清洗2.2.1 缺失值处理2.2.2 分类数据独热编码和数值数据分箱3 数据探索式分析3.1 生存概率3.2 性别与存活率之间的关系3.3 字段之间的关联分析3.4 性别与生存率之间的关系3.5 船舱与生存率之间的关系3.6 票价和生存率之间的关系3.7 年龄和生存率之间的关系4 机器学习模型手动反爬虫，禁止转载：原博地址 https://blog.youkuaiyun.com/lys_

第三章：Tableau绘图1 认识Tableau2 数据连接2.1 Excel CSV 和PDF数据2.1.1 连接Excel数据源2.1.2 连接文本文件数据源2.1.3 连接PDF数据源2.2 数据库连接3 维度与度量4 绘制条形图5 绘制堆叠图5.1 垂直堆叠条状图5.2 水平堆叠条状图5.3 文件保存6 绘制饼图6.1 基本图形绘制6.2 添加标签和标注6.3 标注格式设置6.4 多饼图绘制7 绘制树图7.1 基本图形绘制7.2 颜色渐变与起止范围7.3 二级分类树图8 绘制气泡图9 绘制词云图1

短租房数据案例分析1 前言1.1 数据集1.2 数据分析思路梳理2 数据分析2.1 数据加载2.2 数据查看3 数据可视化3.1 每天房屋入住率3.2 房屋月份价格走势3.3 房屋星期价格特征3.4 不同社区的房源数量3.5 房源评分情况3.6 房源价格情况3.7 不同社区与房源价格的关系3.8 品质房和普通房3.8 配套设施和房价的关系3.9 房型和房价的关系3.10 配套设施必备类型3.11 床位的数量和房价的关系3.12 关联关系探索4 特征工程5 机器学习1 前言1.1 数据集本案例中的

大数据预处理0 前言1 数据标准化1.1 标准化定义1.2 为什么要进行数据标准化？1.3 实例操作2 数据缩放化2.1 0-1缩放2.2 实例操作3 数据归一化3.1 数据归一化定义3.2 实例操作4 二值化4.1 二值化定义5.2 实际操作5 独热编码5.1 独热编码定义5.2 实例操作七、标签编码7.1 标签编码定义7.2 实例操作6 缺失值处理6.1 处理方式6.2 实例操作手动反爬虫，禁止转载：原博地址 https://blog.youkuaiyun.com/lys_828/article/details

plotly绘图进阶篇1 地图可视化1.1 模块安装与地理数据基础知识1.2 地图数据GeoJson数据生成1.3 使用choropleth功能进行地图可视化1.4 使用geojson功能绘制地理区域1.5 使用choroplethmapbox进行地图可视化2 绘制动态数据图2.12.22.32.41 地图可视化1.1 模块安装与地理数据基础知识folium模块就是用来获取地理坐标以及围栏信息的模块，绘制图形时使用plotly模块。folium模块属于第三方模块，需要手动安装，可以选择在jupyter

plotly绘图基础篇1 Plotly简介与安装2 Plotly简单绘图入门3 Plotly绘制散点图和饼图4 Plotly绘图流程详细梳理5 Plotly绘制密度图和三维散点图5.1 绘制2D密度图5.2 绘制3D散点图6 Plotly在线编辑绘图7 Plotly绘制金融数据图7.1 离线模式和在线模式绘图差异7.2 绘制时间滑动条7.3 添加时间转换器按钮7.3 绘制蜡烛图7.4 使用cufflinks模块绘制金融指标图7.4.1 绘制趋势图7.4.2 绘制MACD指标图7.4.3 绘图布林带指标图7.

第一章：Matplotlib绘图1 Matplotlib概念与安装2 Matplotlib简单使用1 Matplotlib概念与安装Matplotlib 图形可视化 Python 包，它提供了一种高度交互式界面，便于大家能够做出多种有吸引力的统计图表；同时，可以使用这些工具创建各种图形：包括简单的散点图、正弦曲线，甚至是三维图形；在 Python 科学计算社区，经常使用它完成数据可视化的工作；在接下来的梳理，学习一下这个库的神奇功能！如果使用的是Anaconda环境，在下载软件完毕后，Matplot

Pandas动手实操1 Csv和Excel文件读取与写入1.1 Csv文件读取与写入1.1.1 Csv数据读取1.1.2 跳过指定行进行数据读取1.1.3 字段名称操作1.1.4 读取指定数量的数据1.1.5 数据存入Csv1.2 Excel数据读取与写入1.2.1 Excel数据默认读取1.2.2 指定sheet进行读取1.2.3 读入数据初步处理1.2.4 数据保存为Excel文件1 Csv和Excel文件读取与写入1.1 Csv文件读取与写入1.1.1 Csv数据读取这里以一份股票数据为例，利

Pandas概述、功能介绍与应用1 Pandas概述1 Pandas概述Pandas 是基于 NumPy 的一种工具，该工具是为了解决数据分析任务而创建的；Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具；Pandas 提供了大量能使我们快速且便捷处理数据的函数和方法；Pandas 在2010年成为开源项目，是一个在真实世界中广泛应用的大型类库；Pandas的开发者社区有超过800个代码贡献者，他们帮助构建了项目，并将Pandas应用到日常中去解

Numpy使用梳理1 Numpy介绍1.1 科学计算1.2 Numpy历史和发展1.3 Numpy的安装2 Numpy和Python List的对比2.1 相同之处2.2 不同之处2.3 操作实践3 array()数组3.1 array()数组的生成及列表转换3.2 多维数组的创建4 arange()功能1 Numpy介绍1.1 科学计算科学计算主要是利用计算机的算力进行数据的计算和方程求解，具体包括如下内容：一个强大的N维数组对象 ndarray广播功能函数整合 C/C++/Fortran

1. Dataframe基本概念1）Dataframe（“带有标签的二维数组”）：是一个表格型的数据结构，包含一组有序的列，其列的值类型可以是数值、字符串、布尔值等。2）Dataframe中的数据以一个或多个二维块存放，不是列表、字典或一维数组结构。Dataframe带有index（行标签）和columns（列标签）import pandas as pdimport numpy as np...

python基础语法精讲1 从数字开始1.1 理解整数、浮点数、复数几种类型对象1.2 掌握运算及其相关的常用函数2 变量、表达式和语句2.1 变量作用及定义的方法2.2 变量命名原则和习惯：2.3 语句与表达式2.4 数据类型转化3 字符串数据类型3.1 字符串索引与切片3.2 字符串基础操作3.3 字符串常用方法3.4 input语句4 列表数据类型4.1 列表数据定义4.2 列表的索引和切片4.3 列表的操作方法4.3.1 单个元素操作4.3.2 列表所有元素操作5 元祖数据类型5.1 元祖数据定义5