dancy_hou的博客

数据挖掘技术基本任务1.分类与预测删除筛选处理2.聚类分析3.关联规则4.时序模式4.偏差检测5.智能推荐1.分类与预测定义分类：构造一个分类模型，输入样本的属性值，输出对应的类别，将每个样本映射到预先定义好的类别，分类模型建立在已有类标记的数据集上。预测：建立两种或两种以上变量间相互依赖的函数模型，然后进行预测或控制。两步过程：通过训练集建立预测属性（数值型的）的函数模型；在模型通过...

数据预处理1.数据清洗删除筛选处理2.数据集成3.数据变换4.数据规约1.数据清洗主要删除原始数据集中的无关数据、重复数据，平滑噪声数据，筛选掉与挖掘主题无关的数据，处理缺失值、异常值。删除无关数据 重复数据筛选筛选掉与挖掘主题无关的数据处理对象：缺失值 异常值缺失值处理方法删除记录（如删除小部分，可达到目标最有效）数据插补插值的数选择均：值/中位数/众数，固定值，最...

机器学习概述1.什么是机器学习？2.为什么需要机器学习？3.机器学习的种类有监督学习、无监督学习、半监督学习和强化学习批量学习和在线学习基于实例的学习和基于模型的学习4.机器学习的一般流程1.什么是机器学习？人工智能：通过人工的方法，模拟某些人类的智能行为。机器学习：通过人工的方法，模拟某些人类的学习行为，自适应，自完善，自发展系统。定义：一个计算机程序在完成任务T之后，获得经验E，其表现...

京东商品抓取思路目标导入模块，创建浏览器对象发请求获取页面抓取对象，xpath匹配节点对象连续抓取结果显示目标导入模块，创建浏览器对象from selenium import webdriverimport csvimport time# 1. 接收要搜索的商品类型,打开商品搜索页面pro = input("请输入商品名称:")driver = webdriver.Chrome(...

泰坦尼克号生存预测分析获取数据数据简单描述性分析数据可视化深入了解数据获救情况人数可视化乘客等级分布可视化...各等级的乘客年龄分布数据预处理数据缺失值处理数据one_hot处理数据标准化处理建立模型，训练模型获取数据数据简单描述性分析根据数据信息可知，训练数据总共有891名乘客，但是有些属性的数据不全。（Age–714条记录，Cabin–只有204名乘客已知)—>需要深入了解数据...

K均值聚类算法主函数，结果显示获取数据，数据标准化训练模型离散点检测画图主函数，结果显示获取数据，数据标准化训练模型离散点检测画图...

机器学习算法笔记之K近邻算法获取数据得到测试数据，训练数据和数据集特征值训练模型交叉验证...不同参数的得分并画图获取数据得到测试数据，训练数据和数据集特征值训练模型交叉验证…不同参数的得分并画图...

数据分析方法部分总结描述统计假设检验信度分析列联表分析相关分析方差分析回归分析聚类分析判别分析主成分分析因子分析时间序列分析生存分析典型相关分析ROC分析其他分析描述统计缺失值填充常用方法：剔除法均值法最小邻居法比率回归法决策树法正态性检验常用方法：非参数检验的K-量检验P-P图Q-Q图W检验动差法假设检验参数检验U检验T检验a. 单样本T检验(总体...