数据挖掘原理与实践学习(2)

数据挖掘导论学习总结——第二章 数据预处理 由于数据库系统所获数据量的迅速膨胀,从而导致了现实世界数据库中通常包含许多含有噪声、不完整、甚至是不一致的数据。数据预处理主要包括数据清洗、数据集成、数据转换和数据消减等。 所谓噪声数据是指数据中存在着错误、或异常的数据。不完整数据是指感兴趣的属性没有值。不一致数据是指数据内涵出现不一致的情况。而数据清洗是消除数据中所存在的噪声以及纠正其不一致的错误;数据集成是指将来自多个数据源的... 阅读详情

大家好,我又回来啦!在本文中,我将对《数据挖掘原理与实践》的第二章《数据处理基础》进行总结和归纳,希望大家多多支持,谢谢!


什么是数据?

数据是数据库存储的基本对象。并非说单纯的1、2、3等数字才是数据,数据的内涵随着时间的推移而扩展。

广义地,可以把数据理解为记录在介质中的信息,是数据对象及其属性的集合,其表现形式可以是数字、符号、文字、图像或计算机代码等。

理解数据不仅要了解数据的表现形式,还需要了解数据的语义。数据的语义是指对数据含义的说明,是数据对象所有属性的集合。而数据集则是具有相同属性的数据对象的集合。属性(也称为特征、维或字段)是指一个对象的某方面性质或者特性。一个对象通过若干属性来刻画。

相应的,根据属性具有的不同性质,属性可以分为4种:标称(Nominal)、序数(Ordinal)、区间(Interval)和比率(Ratio)。

  1. 标称属性:其属性值只提供足够的信息以区分对象,这类属性值没有实际意义,如三个对象可以用甲乙丙,也可以用ABC来区分。
  2. 序数属性:其属性值提供足够的信息,以区分对象的序,如成绩等级(优、良、中、及格、不及格)。
  3. 区间属性:起属性值之间的差是有意义的,如日历日期、摄氏温度。
  4. 比率属性:其属性值之间的差和比率都是有意义的,如长度、时间、速度等。

而属性可以进一步归类为两种:

①标称和序数属性:统称为分类的(Categorical)或定性的(Qualitative)属性,取值为集合。

②区间和比率属性:统称为数值的(Numeric)或定量的(Quantitative)属性,取值为区间。*定量属性可以是整数值或者连续值。

数据集的类型

先说一下数据集的三大特性,接着总结数据集的类型。

数据集三大特性:

  1. 维度(Dimensionality):指数据集中的对象具有的属性个数总和。根据数据集的维度大小,数据集可以分为高、中、低维数据集。
  2. 稀疏性(Sparsity):指在某些数据集中,有意义的数据非常少,对象在大部分属性上的取值为0,非零项不到1%。
  3. 分辨率(Resolution):可以在不同的分辨率或者粒度下得到数据,而且在不同的分辨率下对象的性质也不同。数据的模式依赖于分辨率,分辨率过高或者过低,都得不到有效的模式,针对具体应用,需要选择合适的分辨率或粒度。

为了方便起见,我们将数据集分为三类:记录数据、基于图形的数据和有序的数据集。

(1)记录数据

一般的数据挖掘任务都是假定数据集是记录(数据对象)的集合,每个记录都由相等数目的属性构成。记录之间或属性之间没有明显的联系。记录数据通常存放在平面文件或关系数据库中。根据数据挖掘任务的不同要求,记录数据可以有不同种类的变体。

①事物数据(购物篮数据)

事物数据是一种特殊类型的记录数据,其中每个记录涉及一个项的集合。典型的事务数据如超市零售数据,顾客一次购物所购买的商品的集合就构成一个事务,而购买的商品就是项。

②数据矩阵(Data Matrix)

如果一个数据集中的所有数据对象都具有相同的数值属性集,则该数据对象可以看做多维空间的点(向量),其中每一维代表描述对象的不同属性。这样的数据对象集可以用一个n×m的矩阵来表示,其中n表示行数,一个对象一行,m表示列数,一个属性一行(当然可以反过来)。数据矩阵是记录数据的变体,可以使用标准的矩阵操作对数据进行变换和操纵。

(2)基于图形的数据

有时,图形可以方便而有效地表示对象之间的关系。我们考虑两种特殊情况:图形捕获数据对象之间的联系,数据对象本身用图形表示。

①带有对象之间联系的数据:对象之间的联系常常携带重要的信息。

②具有图形对象的数据:如果对象具有结构,即对象包含具有联系的子对象,则这样的对象常常用图表示。

(3)有序数据

对于某些数据类型,属性具有涉及时间或空间序的联系。

①时序数据(sequential data)或时态数据(temporal data),可以看做记录数据的扩充,其中每个记录包含一个与之相关的时间,通常存放包含时间相关属性的关系数据。这些数据可能涉及若干时间标签,每个都有不同意义。

②序列数据(sequence data),是一个数据集合,是个体项的序列,如词或字母的序列,用来存放具有或者不具有具体时间概念的有序时间的序列。

③时间序列数据(time series data),是一种特殊的时序数据,其中每个记录都是一个时间序列,即一段时间的测量序列,如股票交易,库存控制和自然现象等。在分析事假序列数据时,重要的是考虑时间自相关,即如果两个测量的时间很接近,侧这些测量的值非常相似。

④空间数据(spatial data),包含涉及空间的数据,如地理信息系统、医学图像等。

⑤流数据(stream data),是一种可以动态地从观测台流进和流出的数据,具有如下特点:海量甚至是无限的,动态变化的,以固定的次序流进和流出,只允许一遍或少数几遍扫描,要求快速响应时间。

数据统计特性

对于许多数据预处理任务,人们希望知道关于数据的中心趋势和离散程度特征。中心趋势度量包括均值、中位数、众数和中列数(midrange),数据离散程度度量包括四分位数(quartiles)、四分位数极差(interquartiles,IQR)和方差(variance)等。

数据的中心度量

均值:设x_{1},x_2,...,x_N是N个值的集合,则该值集的均值定义为:

                             \bar{x}=\tfrac{\sum_{i=1}^{N}x_{i} }{N}=\tfrac{x_{1}+x_{2}+...+x_{N}}{N}

有时,集合中每个值x_{i}与一个权值w_{i}相关联,i=1,......,N。权值反映对应值的显著性、重要性或者出现频率。这时就应当使用加权平均数(weighted arithmetic mean):

尽管均值是描述数据集的最常用的单个度量方法,但是均值的主要问题是对极端值(如离群值)很敏感,即使少量极端值也可能影响均值。在这里推荐大家使用截断均值:

截断均值:指定0~100间的百分位数p,丢弃高端和低端(p/2)%的数据,然后用常规方法计算均值,所得结果即是截断均值。标准均值是对应于p=0%的截断均值。

中列数(midrange)也可以用来评估数据集的中心趋势,是数据集的最大和最小值的平均值。

而百分位数(percentile)则有如下性质:

在数值序下,数据集合的第k个百分位数是具有如下性质的x_{i}:百分之k的数据项位于或低于x_{i}。中位数是第50个百分位数。除中位数外,最常用的百分位数是四分位数(quartile)。第一个四分位数记为Q_{1},是第25个百分位数;第三个四分位数记为Q_{3},是第75个百分位数。四份位数(包括中位数)给出分布的中心、离散和形状的某种指示。第一个和第三个四分位数之间的距离是分布的一种简单度量,给出被数据的中间一半所覆盖的范围。该距离被称为中间四分位数极差IQR,定义为IQR=Q_{3}-Q_{1}。

数据散布程度度量

最简单的散布度量是极差(range),其定义为最大值和最小值之间的差异。给定一个属性x,它具有m个值{x_{1},x_{2},...,x_{m}},x的极差定义为:

         range(x)=max(x)-min(x)=x_{m}-x_{1}。

尽管极差标识极大散布,但是如果大部分值都击中在一个较窄的范围内,极端值的个数相对较少,则可能引起误解。此时采用方差作为方差作为散布的度量更可取。属性x的方差记为S_{x}^{2},其定义如下:

       variance(x)=S_{x}^{2}=\tfrac{1}{m-1}\sum_{i=1}^{m}(x-\bar{x})^{2}


以上就是第二章的前面的内容,在数据结构(3)会讲解数据预处理、相似性度量这两个重头大戏,并且会有习题,希望大家能够多多支持。

数据挖掘原理与实践 第四章作业 P147 4.2 假设数据挖掘的任务是将如下的8个点(用 (x,y) 代表位置)聚类为三个簇:A1 (2,10),A2(2,5),A3(8,4),B1(5,8),B2(7,5),B3(6,4),C1(1,2),C2(4,9)。距离函数是 Euclidean 函数。假设初始我们选择 A1、B1 和 C1 为每个簇的中心,用 k-means 算法来给出。 (1) 在第一次循环执行后的三个簇中心。 (2) 最后的三个簇中心及簇包含的对象。 Euclidean 为欧式距离,该距离公式如下: 初始选择A1、B1和C 阅读详情

相关推荐

人工智能与数据挖掘

作为一个IT人,区分理解人工智能、机器学习、表示学习、深度学习、数据挖掘等是很有必要的~~~ 1、人工智能是机器或软件展示出的智能,也是研究如何让计算机或计算机软件有智能行为的一个学术领域,主要研究的是如何模拟和扩展人类的 智能。人工智能所涉及的范围甚广,例如自然语言处理、图像识别、语音识别等。 人工智能分类:强人工智能和弱人工智能。前者是通过计算机来构造复杂的、拥有与人类智慧同样本质特性的机...

X_dmword的博客 1万+

【机器学习6】数据预处理(三)——处理类别数据(有序数据和标称数据)

下面,我们将color特征转换为三个新特征:blue、green和blue。然后使用二进制来表示颜色。例如,可以编码blue=1,green=0,red=0.在上面代码中,仅将OneHotEncoder应用于一个列X[:,0],如果想要有选择地变换数组中的某些列,可以使用ColumnTransformer方法。可以看到,分类器将blue转换为0,green转换为1,red转换为2。

2302_76305195的博客 2073

数据挖掘原理与应用丁兆云课后习题答案解析

在学习这本书的过程中,你可以参考以下学习资料:1) 数据挖掘相关课程视频,如Coursera、慕课等平台的在线课程;同时,你还可以尝试加入学习小组,与他人共同探讨、互相学习。本书从基础理论出发,结合大量实际案例,全面系统地介绍了数据挖掘的基本原理、方法和技术。通过学习这本书,你将能够掌握数据挖掘的基本概念、数据预处理、分类、聚类、关联规则、预测等实用技术。在学习过程中,有以下几点经验供你参考:1) 理论与实践相结合,通过实际项目来提高自己的技能;3) 与他人分享、交流,拓宽视野,提高自己的能力。

weixin_58833001的博客 2838

数据可视化复习 第三章

相似度是衡量多个数据对象之间相似的数值,通常位于0和1之间。常用方法:欧几里得距离、明科夫斯基距离、余弦距离、Jaccard距离数据获取协议作为一种通用的数据获取标准,该协议通过定义基于网络的数据获取句法,以完善数据交换机制,维护、发展和提升数据获取频率。理论上,数据获取协议是一个中立的、不受限于任何规则的协议,它提供跨越规则的句法的互操作性,允许规则内的语义互操作性。

学习日常分享 543

数据挖掘:原理与实践(基础篇)(进阶篇)

结合复杂多样的实际数据环境,探讨数据挖掘的使用场景和使用方法 《数据挖掘:原理与实践》理论联系实际,讲述数据挖据理论、技术及应用的教材。研讨了数据挖掘的方方面面,从基础理论到复杂数据类型及其应用。不仅讨论传统的数据挖掘问题,而且介绍了高级数据类型,例如文本、时间序列、离散序列、空间数据、图数据和社会网络。《数据挖掘:原理与实践》由基础篇和进阶篇组成。基础篇对应原书的第1~11章,进阶篇对应原书的第12~20章。 基础章节:数据挖掘主要有四个“超级问题”,即聚类、分类、关联模式挖掘和异常分析,它们的重要性

互动出版网 2378

给师弟师妹们学习数据挖掘的一些建议

看着刚进实验室的师弟师妹们的迷茫,虽然也与他们进行过一些零散的交谈,但是都不够系统。因此,根据自己的经历给出学习数据挖掘的一些建议,大家可以根据自身的情况,具体问题具体分析,作为参考。希望在上一届的基础上,走的更深,走的更远。

一路向前 2万+

什么是数据的类型、质量、预处理、相似性?

数据数据类型属性与度量 数据类型 通常,数据集可以看作数据对象的集合。数据对象有时也叫做记录、点、向量、模式、事件、案例、样本、观测或实体。数据对象用一组刻画对象基本特性(如物体质量或事件发生时间)的属性描述。属性有时也叫做变量、特性、字段、特征或维。 数据集是一个文件,可以用表格来表示。其中每一行表示一个数据对象,而每一列表示一个特有的属性。这是关系型数据库中的典型表现,但是由于还存在其他类型的数据库,因此这样的定义也不是绝对的。但是作为对数据的属性和对象的浅层理解,在这个位置这样的解释个人认为是合理的

Chahot的博客 1921

数据挖掘原理、方法、实践笔记(一)

数据挖掘概论(参考书:数据挖掘原理、方法及Python应用实践教程) 1.数据挖掘含义 数据挖掘(data mining)就是利用一系列技术和方法从海量数据中找出隐藏于其中的潜在、有用的新知识的过程。在庞大的数据中找到有价值的知识,就好像在一堆沙子中淘金,因此被形象的称为data mining。 2.相关概念辨析 知识发现与数据挖掘: 数据挖掘是知识发现(knowledge discovery)的核心,是其中的一个步骤。完整的知识发现包含:①数据准备;②数据挖掘;③结果表达和解释 数据挖掘、机器学习和人工智

unpocoloco的博客 1781

数据治理中的数据分类

一、记录类数据 1、事务数据 事务是数据库处理数据的一个单元,可以理解为一次数据库CRUD的操作。事务数据就是记录下数据库操作的系统日志数据,以及特定业务场景中,专门记录的业务操作事务记录的数据,比如用于安全审计的系统登录日志。 2、业务数据 业务数据就是为了完成业务流程而存储的业务操作类数据。就是业务系统的绝大多数表和数据。 3、日志数据 早期的日志数据是属于事务数据中的。现在大数据时代,用户访问数据变得越来越重要,所以单独分离出来。 二、管理类数据 1、元数据 元数据(Meta-d..

BabyFish13 7773

数据挖掘工程师-学习路线

一、目前国内的数据挖掘人员工作领域大致可分为三类。 1)数据分析师:在拥有行业数据的电商、金融、电信、咨询等行业里做业务咨询,商务智能,出分析报告。 2)数据挖掘工程师:在多媒体、电商、搜索、社交等大数据相关行业里做机器学习算法实现和分析。3)科学研究方向:在高校、科研单位、企业研究院等高大上科研机构研究新算法效率改进及未来应用。 二、说说各工作领域需要掌握的技能。  (1).数据

一HUA一世界的专栏 5720

educoder 数据挖掘算法原理与实践:决策树

第1关:决策树算法思想 1 AB 2 B 第2关:决策树算法原理 import numpy as np def calcInfoGain(feature, label, index): ''' 计算信息增益 :param feature:测试用例中字典里的feature,类型为ndarray :param label:测试用例中字典里的label,类型为ndarray :param index:测试用例中字典里的index,即feature部分特征列的索引。该索

木右加木 就是木木 5310

数据挖掘原理与实践学习(1)

        说来惭愧,开始写这篇博客的动力是由于我数据挖掘考试挂了......自己在寒假重新学习这一科,顺带着写写自己的感悟,希望能与大家一起学习。我有什么错漏或者大家什么好的建议都可以在评论区留言,我会认真回复的。我在这里使用的教材是电子工业出版社出版的《数据挖掘原理与实践学习》。 什么是数据挖掘?        数据挖掘顾名思义,就是在众多数据之中进行挖掘,找到有用的信息。 从技术...

debug_robot的博客 5627

学习笔记:数据挖掘与机器学习

数据挖掘,或者说Data Mining,是一个涵盖广泛且充满活力的学术领域,其核心目标在于揭示隐藏在海量数据背后的有价值信息和知识。这一过程涵盖了多种方法和技术,包括但不限于商业智能(BI)、统计分析、大数据处理技术以及市场运营策略。

howard2005的专栏 6661

数据平台的数据挖掘与机器学习技术实践

1.背景介绍 在今天的数据驱动时代,数据挖掘和机器学习技术已经成为企业和组织中不可或缺的一部分。这篇文章将涵盖数据平台的数据挖掘与机器学习技术实践的核心概念、算法原理、最佳实践、应用场景、工具和资源推荐以及未来发展趋势与挑战。 1. 背景介绍 数据挖掘和机器学习技术是用于从大量数据中发现隐藏的模式、关系和知识的方法。它们已经应用于各个领域,如金融、医疗、电商、物流等,为企业和组织提供了更多的...

AI天才研究院 811

机器学习与数据挖掘的实验报告与实践指南

htmltable {th, td {th {pre {简介:《机器学习与数据挖掘实验报告》详细探索了机器学习和数据挖掘在现实生活中的应用。该报告由广州大学成员编写,包含实验步骤、结果分析和代码示例,通过Markdown格式在优快云上发布。内容涉及监督学习、无监督学习、强化学习等机器学习技术,以及数据预处理、模式识别和知识提取的数据挖掘方法。报告还讨论了特征选择、模型评估和调参优化等关键环节,并提供了一些实际案例研究和使用Python数据分析与模型构建的示例。

weixin_36474001的博客 775

数据挖掘原理与实践课后习题答案解析

.1 数据挖掘处理的对象有哪些?请从实际生活中举出至少三种。 答:数据挖掘处理的对象是某一专业领域中积累的数据,对象既可以来自社会科学,又可以来自自然科学产生的数据,还可以是卫星观测得到的数据。数据形式和结构也各不相同,可以是传统的关系数据库,可以是面向对象的高级数据库系统,也可以是面向特殊应用的数据库,如空间数据库、时序数据库、文本数据库和多媒体数据库等,还可以是 Web 数据信息。

《机器学习与数据挖掘综合实践》实训课程教学解决方案

机器学习与数据挖掘综合实践》实训课程的教学解决方案,通过科学的目标设定、系统的内容组织、创新的教学方法、实用的实训平台构建以及有效的评估反馈机制,旨在构建一个以学生为中心,注重理论与实践结合,鼓励创新与合作的学习环境。其核心目标在于通过自动化的方式,让机器能够识别、理解和预测数据中的模式和规律。总之,方案建立了全面而科学的评估与反馈机制,旨在通过多元化的评价手段、即时的反馈和定期的教师研讨会来全面评估学生的学习成效,帮助学生更好地掌握知识和技能,同时也不断优化教学内容和教学方法,以提供更优质的教学服务。

whwzzc的博客 3214

Codesys电子凸轮功能块MC_CamIn的masteroffset和slaveoffset参数的使用

问题1:在Codesys使用作轴电子凸轮时,MC_CamTableSelect的参数设置为MasterAbsolute=1,SlaveAbsolute=1,此设置为绝得模式, 此时主从轴当前位置都不为零时,此时Masteroffset=0、slaveOffset=0,凸轮启时出现突变,实轴无法启动。问题分析:在觉得模式下,主轴位置和从轴为是对应凸轮表的相位的,Masteroffset=0、slaveOffset=0,启动点时在主轴位置=0,从轴位置=0的点启动,此时主轴当前位置不为零则主从轴位置发生突变,

weixin_43587371的博客 1804

机器学习与数据挖掘:算法与实践

1.背景介绍 机器学习(Machine Learning)和数据挖掘(Data Mining)是当今最热门的技术领域之一,它们在各个行业中发挥着越来越重要的作用。机器学习是人工智能的一个分支,通过计算机程序自动学习和改进其表现,以解决复杂的问题。数据挖掘则是在大量数据中发现隐藏的模式、规律和知识的过程。 本文将从以下六个方面进行全面的介绍: 背景介绍 核心概念与联系 核心算法原理和具体操作...

AI天才研究院 1456

论文分享 - OctoMap八叉树建图原理

论文:OctoMap:An Efficient Probabilistic 3D Mapping Framework Based on Octrees。

一只废佐_的博客 2542

国产AI芯片实战:用寒武纪MLU370低成本部署DeepSeek-R1,实测推理效果与成本分析

本文详细介绍了寒武纪MLU370芯片在部署DeepSeek-R1大模型时的实战效果与成本优势。通过实测数据对比,MLU370在推理速度、能效比和本地化服务方面表现突出,尤其适合智能客服、内容生成等场景,可显著降低硬件投入和运维成本。

weixin_30613727的博客 458
上一篇: 数据挖掘原理与实践学习(1)
下一篇: 数据挖掘原理与实践学习(3)
debug_robot
博客等级 码龄9年 16粉丝 6原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值