如何用通俗易懂地解释什么是数据挖掘

到底什么是机器学习,如何用通俗易懂的语言来解释? 随着数据科学在人工智能发展中大放异彩,数据挖掘、机器学习进入了越来越多人的视野。而对于很多人来说,诸如机器学习之类的名次听起来是神乎其技,但其真正的内涵却不为一般人所知。 特别是对于从事数据科学领域的人来说,如何向外行人解释自己所从事的工作几乎是一个超级难题。那么到底什么是机器学习,如何用通俗易懂的语言来解释?我们通过以下几重境界来解释。 一、专业理论型 百科定义+专业术语,让人听起来不明觉厉,实... 阅读详情

这里写图片描述

通常我们把信息转化为价值,要经历信息、数据、知识、价值四个层面,数据挖掘就是中间的重要环节,是从数据中发现知识的过程。

举个例子来说明。(例子仅供解释,不包含其他意思,Σ( ° △ °|||)︴)

傍晚你一个人从火车站出来,看到路边有一个漂亮妹子,这个妹子朝你抛了一个媚眼,这个媚眼它也是信息,虽然它很难定量化分析,也不是个记录。但你成功的接收到了这个信息,你认为是女个女孩对你有感觉。

那你就被这个信息所影响,于是你很激动,决定要上前去搭讪。(这个地方,媚眼这个信息能够被发送、传播和接收,并且影响你的行为,但还谈不上数据。)

去搭讪的时候,你问:美女,在等人吗?

然后美女对你说:老板,包夜800……

于是这里面就有定量化分析的内容了,虽然它只是一个很小的数据片段,单独看起来没有办法分析出任何深刻的结果。但如果你在一个本子上把它记录下来。比如你记录的是:

2017年10月15日,汉东省金舟市火车站包夜800

如果你的本子上有几千条这样的记录,这就是数据。通过简单的查询和比较,你就可以从这些数据中获得知识。

如果你把这些数据输入电脑,绘制一幅金舟市的价格地图,你发现同等水平的妹子在金舟市汽车客运中心价格,只有火车站的70%左右,那绘制这个地图,做这个价格的统计分析,就是数据挖掘做的事情谈,它能够指导你去做一些事情。

当然用这个知识能不能产生价值,产生多大的价值,就要看如何应用了。比如是否能够根据这些价格来指导酒店的选址,这个能不能作为附近消费水平分析依据,这就是价值和应用层面的问题。

你看,数据挖掘其实就是我们从数据中发现知识的过程。

当然我们发现知识其实可以不走数据挖掘的道路,比如我们常常讲第一性原理:从公理体系和基本参数出发,通过演绎的方法得到知识。比如通过几何的公理推出了欧几里得的公理体系,推出大量的几何定义;我们通过薛定谔方程以及一些基本的物理参数,可以得到很多对于原子分子的认识。

而数据挖掘就不是这样,数据挖掘是直接从数据中获得知识。比如,我们看一个人跑步,我们可以通过不同体型的人多次跑一百米所需要的时间,得到一些经验的公式。比如说身高每高一厘米,跑一百米的时间相应缩短0.015秒(这是随便说的,不要当真)。这样的公式是没有办法从牛顿定律中推出来的,但是我们可以从数据挖掘中得到。

就第一性原理和数据挖掘而言,数据挖掘的可信度是不如第一性原理的,因为有很多关联都是假相关,但是它能够处理很复杂的系统。而这往往是我们从量子力学、经典力学等已知的公理中不能够得到的。因为它太复杂,必须要从实验的测量中得到。

但这两者是可以相互补余的。首先,有了第一性原理的认知,他就能够提前去帮助我们提前去感觉到哪些数据可能对我们的结论最有用。比如我们看跑步,通过认知我们知道腿的长度,对跑步的速度可能是有帮助的,而腋毛的长度对跑步的速度应该是没有什么帮助的。

所以我们拿得到一个人的身体和跑步运动员跑步速度的关系,很多研究都在探索运动员的身高、腿长和跑步速度的关系,但是没什么人研究腋毛长度和跑步速度的关系。如果我们什么知识都没有的话,为什么不去研究腋毛呢?那我们就应该把腋毛和身高、腿长看成同样重要。

我们有了这些数据挖掘的工具,其实是可以反向去推导一些基本的定律。

利用数据挖掘,我们还可以做非常多的事情。

1.发现数据项之间的相关性

比如我们拿到各个城市环境、人口、交通等数据,就可以通过相关性分析来看人均汽车保有量,和空气质量各个指标之间的关系,从而定量化地帮助制定产业经济和环保政策。比如要不要进行更严厉的限购,要不要收取为其的排放税等等。

2.把数据对象进行聚类

比如我们知道大量的人在电子商务网络消费数据,我么就可以根据消费的特征把他们聚成很多类,每一类人我们制定不同的营销手段,从而能够取得销售量的提升。比如电信运营商对人群进行聚类,然后针对性地推出电话套餐。

3.把数据对象进行分类

当我们已经有了分类之后,来了一些新的数据之后,我们可以把他分到不同不同的类去。比如医疗影像上查看肺部的病灶,可能是肺结核、可能是早起肺癌,中晚期肺癌,可能是肺上的疖结,可能是愈合的病灶等等,来了一张新的片子,我们可以通过图像处理,就把它分到不同的类别(当然这需要我们提前对很多片子的数据进行学习)。

4.预测缺失数据或者未来的数据

很多数据集中,比如生物数据,我们已知的知识全部数据集中的一小部分,这需要我们做一些事情去预测这些数据。还有一些,想大选、股票价格预测、河流径流量预测、城市用电量预测等,这些就是对未来数据的预测。

如果想学习数据分析相关的知识,推荐DC学院的课程《数据分析师(入门)》

大数据分析必看:非结构化数据挖掘的7种核心算法 在当今数字化时代,数据就像一座巨大的宝藏,不断地在各个角落产生。其中有很大一部分数据是以非结构化的形式存在的,比如社交媒体上的帖子、新闻文章、图片、视频等。这些非结构化数据蕴含着丰富的信息,但由于其没有固定的格式,处理起来比较困难。本文的目的就是为大家介绍7种核心算法,帮助大家从这些非结构化数据中挖掘出有价值的信息。我们的范围涵盖了这7种算法的原理、实现和应用。本文首先会解释一些相关的术语和概念,让大家对非结构化数据挖掘有一个基本的认识。然后引入一个有趣的故事,引出7种核心算法的概念,并详细解释每个算法。 阅读详情

相关推荐

数据挖掘结果的可解释性提升技巧

当你用数据挖掘模型预测客户 churn(流失)时,模型告诉你“客户A有80%的概率流失”,但你不知道为什么——是因为最近3个月消费下降?还是客服投诉过?这种“黑盒”问题正在成为数据挖掘落地的最大障碍。医疗领域不敢用AI诊断,因为医生需要知道“模型凭什么判断患者有癌症”;金融机构不敢用AI审批贷款,因为用户有权知道“为什么我被拒贷”。本文将从概念解析→技术原理→实战技巧,一步步教你把数据挖掘的“黑盒”变成“玻璃箱”。无论是用线性回归的简单模型,还是用深度学习的复杂模型,你都能找到提升可解释性的方法。

移动开发前沿的博客 632

什么是数据挖掘,给出一个你在生活中应用数据挖掘技术的例子,分析数据挖掘的意义。...

数据挖掘是指从大量数据中自动或半自动地发现有用的信息、模式和知识的过程。数据挖掘通常包括预处理数据、选择适当的数据挖掘技术、应用算法和模型、评估结果和解释发现的知识。 一个我在生活中应用数据挖掘技术的例子是使用社交媒体平台的推荐算法。社交媒体平台通过分析我的历史活动、兴趣和交互行为,自动推荐可能感兴趣的帖子、页面、用户和广告。这些推荐算法使用了数据挖掘技术来分析大量的数据并预测我的兴趣。 数据挖掘...

weixin_35749796的博客 1389

AI数据挖掘在食品安全监测中的应用

民以食为天,食以安为先。但你知道吗?全球每年因食品安全问题导致的疾病约6亿例,其中大部分可通过早期监测避免。传统食品安全监测依赖人工抽检(比如市场监管员随机查10箱牛奶)、实验室检测(测农药残留要等3天出结果)和群众举报(比如发朋友圈投诉“泡面里有头发”),这些方法就像“用渔网捞针”——覆盖范围小、响应速度慢、漏检率高。本文将聚焦AI数据挖掘技术如何突破这些限制,覆盖从“农田到餐桌”的全链条监测(种植→加工→运输→销售),解决“查哪里、怎么查、何时查”的核心问题。

欢迎来到我的优快云空间!这里聚焦AI大模型应用实战,分享前沿技术、实战案例与开发经验。 1057

浅谈数据挖掘

数据挖掘 数据挖掘起源 人们迫切希望能对海量数据进行深入分析,发现并提取隐藏在其中的信息,以更好地利用这些数据。但仅以数据库系统的录入、查询、统计等功能,无法发现数据中存在的关系和规则,无法根据现有的数据预测未来的发展趋势,更缺乏挖掘数据背后隐藏知识的手段。正是在这样的条件下,数据挖掘技术应运而生。 数据挖掘同样需要数据库系统提供有效的存储、索引和查询处理支持。源于高性能(并行)计算的技术在处理海量数据集方面常常是重要的。分布式技术也能帮助处理海量数据,并且当数据不能集中到一起处理时更是至关重要.

my0214163的博客 1697

Windows 11 的C盘User(用户)文件夹下的用户文件夹名称的修改

背景介绍:由于系统重装导致Windows 11的系统用户名与C盘User(用户)文件夹下的用户名文件夹(公用文件夹旁边的文件夹)出现名称不一致,事例中系统用户名命名为“寂萧”,User(用户)文件夹下的文件夹名称却是“77555”。【QQ邮箱前五位真的真的看着很别扭】注:改名有风险,三思而后行。User(用户)文件夹下的用户名是中文在某些软件的应用场景下产生不便,导致很多软件莫名其妙报错,甚至无法使用,笔者不建议修改为中文名。//和笔者一样的强迫症除外//

2302_79084172的博客 10万+

【论文阅读】2021-(Pidinet)Pixel Difference Networks for Efficient Edge Detection

文章目录摘要1. Introduction 摘要 motivations: 基于CNN的边缘检测的高性能是通过一个大的预训练CNN主干来实现的,该主干占用大量内存和能量。传统边缘检测器(如Canny、Sobel和LBP)很少被研究。 contributions: 提出了一种简单、轻量级但有效的架构,称为像素差分网络(PiDiNet),用于有效的边缘检测。PiDiNet采用了新颖的像素差卷积,将传统的边缘检测算子集成到现代CNN中流行的卷积运算中,以增强任务性能。 experiments: 在BSDS500

轻舟的万重重山 1万+

数据挖掘应用实例_从生活实例看大数据挖掘

牛奶到底和谁摆放一起销量高?啤酒为什么与尿不湿摆放一起卖得更多?让大数据挖掘来告诉你真相!超市里,牛奶到底和哪种商品摆放一起销量更高?啤酒为什么与尿不湿摆放在一起会卖得更多?乍一看,它们似乎毫无联系,而大数据挖掘却能告诉你它们之间的关联。那么,大数据挖掘是什么呢?又有哪些方法? 简单来说,大数据挖掘即指从大量数据中自动搜索隐藏于其中的有着特殊关系性的信息的过程,其常用方法有分类、聚类、回归分析、关...

weixin_39622150的博客 4080

ICG setup timing violation介绍?

门控时钟(clock gating)在RTL级电路设计过程中进行低功耗优化常用方法,能够有效降低动态功耗(翻转功耗)。Clock gating cell 可以由与门,与非门,或门或者或非门构成,但很容易产生Glitch。在实际使用中,一般用ICG(集成门控时钟单元)来完成clock gating。 下图展示了glitch的产生原因 在CTS时钟树综合的时候,ICG不会被看作sink,通常放置在source点附近,因此就会出现如上图这种结果。上图可以看出,在分析DFF到ICG的setup timing

m0_61003348的博客 9806

数据挖掘个人理解

<1>数据挖掘:1.通过对大量数据进行分析,从大量数据中发现一些客观规律,结论。 2.主要有数据准备,规律寻找,规律表示3大步 3.步骤:采集数据,采集相关技术,整合检查数据,去除错误数据,建立合适模型进行数据分析,进行数据挖掘工作,测试和验证挖掘结果,找到规律进行结果分析,实际运用。 4.分析数据常用方法:分类,回归分析,聚类,关联规则,神经网络方法,Web数据挖掘 5.常用工具:一般分析用的软件包(K-Miner,TipDm,GDM),针对特定功能或产业研发的软件(KD1),整合DS

Dxm234的博客 1451

具身机器人内部PCB板分类与系统架构详解

本文系统梳理了机器人内部PCB板的功能架构,将其划分为5大模块:1)核心主板(含主控计算机板、实时控制板等);2)感知类PCB(视觉、听觉、触觉等);3)运动控制类PCB(伺服驱动、编码器等);4)电源与安全类PCB(电源管理、BMS等);5)通信类PCB(EtherCAT背板等)。通过人体器官类比(如大脑对应主控板、小脑对应实时控制板),详解了各模块的芯片选型、位置分布及协同关系,并给出信号/能量/指令的三流闭环示意图和典型系统参数(48V供电、1ms通信周期)。整体呈现了机器人"神经系统&qu

几十年资深高级架构师,技术专家的技术笔记。专注C、Java、Python、微服务、云原生、AI工程化及高并发系统分布式架构实战,分享源码剖析、性能调优与架构治理经验。 319

30、航空公司调度问题的数学模型解析

本文详细解析了航空公司调度问题中的核心数学模型,包括航班时刻表生成、机组人员排班和飞机调度的建模方法与求解技术。通过定义变量、约束条件及目标函数,结合线性规划、整数规划等方法,帮助航空公司实现高效调度。文章还探讨了模型的优化策略、简化方法以及实际应用案例,为提升航空运营效率提供了理论支持和实践指导。

beer8的博客 258

什么是数据挖掘

数据挖掘

changan 5771

uniapp [全端兼容] - 实现连接蓝牙电子秤+监听数据转换并实时返回示例代码,uniApp实现BLE蓝牙连接多个电子秤设备、蓝牙通讯协议对接详细教程(全平台兼容H5、微信小程序、苹果安卓App)

uniapp连接蓝牙电子秤,uniapp如何连接电子秤蓝牙,蓝牙称重,实现监听数据转换并实时返回,多蓝牙,uni-app电子秤16进制蓝牙通讯协议对接,uniapp微信小程序蓝牙获取电子秤的值,uniapp蓝牙称重电子秤,蓝牙电子秤硬件,APP端连接蓝牙秤获取重量实时显示在页面上蓝牙秤,插件组件,蓝牙连接失败,uniapp安卓苹果ios连接蓝牙电子秤没反应,uniapp微信小程序 蓝牙低功耗连接发送数据监听接收,uni-app小程序蓝牙连接、读写数据全过程,uniapp连接蓝牙体脂秤,蓝牙搜索不到怎么办,如

🏆 前端领域优质创作者 1万+

数据挖掘、数据分析好书推荐

1 深入浅出数据分析 这书挺简单的,基本的内容都涉及了,说得也比较清楚,最后谈到了R是大加分。难易程度:非常易。   2  啤酒与尿布 通过案例来说事情,而且是最经典的例子。难易程度:非常易。   3 数据之美 一本介绍性的书籍,每章都解决一个具体的问题,甚至还有代码,对理解数据分析的应用领域和做法非常有帮助。难易程度:易。   4 集体智慧编程 学习数据分析、数据挖掘、机器学

zhangyi880405的专栏 822

游戏玩家和排行数据抓取:使用 Python 爬虫抓取游戏中的玩家排名、角色数据和战绩

对于游戏开发者、分析师和玩家本身来说,抓取游戏中的玩家排名、角色数据和战绩信息是一项至关重要的任务。Python提供了强大的爬虫库和数据处理工具,可以帮助我们高效地抓取和分析游戏数据,为游戏分析师、开发者以及玩家本身提供有价值的数据支持。通过本篇博客,我们学习了如何使用Python爬虫技术抓取游戏中的玩家排名、角色数据和战绩。本篇博客将详细介绍如何使用Python编写爬虫来抓取游戏中的玩家排名、角色数据和战绩,并结合最新的技术来实现高效的数据抓取与处理。为了方便后续的数据处理,我们将抓取的数据保存到。

2201_76125261的博客 944

Python爬虫实战:利用Playwright和反反爬技术高效抓取Bloomberg金融数据

用户行为分析(鼠标移动、点击模式)请求头检测IP频率限制WebSocket通信验证Canvas指纹识别我们的爬虫需要模拟人类行为,使用代理IP池,并合理控制请求频率。

2201_76125261的博客 1020

你以为人工智能高深莫测?

你以为人工智能高深莫测?其实它每天都在帮你选电影、猜你喜欢!今天我们用菜市场买西瓜的故事,带你3分钟搞懂最火的AI技术!

微信公众号:互联网之路 456

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

【数据挖掘算法与应用】——数据挖掘导论

数据挖掘(Data Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息或知识的非平凡过程。

Python全栈系列 3万+

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

数据挖掘的过程是什么?通俗易懂

数据挖掘的过程是什么?01 数据挖掘过程1. 数据采集2. 特征提取和数据清洗3. 分析处理和算法02 数据预处理阶段1. 特征提取2. 数据清洗3. 特征选择与转换03 分析阶段 作者:查鲁·C.阿加沃尔(Charu C. Aggarwal) 来源:大数据DT 导读:数据挖掘过程包含数据清洗、特征提取、算法设计等多个阶段,本文将讨论这些阶段。 01 数据挖掘过程 典型数据挖掘应用的过程包含以下几个阶段。 1. 数据采集 数据采集工作可能是使用像传感器网络这样的专门硬件、手工录入的用户调查,或者如Web

一个写湿的程序猿 7489

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

通俗易懂,数据挖掘的过程是什么?

导读:数据挖掘过程包含数据清洗、特征提取、算法设计等多个阶段,本文将讨论这些阶段。

程序员小麦的博客 3152

数据赋能(385)——数据挖掘——可解释性和解释性

同时,对每个节点的决策规则进行详细的文字解释,如“当用户年龄在 25 - 35 岁之间且购买过电子产品时,有 70%的概率会购买相关配件”。这种可解释的挖掘结果帮助企业更好地了解用户需求,制定了精准的营销策略,提高了销售额和用户满意度。建议企业在数据挖掘项目中,充分考虑可解释性原则,加强与领域专家的合作,不断优化挖掘过程和解释方法,以提高挖掘结果的可理解性和实用性。数据挖掘结果可解释性原则:在数据挖掘过程中,要求挖掘出的模式和知识能够以清晰、易懂的方式呈现,使非专业人士也能理解其内在逻辑和含义的原则。

lh1793的专栏 868

如何利用AI数据挖掘进行欺诈检测?

在当今数字化时代,欺诈行为层出不穷,给个人、企业和社会带来了巨大的损失。欺诈行为可能发生在金融、电商、保险等多个领域,如信用卡诈骗、保险欺诈、网络交易欺诈等。本文章的目的就是探讨如何运用AI数据挖掘技术来有效地检测这些欺诈行为,减少损失。范围涵盖了从数据的收集、处理到使用机器学习算法进行模型训练和欺诈预测的整个过程。本文首先会介绍一些相关的术语和概念,让大家对欺诈检测和AI数据挖掘有一个初步的认识。接着会用生动的故事引出核心概念,并详细解释这些概念以及它们之间的关系。

AI 原生应用开发的博客 614

数据挖掘与机器学习:区别与联系全解析

在当今大数据时代,数据蕴含着巨大的价值。数据挖掘和机器学习作为从海量数据中提取有价值信息的重要手段,受到广泛关注。本文旨在清晰地阐述数据挖掘与机器学习的区别与联系,帮助读者准确把握这两个概念,了解它们在不同场景下的应用方式。首先,通过有趣的故事引入数据挖掘与机器学习的核心概念,并以通俗易懂的方式进行解释,同时阐述它们之间的关系。接着,详细讲解数据挖掘和机器学习各自的核心算法原理及具体操作步骤,通过实际代码示例展示其实现过程。之后,介绍两者在实际中的应用场景,推荐相关工具和资源,并探讨未来发展趋势与挑战。

Agentic AI人工智能与大数据正在引领一场新智能科技革命。 1129

浅谈数据挖掘与机器学习

引言在大多数非计算机专业人士以及部分计算机专业背景人士眼中,机器学习(Data Mining)以及数据挖掘(Machine Learning)是两个高深的领域。在笔者看来,这是一种过高”瞻仰“的习惯性错误理解(在这里我加了好多定语)。事实上,这两个领域与计算机其他领域一样都是在融汇理论和实践的过程中不断熟练和深入,不同之处仅在于渗透了更多的数学知识(主要是统计学),在后面的文章中我会努力将这些数学知

老杨的博客 4万+

人工智能 机器学习 数据挖掘的区别

人工智能 机器学习 数据挖掘的区别

qq_44992180的博客 1337
上一篇: 书单 | 做数据分析不得不看的书有哪些?
下一篇: 零基础如何利用业余的时间学习数据分析
DataCastle
博客等级 码龄10年 870粉丝 202原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值