Atitit 数据挖掘之道 attilax总结 艾龙著 1. 数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。 1 2. 数据（Data）-信息（information）-知识（K

数据挖掘之道：概念、技术与应用
最新推荐文章于 2022-05-10 15:07:07 发布
原创 最新推荐文章于 2022-05-10 15:07:07 发布 · 7.7k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文是Attitit关于数据挖掘的总结，讲述了数据挖掘是从大量数据中寻找隐藏信息的过程，涉及数据（Data）-信息（Information）-知识（Knowledge）的转化。数据挖掘步骤包括ETL、数据仓库、挖掘工具和知识发现。文章详细介绍了ETL、分类聚类、领域分析、数据转换、结构化挖掘、推荐系统、关联规则、统计分析、人工智能、模式识别等多个技术点，并讨论了数据挖掘在情感分析、偏好分析等领域的应用。

Atitit  数据挖掘之道 attilax总结 艾龙著

 

1. 数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。 1

2. 数据（Data）-信息（information）-知识（Knowledge）是一个递进的关系。 1

3. 数据挖掘的步骤一般可以分为：数据提取（ETL）－数据仓库－数据挖掘工具－知识发现。 2

4. 包含的技术点 与挖掘方法详细 分析方法： 2

4.1. ETL 相似度分析  模式识别 2

4.2. 分类、聚类 2

4.3. 垂直领域分析 比如  图片挖掘 yifu pose等 2

4.4. 数据转换  方便体积缩小 方便存储 2

4.5. 结构化 复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等) 2

4.6. 、推荐、关联规则 3

4.7. Tag  join groupby分组聚合  统计聚合 3

4.8. 可视化 3

4.9. HTML分析 3

4.10. 来自统计学的抽样、估计和假设检验， 3

4.11. (2)人工智能、模式识别和机器学习的搜索算法、建模技术和学习理论。 3

4.12. 最优化、进化计算、信息论、信号处理、可视化和信息检索。一 3

4.13.  估计（

最低0.47元/天 解锁文章
attilax
关注
机器学习经典算法详解及Python实现--K近邻(KNN)算法
Adan
12-16 2万+
KNN（K Nearest Neighbors,K近邻 ）算法是机器学习所有算法中理论最简单，最好理解的一种监督学习算法。KNN是一种基于实例的学习，通过计算新数据与训练数据特征值之间的距离，然后选取K（K>=1）个距离最近的邻居进行分类判断（投票法）或者回归。使用KNN算法时我们必须有接近实际数据的训练样本数据。K-近邻算法必须保存全部数据集，如果训练数据集的很大，必须使用大量的存储空间。此外,由于必须对数据集中的每个数据计算距离值，实际使用时可能非常耗时。k-近邻算法的另一个缺陷是它无法给出任何数据的基
什么是数据挖掘，机器学习与数据挖掘主要有什么联系？
数智集的博客
04-04 2428
数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘本质上像是机器学习和人工智能的基础，它的主要目的是从各种各样的数据来源中，提取出超集的信息，然后将这些信息合并让你发现你从来没有想到过的模式和内在关系。这就意味着，数据挖掘不是一种用来证明假说的方法，而是用来构建各种各样的假说的方法。数据挖掘不能告诉你这些问题的答案，他只能告诉你，A和B可能存在相关关系，但是它无法告诉你A和B...
一、数据挖掘概述
GUANGZHAN的专栏
02-28 1978
数据挖掘_unit01 1.数据挖掘的定义 1.1 问题 数据挖掘的概念是什么,为什么要进行数据挖掘？ 1.2 方案 数据挖掘：指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘在面向用户的互联网产品中发挥着及其重要的作用。 ![数据挖掘平台案例](https://img-blog.csdnimg.cn/20200228103042194.png?x-oss-process=image/w...
知识体系——从数据到智慧，这几步你做对了吗？
weixin_30576827的博客
02-25 828
http://baijiahao.baidu.com/s?id=1580149197433333383&wfr=spider&for=pc 知识体系——从数据到智慧，这几步你做对了吗？ 风亦有青 17-10-0220:35 智慧 最近看到很多反思碎片化阅读、知识付费、知识焦虑的文章，有好几篇文章里都引用了这句话——只有当潮水退去的时候，才知...
Atitit 数据分析之道 attilax著 1. 数据分析的目的 2 1.1. 描述型：发生了什么？可视化仪表盘化很重要。 3 1.2. 2. 诊断型：为什么会发生？结合历史记录 3 1.3. 3
attilax的专栏
02-07 4335
Atitit 数据分析之道 attilax著   1. 数据分析的目的 2 1.1. 描述型：发生了什么？可视化仪表盘化很重要。 3 1.2. 2. 诊断型：为什么会发生？结合历史记录 3 1.3. 3. 预测型：可能发生什么？ 4 1.4. 4. 指导型 规划未来行动：我需要做什么？ 4 2. 数据分析 4 3. 与数据挖掘的区别 5 3.1. 数据挖掘更侧重于机器对未来的
Atitit etl之道 attilax著 1. ETL 1 1.1. （数据仓库技术） 2 1.2. ETL的质量问题具体表现为正确性、完整性、一致性、完备性、有效性、时效性和可获取性等几个特性
attilax的专栏
02-08 5342
Atitit etl之道 attilax著 1. ETL 11.1. （数据仓库技术） 21.2. ETL的质量问题具体表现为正确性、完整性、一致性、完备性、有效性、时效性和可获取性等几个特性 22. Etl使用场合 实现bi 23. ETL的实现有多种方法，常用的有三种。 33.1. 一种是借助ETL工具(如Oracle的OWB、SQL Server 2000的DTS、SQL Server200...
数据挖掘，数据挖掘就是从大量的数据中挖掘出有用的信息
04-29
数据挖掘教程，数据仓库和数据发掘，数据挖掘就是从大量的数据中挖掘出有用的信息。它是根据人 们的特定要求，从浩如烟海的数据中找出所需的信息来，供人们的特定需求使用。
数据分析和数据挖掘的概念和理念
香菜君的博客
11-23 2686
第1节：基础概念 1.数据分析和数据挖掘的定义和概念 2.数据分析及数据挖掘的层次 3.数据分析及数据挖掘的模型框架 1.1数据分析及数据挖掘的定义： 数据分析 数据分析是指用适当的统计方法对收集来的大量数据进行分析，提取有用信息 和形成结论而对数据加以详细研究和概括总结的过程。 数据挖掘 数据挖掘是在大型数据存储库中，自动地发现有用信息的过程。是KKD（数据库中知识发现）不可缺少的一部分。 ...
mysql 数据挖掘_数据挖掘(DataMining)概述
weixin_28934081的博客
01-19 857
1.数据挖掘的定义数据挖掘：指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘在面向用户的互联网产品中发挥着及其重要的作用。2 数据挖掘的对象常见的数据挖掘对象有以下7大类关系型数据库(MySQL)、非关系系数据库(NoSQL)；数据仓库/多维度数据库(HDFS/Hive)；空间数据(如地图信息)工程数据(如建筑、集成电路的信息)文本和多媒体数据(如 文本、图像、音频、视频数据)时间相关的...
无序序列折半查找
qq_45780853的博客
10-29 1437
无序序列的折半查找，最终输出原数组中要寻找的数的下标 - 要使用折半查找那提供的数组一定要是有序的，可是当提供的是无序序列时，很多时候我们都是先将无序序列排序，然后输出想要找的数的下标，这显然不太对，我们现在要输出的是排序前的数在数组中的下标。一个思路就是再创建一个数组存储原先数组的下标，这里我利用冒泡排序将存数的数组和存下标的数组都排序，最终输出的就是想要的那个数在原数组的下标。 #include <iostream> using namespace std; int x[10.
浅谈数据挖掘
my0214163的博客
05-10 1660
数据挖掘 数据挖掘起源 人们迫切希望能对海量数据进行深入分析，发现并提取隐藏在其中的信息，以更好地利用这些数据。但仅以数据库系统的录入、查询、统计等功能，无法发现数据中存在的关系和规则，无法根据现有的数据预测未来的发展趋势，更缺乏挖掘数据背后隐藏知识的手段。正是在这样的条件下，数据挖掘技术应运而生。 数据挖掘同样需要数据库系统提供有效的存储、索引和查询处理支持。源于高性能(并行)计算的技术在处理海量数据集方面常常是重要的。分布式技术也能帮助处理海量数据，并且当数据不能集中到一起处理时更是至关重要.
统计学习方法——K近邻模型
刘炫320的博客
03-09 1万+
0. 写在前面在这一讲的讨论班中，我们将要讨论一下K近邻模型。可能有人会说，K近邻模型有什么好写的，那分明就是一个最简单的机器学习模型，哦，不，连机器学习也算不上的算法吧。但是这里，我想提醒的是，我们要讨论的，不仅仅是简单的K近邻模型，而是和它相关的一些有困惑的话题。1. K近邻定义k近邻算法，也成为KNN算法，是一种基本分类与回归算法。它在基本实现上，使用的是多数表决的惰性学习过程。也就是它实际上
Pandas第三次作业20200907
Narutolxy的博客
09-07 1816
练习1 • 读取北向.csv 指定第一列为行索引 • 查看数据的基本信息 有无缺失值 对其缺失值进行处理 • 删除缺失值所在行 • 查看数据的基本信息 查看数据是否清洗完毕 • index列没啥用 将index列删除 • 观察数据是否有重复行 • 将重复行进行删除 • 将行索引 进行升序 • 将处理好的数据 保存至 北向(副).csv #！/user/bin/env python #-*-coding: utf-8-*- #@Time : 2020/9/719:53 #@Author
大数据分析与挖掘
weixin_43952169的博客
02-23 1万+
第一章 绪论 大数据分析与挖掘简介 大数据的四个特点(4v)：容量(Volume)、多样性(Variety)、速度(Velocity)和价值 　　概念：数据分析是用适当的统计分析方法，对收集来的大量数据进行分析，提取有用信息和形成结论并对数据加以详细研究和概括总结的过程。数据分析可以分为三个层次，即描述分析、预测分析和规范分析。 　　数据挖掘：是指从数据集合中提取人们感兴趣的知识，这些知识是隐含的、实现未知的、潜在有用的信息。提取出来的知识一般可表示为概念、规则、规律、模式等形式。 大数据分析与挖掘主要技术
时间序列异常事件检测
热门推荐
Forever-守望
02-11 2万+
一、异常数据挖掘简介：      异常数据挖掘，又称为离群点分析或者孤立点挖掘。在人们对数据进行分析处理的过程中，经常会遇到少量这样的数据，它们与数据一般模式不一致，或者说与大多数样相比有些不一样。我们称这样的数据为异常数据，对异常数据的处理在某些领域很有价值，例如在网络安全领域，可以利用异常数据挖掘来分析网络中的异常行为；在金融领域异常数据挖掘可以识别信用卡的欺诈交易、股市的操控行为、会计
大数据分析与挖掘笔记（1）
x18845040365的博客
11-17 1837
第一章 绪论 大数据特点：4V 容量Volume 多样性Variety 速度Velocity 价值Value 数据分析时用适当的统计分析方法，对收集来的大量数据进行分析，提取有用信息和形成结论并对数据加以详细研究和概括总结的过程。 分为三个层次： 描述分析，预测分析，规范分析 大数据分析时指对规模巨大的数据进行分析，是从大数据到信息、再到知识的关键步骤 数据挖掘是指从数据...
数据分析--数据分析是什么？
小鱼干儿的博客
01-10 2551
数据分析是什么？数据分析与数据挖掘之间的关系数据分析数据挖掘数据分析的基本步骤python和数据分析 数据分析就是通过得到的数据，来发现各种规律之间的关系 数据分析与数据挖掘之间的关系 数据分析 定义：简单来说，数据分析就是对数据进行分析。专业的说法，数据分析是指根据分析目的，用适当的统计分析方法及工具，对收集来的数据进行处理与分析，提取有价值的信息，发挥数据的作用。 作用：它主要实现三大作用：现状分析、原因分析、预测分析（定量）。数据分析的目标明确，先做假设，然后通过数据分析来验证假设是否正确，从而得到
ai数据分析
最新发布
03-20
### AI在数据分析中的应用 #### 1. **大数据处理** AI技术通过高效的算法和分布式计算框架，可以快速处理海量数据集。例如，在Attilax的技术栈中，涉及到了大数据的热点分析、音乐关键词提取以及次云分析等功能[^1]。 #### 2. **自然语言处理 (NLP)** 利用深度学习模型，如Transformer架构，AI能够解析复杂的文本数据并从中提取有价值的信息。文心一言作为一款先进的NLP工具，具备强大的信息检索能力和多语言支持功能，适用于跨文化的数据分析场景[^2]。 #### 3. **计算机视觉** 图像识别与内容分析也是AI的重要领域之一。Attilax提到了图片属性分析，比如年龄估计和颜值评估等具体应用场景；这些都依赖于卷积神经网络(CNNs)及其他先进CV技术来实现自动化特征检测与分类任务。 ```python import cv2 from tensorflow.keras.models import load_model def predict_image_age(image_path, model_path='age_model.h5'): img = cv2.imread(image_path) resized_img = cv2.resize(img, (64, 64)) / 255. loaded_model = load_model(model_path) prediction = loaded_model.predict(resized_img.reshape(1, 64, 64, 3)) return int(prediction.argmax()) ``` 上述代码片段展示了如何加载预训练好的CNN模型来进行简单的面部年龄预测演示程序. #### 4. **机器学习建模** 规则引擎、决策树和支持向量机(SVM)等多种传统ML方法被广泛应用于构建预测型或描述性的统计学模型之中。而贝叶斯推断则常用于不确定性较高的环境下的概率估算问题解决上^. #### 5. **情感分析** 通过对社交媒体评论或者客户反馈邮件等内容实施情绪倾向判断可以帮助企业更好地理解消费者态度变化趋势从而调整营销策略方向。此过程一般会运用到LSTM(Long Short-Term Memory networks)这样的循环神经网路结构去捕捉序列间长期依赖关系特性. ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值