Atitit 数据挖掘之道 attilax总结 艾龙著 1. 数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。 1 2. 数据（Data）-信息（information）-知识（K

最新推荐文章于 2022-07-12 20:47:54 发布
最新推荐文章于 2022-07-12 20:47:54 发布
阅读量7.7k 收藏
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/attilax/article/details/79511057
本文是Attitit关于数据挖掘的总结，讲述了数据挖掘是从大量数据中寻找隐藏信息的过程，涉及数据（Data）-信息（Information）-知识（Knowledge）的转化。数据挖掘步骤包括ETL、数据仓库、挖掘工具和知识发现。文章详细介绍了ETL、分类聚类、领域分析、数据转换、结构化挖掘、推荐系统、关联规则、统计分析、人工智能、模式识别等多个技术点，并讨论了数据挖掘在情感分析、偏好分析等领域的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Atitit  数据挖掘之道 attilax总结 艾龙著

 

1. 数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。 1

2. 数据（Data）-信息（information）-知识（Knowledge）是一个递进的关系。 1

3. 数据挖掘的步骤一般可以分为：数据提取（ETL）－数据仓库－数据挖掘工具－知识发现。 2

4. 包含的技术点 与挖掘方法详细 分析方法： 2

4.1. ETL 相似度分析  模式识别 2

4.2. 分类、聚类 2

4.3. 垂直领域分析 比如  图片挖掘 yifu pose等 2

4.4. 数据转换  方便体积缩小 方便存储 2

4.5. 结构化 复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等) 2

4.6. 、推荐、关联规则 3

4.7. Tag  join groupby分组聚合  统计聚合 3

4.8. 可视化 3

4.9. HTML分析 3

4.10. 来自统计学的抽样、估计和假设检验， 3

4.11. (2)人工智能、模式识别和机器学习的搜索算法、建模技术和学习理论。 3

4.12. 最优化、进化计算、信息论、信号处理、可视化和信息检索。一 3

4.13.  估计（

最低0.47元/天 解锁文章

200万优质内容无限畅学
attilax
关注
机器学习经典算法详解及Python实现--K近邻(KNN)算法
Adan
12-16 1万+
KNN（K Nearest Neighbors,K近邻 ）算法是机器学习所有算法中理论最简单，最好理解的一种监督学习算法。KNN是一种基于实例的学习，通过计算新数据与训练数据特征值之间的距离，然后选取K（K>=1）个距离最近的邻居进行分类判断（投票法）或者回归。使用KNN算法时我们必须有接近实际数据的训练样本数据。K-近邻算法必须保存全部数据集，如果训练数据集的很大，必须使用大量的存储空间。此外,由于必须对数据集中的每个数据计算距离值，实际使用时可能非常耗时。k-近邻算法的另一个缺陷是它无法给出任何数据的基
什么是数据挖掘，机器学习与数据挖掘主要有什么联系？
数智集的博客
04-04 2402
数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘本质上像是机器学习和人工智能的基础，它的主要目的是从各种各样的数据来源中，提取出超集的信息，然后将这些信息合并让你发现你从来没有想到过的模式和内在关系。这就意味着，数据挖掘不是一种用来证明假说的方法，而是用来构建各种各样的假说的方法。数据挖掘不能告诉你这些问题的答案，他只能告诉你，A和B可能存在相关关系，但是它无法告诉你A和B...
一、数据挖掘概述
GUANGZHAN的专栏
02-28 1942
数据挖掘_unit01 1.数据挖掘的定义 1.1 问题 数据挖掘的概念是什么,为什么要进行数据挖掘？ 1.2 方案 数据挖掘：指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘在面向用户的互联网产品中发挥着及其重要的作用。 ![数据挖掘平台案例](https://img-blog.csdnimg.cn/20200228103042194.png?x-oss-process=image/w...
知识体系——从数据到智慧，这几步你做对了吗？
weixin_30576827的博客
02-25 778
http://baijiahao.baidu.com/s?id=1580149197433333383&wfr=spider&for=pc 知识体系——从数据到智慧，这几步你做对了吗？ 风亦有青 17-10-0220:35 智慧 最近看到很多反思碎片化阅读、知识付费、知识焦虑的文章，有好几篇文章里都引用了这句话——只有当潮水退去的时候，才知...
Atitit 数据分析之道 attilax著 1. 数据分析的目的 2 1.1. 描述型：发生了什么？可视化仪表盘化很重要。 3 1.2. 2. 诊断型：为什么会发生？结合历史记录 3 1.3. 3
attilax的专栏
02-07 4314
Atitit 数据分析之道 attilax著   1. 数据分析的目的 2 1.1. 描述型：发生了什么？可视化仪表盘化很重要。 3 1.2. 2. 诊断型：为什么会发生？结合历史记录 3 1.3. 3. 预测型：可能发生什么？ 4 1.4. 4. 指导型 规划未来行动：我需要做什么？ 4 2. 数据分析 4 3. 与数据挖掘的区别 5 3.1. 数据挖掘更侧重于机器对未来的
Atitit 知识图谱的数据来源
attilax的专栏
10-25 2163
Atitit 知识图谱的数据来源   2. 知识图谱的数据来源1 a) 百科类数据2 b) 结构化数据3 c) 半结构化数据挖掘AVP (垂直站点爬虫)3 d) 通过搜索日志(query record log)进行实体和实体属性等挖掘4     2. 知识图谱的数据来源 为了提高搜索质量，特别是提供如对话搜索和复杂问答等新的搜索体验，我们不仅要求知识图谱包含大量高质量的常
艾提拉近年来技术大总结
attilax的专栏
05-08 2143
##基本信息 姓名：艾提拉民族：汉生日：1984.3 email:1466519819@qq.com 英文名&网名id ： attilax 曾用名：艾龙 ##主要方向与目标： 技术方向 Cto cio 技术总监技术经理 软件讲师，培训师，架构师，高级工程师，咨询 顾问 项目经理 it支持 ...
数据挖掘，数据挖掘就是从大量的数据中挖掘出有用的信息
04-29
数据挖掘教程，数据仓库和数据发掘，数据挖掘就是从大量的数据中挖掘出有用的信息。它是根据人 们的特定要求，从浩如烟海的数据中找出所需的信息来，供人们的特定需求使用。
数据分析和数据挖掘的概念和理念
香菜君的博客
11-23 2662
第1节：基础概念 1.数据分析和数据挖掘的定义和概念 2.数据分析及数据挖掘的层次 3.数据分析及数据挖掘的模型框架 1.1数据分析及数据挖掘的定义： 数据分析 数据分析是指用适当的统计方法对收集来的大量数据进行分析，提取有用信息 和形成结论而对数据加以详细研究和概括总结的过程。 数据挖掘 数据挖掘是在大型数据存储库中，自动地发现有用信息的过程。是KKD（数据库中知识发现）不可缺少的一部分。 ...
mysql 数据挖掘_数据挖掘(DataMining)概述
weixin_28934081的博客
01-19 833
1.数据挖掘的定义数据挖掘：指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘在面向用户的互联网产品中发挥着及其重要的作用。2 数据挖掘的对象常见的数据挖掘对象有以下7大类关系型数据库(MySQL)、非关系系数据库(NoSQL)；数据仓库/多维度数据库(HDFS/Hive)；空间数据(如地图信息)工程数据(如建筑、集成电路的信息)文本和多媒体数据(如 文本、图像、音频、视频数据)时间相关的...
《数据挖掘基础》习题一
lazyn的博客
07-12 2884
7. 数据（data）、信息（information）和知识（knowledge）是人们认识和利用数据的三个不同阶段，数据挖掘技术是如何把它们有机的结合在一起的？ 数据是形成知识的源泉，不断的利用知识来获得信息，具体表现如下： 客观世界—（收集）—》数据—（分析）—》信息—（深入分析）—》知识—（决策与行动）—》客观世界。 11. 你认为应该如何来理解KDD和Data mining的关系？说明理由？ 在某些时候可以认为Data mining就是KDD，KDD在人工智能界更流行。...
浅谈数据挖掘
my0214163的博客
05-10 1630
数据挖掘 数据挖掘起源 人们迫切希望能对海量数据进行深入分析，发现并提取隐藏在其中的信息，以更好地利用这些数据。但仅以数据库系统的录入、查询、统计等功能，无法发现数据中存在的关系和规则，无法根据现有的数据预测未来的发展趋势，更缺乏挖掘数据背后隐藏知识的手段。正是在这样的条件下，数据挖掘技术应运而生。 数据挖掘同样需要数据库系统提供有效的存储、索引和查询处理支持。源于高性能(并行)计算的技术在处理海量数据集方面常常是重要的。分布式技术也能帮助处理海量数据，并且当数据不能集中到一起处理时更是至关重要.
Pandas第三次作业20200907
Narutolxy的博客
09-07 1788
练习1 • 读取北向.csv 指定第一列为行索引 • 查看数据的基本信息 有无缺失值 对其缺失值进行处理 • 删除缺失值所在行 • 查看数据的基本信息 查看数据是否清洗完毕 • index列没啥用 将index列删除 • 观察数据是否有重复行 • 将重复行进行删除 • 将行索引 进行升序 • 将处理好的数据 保存至 北向(副).csv #！/user/bin/env python #-*-coding: utf-8-*- #@Time : 2020/9/719:53 #@Author
浅谈数据挖掘与机器学习
热门推荐
老杨的博客
08-17 4万+
引言在大多数非计算机专业人士以及部分计算机专业背景人士眼中，机器学习(Data Mining)以及数据挖掘(Machine Learning)是两个高深的领域。在笔者看来，这是一种过高”瞻仰“的习惯性错误理解（在这里我加了好多定语）。事实上，这两个领域与计算机其他领域一样都是在融汇理论和实践的过程中不断熟练和深入，不同之处仅在于渗透了更多的数学知识（主要是统计学），在后面的文章中我会努力将这些数学知
机器学习--K-近邻算法(KNN)
LI_dreamit的博客
09-07 9913
1、K近邻算法的特点 k-近邻算法，也叫KNN算法(K-Nearest Neihbor，KNN)，是一个非常适合入门的算法，拥有如下特性： 适用于分类问题，尤其是二分类，当然也可以用来预测回归问题 思想极度简单，应用数学知识少(近乎为零) 对于很多不擅长数学的小伙伴十分友好，KNN算法几乎用不到数学专业知识 机器学习算法的hello world算法 效果好 虽然算法简单，但效果也不错 缺点也是存在的，后面会进行讲解
深入理解机器学习——k近邻（kNN，k-Nearest Neighbor）算法：基础知识
冯·诺依曼
11-06 1万+
k近邻（k-Nearest Neighbor，kNN）算法是一种常用的监督学习方法，其工作机制非常简单：给定测试样本，基于某种距离度量找出训练集中与其最靠近的kkk个训练样本，然后基于这kkk个“邻居”的信息来进行预测。通常，在分类任务中可使用“投票法”，即选择这kkk个样本中出现最多的类别标记作为预测结果；在回归任务中可使用“平均法”，即将这kkk个样本的实值输出标记的平均值作为预测结果；还可基于距离远近进行加权平均或加权投票，距离越近的样本权重越大。 与前面介绍的学习方法相比，k近邻学习有一个明显的不同
数据挖掘算法总结
小凤的博客
07-24 6220
原文链接：http://qing.blog.sina.com.cn/tj/591d4f4933002uc9.html
数据挖掘是什么？
developer
04-15 1005
众所周之，数据挖掘（DW）是商业智能（BI）里相当重要的一部分。那数据挖掘到底是什么呢，本文将对此探讨一下。人们在日常生活中经常会遇到这样的情况：超市的经营者希望将经常被同时购买的商品放在一起，以增加销售；保险公司想知道购买保险的客户一般具有哪些特征；医学研 究人员希望从已有的成千上万份病历中找出患某种疾病的病人的共同特征，从而为治愈这种疾病提供一些帮助。对于以上问题，现有信息管理
数据挖掘
ADfengge的博客
09-02 1249
数据库技术发展与用户需求对比： 进化阶段 支持技术 产品特点 数据搜集（20世纪60年代） 计算机、磁带和磁盘 提供历史性的、静态的数据信息 数据访问（20世纪80年代） 关系型数据库 在记录级提供历史性的、动态的数据信息 数据仓库；决策树支持（20世纪90年代） 数据分析处理，多维数据库、数据仓库 在各种层次上提供回溯的、动态的...
ai数据分析
最新发布
03-20
### AI在数据分析中的应用 #### 1. **大数据处理** AI技术通过高效的算法和分布式计算框架，可以快速处理海量数据集。例如，在Attilax的技术栈中，涉及到了大数据的热点分析、音乐关键词提取以及次云分析等功能[^1]。 #### 2. **自然语言处理 (NLP)** 利用深度学习模型，如Transformer架构，AI能够解析复杂的文本数据并从中提取有价值的信息。文心一言作为一款先进的NLP工具，具备强大的信息检索能力和多语言支持功能，适用于跨文化的数据分析场景[^2]。 #### 3. **计算机视觉** 图像识别与内容分析也是AI的重要领域之一。Attilax提到了图片属性分析，比如年龄估计和颜值评估等具体应用场景；这些都依赖于卷积神经网络(CNNs)及其他先进CV技术来实现自动化特征检测与分类任务。 ```python import cv2 from tensorflow.keras.models import load_model def predict_image_age(image_path, model_path='age_model.h5'): img = cv2.imread(image_path) resized_img = cv2.resize(img, (64, 64)) / 255. loaded_model = load_model(model_path) prediction = loaded_model.predict(resized_img.reshape(1, 64, 64, 3)) return int(prediction.argmax()) ``` 上述代码片段展示了如何加载预训练好的CNN模型来进行简单的面部年龄预测演示程序. #### 4. **机器学习建模** 规则引擎、决策树和支持向量机(SVM)等多种传统ML方法被广泛应用于构建预测型或描述性的统计学模型之中。而贝叶斯推断则常用于不确定性较高的环境下的概率估算问题解决上^. #### 5. **情感分析** 通过对社交媒体评论或者客户反馈邮件等内容实施情绪倾向判断可以帮助企业更好地理解消费者态度变化趋势从而调整营销策略方向。此过程一般会运用到LSTM(Long Short-Term Memory networks)这样的循环神经网路结构去捕捉序列间长期依赖关系特性. ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值