大数据概论知识整理

本文探讨了数据科学的学科地位,强调统计学和机器学习作为其核心组成部分。统计学提供了描述性和推断性的分析方法,如回归、分类和聚类,而机器学习专注于通过算法如决策树、神经网络和贝叶斯学习进行预测和模式识别。两者在数据科学中的融合应用,如在IBM Watson项目中,展示了数据科学的强大潜力。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

目录

学习要求

一、数据科学的学科地位

二、统计学

1.统计学与数据科学

2.数据科学中常用的统计学知识 

3.统计学与机器学习的区别与联系

 4.数据科学视角下的统计学

三、机器学习

1.机器学习与数据科学

2.数据科学中常用的机器学习的知识

(1)基于实例学习

(2)概念学习

(3)决策树学习

(4)人工神经网络学习

(5)贝叶斯学习

(6)遗传算法

(7)分析学习

(8)增强学习

3.机器学习在数据科学中的应用

四。数据可视化

总结



学习要求

掌握:数据科学的学科地位

理解:统计学、机器学习、数据可视化对数据科学的主要影响

了解:数据科学的理论基础

一、数据科学的学科地位

从学科定位看,数据科学处于数学与统计知识、黑客精神与技能和领域实务知识三大领域重叠之处。

  • 数据科学与(传统)数学和统计学有区别
  • “黑客精神与技能”——大胆创新、喜欢挑战、追求完美和不断改进
  • “领域和务实知识”——不仅掌握数学与统计知识以及具备黑客精神与技能,而且还需要精通某一个特定领域的实务知识与经验
  • 数据科学:大数据背后的科学
  1. 新兴科学:是一门将“现实世 界”映射到“数据世 界”之后,在“数据 层次”上研究“现实 世界”的问题,并 根据“数据世界”的 分析结果,对“现 实世界”进行预测 、洞见、解释或 决策的新兴科学
  2. 交叉性学科:是一门以“数据”,尤其是“大数据”为 研究对象,并以 数据统计、机器 学习、数据可视 化等为理论基础 ,主要研究数据 加工与准备、数 据分析、数据管 理、数据计算、 数据产品开发等 活动的交叉性学科
  3. 独立学科:是一门以实现“从 数据到信息”、“从 数据到知识”和(  或)“从数据到智 慧”的转化为主要 研究目的,以“数 据驱动”、“数据业 务化”、“数据洞见  ”、“数据产品研发  ”和(或)“数据生 态系统的建设”为 主要研究任务的 独立学科
  4. 知识体系:是一门以“数据时 代”,尤其是“大数 据时代”面临的新 挑战、新机会、 新思维和新方法 为核心内容的,包括新的理论、 方法、模型、技 术、平台、工具 、应用和最佳实 践在内的一整套 知识体系。

二、统计学

1.统计学与数据科学

统计学是数据科学的主要基础理论之一。

2.数据科学中常用的统计学知识 

  • 从行为目的与思维方式看

         描述统计:集中趋势分析、离中趋势分析

         推断统计:采样分布、参数估计、假设检验

  • 从方法论角度

         基本分析法:回归分析、分类分析、聚类分析、关联规则分析、时间序列分析

         元分析法:加权平均法、优化方法

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值