关于大数据技术原理与应用的学习（１）

学习目标：

• 大数据技术原理与应用

---

学习内容：

1. 大数据概述

• 1.1大数据时代
• 1.2大数据的概念和影响
• 1.3大数据的应用
• 1.4大数据的关键技术
• 1.5大数据与云计算、物联网的关系

---

学习时间：

2022/03/10

---

学习产出：

1.1大数据时代

• 信息化浪潮
  信息化浪潮/发生时间/标志/解决问题/代表企业
  第一次/1980年前后/个人计算机/信息处理/Inter\IBM\苹果\微软
  第二次/1995年前后/互联网/信息传输/ 雅虎\谷歌\阿里巴巴\百度
  第三次/2010年前后/物联网、云计算和大数据/信息爆炸/新的市场标杆企业

• 技术支撑：
  1　存储——存储设备容量不断增加
  2　CPU——处理能力大幅度提升
  3　网络带宽不断增加

• 阶段
  １　第一阶段　运营式系统阶段
  ２　第二阶段　用户原创内容阶段
  ３　第三阶段　感知式系统阶段（物联网的迅速普及）

• 大数据的发展历程
  时间　　　　　　　　　　　　　　　　　　　　　　阶段
  上世纪90年代至上世界末期　　　　　　　　　　　 萌芽期
  本世纪前十年　　　　　　　　　　　　　　　　 　成熟期
  2010年以后　　　　　　　　　　　　　　　　　　大规模应用期

1.2大数据的概念和影响

• 4V：快速化/多样化/价值密度低/大量化

• 大数据是有结构化数据和非结构化数据构成

• 影响：
  （１）全样而非抽样
  （２）效率而非精确
  （３）相关而非因果

1.3大数据的应用
（１）业务流程优化
（２）理解满足客户需求
（３）金融交易
（４）实时掌控交通情况改善日常生活
（５）研发智能汽车、医疗方面

案例：美国传统流感预测、影视投资等等

1.4大数据关键技术

• 大数据技术层次：
  （１）数据采集
  （２）数据存储与管理
  （３）数据处理与分析
  （４）数据隐私与安全

• 两大核心技术：
  （１）分布式存储
  （２）分布式处理

• 大数据典型的计算模式：
  批处理计算（针对大规模数据的批量计算，代表产品：MapReduce/Spark）、流计算（针对流数据的实时计算，代表产品：Strom/S4/Flume/银河流）、图计算（针对大规模图结构数据的处理，代表产品：Pregel/GraphX/PowerGraph/Hama）、查询分析计算（大规模数据的存储管理和查询分析，代表产品：Dremel/Hive/Impala等）

1.５大数据与云计算、物联网的关系

• 1.5.1云计算
  解决两个核心问题：分布式存储、分布式计算
  典型特征：虚拟化、多租户
  定义概念：通过网络以服务的方式为用户提供非常廉价的IT资源
  优势：不需要自建IT基础设施
  三种云服务：IaaS——基础设施即服务， PaaS——平台即服务，SaaS——软件即服务
  云计算关键技术：
  虚拟化（Hadoop/Linux/虚拟机/Win/硬件）、分布式存储、分布式计算、多租户（同时为多个用户服务）
  云计算典型应用：政务云、教育云、医疗云、中小企业云

• 1.5.2物联网
  定义概念：物物相连的互联网，是互联网的延伸。
  层次架构：
  感知层（导航定位、摄像头、传感器等等）、网络层（电信网、互联网、广电网、专用网等等）、处理层（服务支撑平台、网络管理平台、信息处理平台、信息安全平台）、应用层（智能交通、智能家具、智慧医疗等等）
  典型的物联网应用：掌上智能公交、智慧城市
  物联网关键技术：识别技术、感知技术（RFID）
  物联网的应用：智能工业、智能交通、健康医疗、智能家居、环保监测、智能安防、智慧农业等等

• 总结：
  云计算为大数据提供技术基础，大数据为云计算提供用武之地；
  云计算为物联网提供海量数据存储能力，物联网为云计算技术提供了广阔的应用空间；
  物联网是大数据的重要来源，大数据技术为物联网数据分析提供支撑；