初识Hadoop-大数据概述

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

提示：这里可以添加本文要记录的大概内容：

根据IDC 监测，人类产生的数据量正在呈指数级增长，大约每两年翻一番，这个速度会继续保持下去，数据结构日趋复杂，大量新数据源的出现则导致非结构化、半结构化数据爆发式的增长。2020 年，整个世界的数据总量达到60ZB（1ZB=10 亿TB）中国数据量增速迅猛，总量占全球占比达20%

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

所涉及的数据资料规模巨大到无法通过人脑、甚至主流软件工具，在合理的时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

提示：以下是本篇文章正文内容，下面案例可供参考

一、大数据的定义

大数据一般指在10TB(1TB=1024GB)规模以上的数据量。大数据同过去的海量数据有所区别，其基本特征可以用4个V来总结(Volume、Variety、Value和Velocity)，即体量大、多样性、价值密度低、速度快。
• 数据体量巨大Volume：从TB级别，跃升到PB级别。
• 数据类型繁多Variety：如前文提到的网络日志、视频、图片、地理位置信息，等等。
• 价值密度低Value：以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。
• 处理速度快Velocity：1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。

二、大数据技术发展

虚拟的内容是资源（包括CPU、内存、存储、网络等）；虚拟的资源有统一的逻辑表示，能使提供的虚拟资源与物理资源功能基本相同。能使虚拟化资源不受物理资源的限制。

虚拟化是云计算的基础的概念
云计算（cloud computing）是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。
云是网络、互联网的一种比喻说法，用户通过电脑、笔记本、手机等方式接入数据中心，按自己的需求进行运算。

云计算是为大数据提供计算力的技术领域

大数据技术：
是指从各种各样类型的巨量数据中，快速获得有价值信息的技术。而解决大数据问题的核心是大数据技术。
大数据技术要面对的基本问题，也是最核心的问题：
就是是海量数据如何可靠存储和高效计算。

1. 云计算与大数据的关系是静与动的关系，
2. 前者强调的是计算、存储能力；
3. 大数据需要处理大数据的能力（数据获取、清洗、转换、存储、分析、统计等能力），其实就是强大的计算能力和数据存储能力。
4. 大数据必须采用云端分布式架构对海量数据进行分布式存储、分布式处理。
5. 云计算为大数据资源、大数据挖掘提供技术设施
6. 大数据挖掘为云计算建设和运作提供决策

2003年，Google发表了论文《The Google File System》，介绍GFS分布式计算式文件系统。
2004年，Google发表了论文《MapReduce: Simplified Data Processing on Large Clusters》，介绍并行计算模型MapReduce。
2006年，Google发表了《Bigtable: A Distributed Storage System for Structured Data》介绍Google大表（BigTable）的设计，Bigtable是Google的分布式数据存储系统，用来处理海量的数据的一种非关系型的数据。
Hadoop根据Google的论文GFS、MapReduce先后实现了HDFS分布式文件系统、MapReduce分布式计算模型并开源。2008年，Hadoop成为Apache顶级项目。
2010年， Hadoop根据Google的论文Bigtable，开发出HBase并开源。开源组织GNU 发布Mongodb，Vmware 提供开源产品Redis。
2011年Twitter提供开源产品Storm，它是开源的分布式实时计算系统。
2014年，Spark成为了Apache的顶级项目，它专为大规模数据处理而设计的快速通用的计算引擎。
新的技术不断出现…

三、大数据工程师知识图谱

作用	工具
数据收集	Flume
数据挖掘	Mohout、MlLib
数据处理	Hadoop、Hive、Pig、HBase、Spark
数据传输	Sqoop、其它ETL工具
数据呈现	SPSS、Excel、JSP、JS、html

四、大数据的应用

实时交通信息：利用社交网络和天气数据来优化最新的交通情况
智能城市系统：自动通知消防、公安、医院等，迅速到达现场处理
自然灾害预测：实时监测、对潜在危机做出快速响应，通过卫星和遥感技术,远程获取灾区情况，制定合理救援计划。
智慧城市建设：宏观调控人口、环境、土地资源利用等，做高效的城市规划建设。
穿戴的装备：根据睡眠模式、热量消耗、心率等时刻监控健康状况。
提高医疗和研发：迅速解码DNA，结