文章标题

3、数据单位
大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

3.数据单位：
1 Byte =8 bit
1 KB = 1,024 Bytes = 8192 bit 10
1 MB = 1,024 KB = 1,048,576 Bytes 20
1 GB = 1,024 MB = 1,048,576 KB 30
1 TB = 1,024 GB = 1,048,576 MB 40
1 PB = 1,024 TB = 1,048,576 GB 50
1 EB = 1,024 PB = 1,048,576 TB 60
1 ZB = 1,024 EB = 1,048,576 PB 70
1 YB = 1,024 ZB = 1,048,576 EB
1 BB = 1,024 YB = 1,048,576 ZB
1 NB = 1,024 BB = 1,048,576 YB
1 DB = 1,024 NB = 1,048,576 BB

全称：
1 Bit（比特） =Binary Digit
8Bits = 1 Byte（字节）
1,000 Bytes = 1 Kilobyte
1,000Kilobytes = 1 Megabyte
1,000 Megabytes = 1 Gigabyte
1,000 Gigabytes = 1Terabyte
1,000 Terabytes = 1 Petabyte
1,000 Petabytes = 1 Exabyte
1,000Exabytes = 1 Zettabyte
1,000 Zettabytes = 1 Yottabyte
1,000 Yottabytes = 1Brontobyte
1,000 Brontobytes = 1 Geopbyte

4.数据分析流程： 采集-ETL-分析-显示

1. 决定目标：在获取数据之前，数据价值链的第一步要先决定目标：业务部门要决定数据科学团队的目标。这些目标通常需要进行大量的数据收集和分析。因为我们正在研究那些驱动决策的数据，所以需要一个可衡量的方式，判断业务是否正向着目标前进。数据分析过程中，关键权值或性能指标必须及早发现。
2. 确定业务手段：应该通过业务的改变，来提高关键指标和达到业务目标。如果没有什么可以改变的，无论收集和分析多少数据都不可能有进步。在项目中尽早确定目标、指标和业务手段能为项目指明方向，避免无意义的数据分析。例如，目标是提高客户滞留度，其中一个指标可以是客户更新他们订阅的百分比，业务手段可以是更新页面的设计，提醒邮件的时间和内容以及特别的促销活动。
3. 数据收集：数据收集要尽量广撒网。更多的数据—-特别是更多的不同来源的数据—-使得数据科学家能找到数据之间更好的相关性，建立更好的模型，找到更多的可行性见解。大数据经济意味着个人记录往往是无用的，拥有可供分析的每一条记录才能提供真正的价值。公司通过检测它们的网站来密切跟踪用户的点击及鼠标移动，商店通过在产品上附加RFID来跟踪用户的移动，教练通过在运动员身上附加传感器来跟踪他们的行动方式。
4. 数据清洗：数据分析的第一步是提高数据质量。数据科学家要纠正拼写错误，处理缺失数据以及清除无意义的信息。这是数据价值链中最关键的步骤。垃圾数据，即使是通过最好的分析，也将产生错误的结果，并误导业务本身。不止一个公司很惊讶地发现，他们很大一部分客户住在纽约的斯克内克塔迪，而该小镇的人口不到70000人。然而，斯克内克塔迪的邮政编码是12345，由于客户往往不愿将他们的真实信息填入在线表单，所以这个邮政编码会不成比例地出现在几乎每一个客户的档案数据库中。直接分析这些数据将导致错误的结论，除非数据分析师采取措施来验证和清洗数据。尤为重要的是，这一步将规模化执行，因为连续数据价值链要求传入的数据会立即被清洗，且清洗频率非常高。这通常意味着此过程将自动执行，但这并不意味着人无法参与其中。
5. 数据建模：数据科学家构建模型，关联数据与业务成果，提出关于在第一步中确定的业务手段变化的建议。数据科学家独一无二的专业知识是业务成功的关键所在，就体现在这一步—-关联数据，建立模型，预测业务成果。数据科学家必须有良好的统计学和机器学习背景，才能构建出科学、精确的模型，避免毫无意义的相关性及一些模型的陷阱。这些模型依赖于现有的数据，但对于未来的预测是无用的。但只有统计学背景是不够的，数据科学家还需要很好地了解业务，这样他们才能判断数学模型的结果是否有意义，以及是否具有相关性。
6. 培养一个数据科学团队：数据科学家是出了名的难雇用，所以最好自己构建一个数据科学团队，让团队中那些在统计学方面有高级学位的人专注于数据建模和预测，而其他人—-合格的基础架构工程师，软件开发人员和ETL专家—-构建必要的数据收集基础设施，数据管道和数据产品，使得结果数据能够从模型中输出，并以报告和表格的形式在业务中进行展示。这些团队通常使用类似Hadoop的大规模数据分析平台自动化数据收集和分析工作，并作为一个产品运行整个过程。
7. 优化和重复：数据价值链是一个可重复的过程，能够对业务和数据价值链本身产生连续的改进。基于模型的结果，业务将根据驱动手段做出改变，数据科学团队将评估结果。在结果的基础上，企业可以决定下一步计划，而数据科学团队继续进行数据收集、数据清理和数据建模。企业重复这个过程越快，就会越早修正发展方向，越快得到数据价值。理想情况下，多次迭代后，模型将产生准确的预测，业务将达到预定的目标，结果数据价值链将用于监测和报告，同时团队中的每个人将开始解决下一个业务挑战。

4、计算模式：

1.大数据查询分析计算模式与典型系统
由于行业数据规模的增长已大大超过了传统的关系数据库的承载和处理能力，因此，目前需要尽快研究并提供面向大数据存储管理和查询分析的新的技术方法和系统，尤其要解决在数据体量极大时如何能够提供实时或准实时的数据查询分析能力，满足企业日常的管理需求。然而，大数据的查询分析处理具有很大的技术挑战，在数量规模较大时，即使采用分布式数据存储管理和并行化计算方法，仍然难以达到关系数据库处理中小规模数据时那样的秒级响应性能。
大数据查询分析计算的典型系统包括Hadoop下的HBase和Hive、Facebook公司开发的Cassandra、Google公司的Dremel、Cloudera公司的实时查询引擎Impala；此外为了实现更高性能的数据查询分析，还出现了不少基于内存的分布式数据存储管理和查询系统，如Apache Spark下的数据仓库Shark、SAP公司的Hana、开源的Redis等。
2.批处理计算模式与典型系统
最适合于完成大数据批处理的计算模式是MapReduce，这是MapReduce设计之初的主要任务和目标。MapReduce是一个单输入、两阶段（Map和Reduce）的数据处理过程。首先，MapReduce对具有简单数据关系、易于划分的大规模数据采用“分而治之”的并行处理思想；然后将大量重复的数据记录处理过程总结成Map和Reduce两个抽象的操作；最后MapReduce提供了一个统一的并行计算框架，把并行计算所涉及到的诸多系统层细节都交给计算框架去完成，以此大大简化了程序员进行并行化程序设计的负担。
MapReduce的简单易用性使其成为目前大数据处理最成功的主流并行计算模式。在开源社区的努力下，开源的Hadoop系统目前已成为较为成熟的大数据处理平台，并已发展成一个包括众多数据处理工具和环境的完整的生态系统。目前几乎国内外的各个著名IT企业都在使用Hadoop平台进行企业内大数据的计算处理。此外，Spark系统也具备批处理计算的能力。
3.流式计算模式与典型系统
流式计算是一种高实时性的计算模式，需要对一定时间窗口内应用系统产生的新数据完成实时的计算处理，避免造成数据堆积和丢失。很多行业的大数据应用，如电信、电力、道路监控等行业应用以及互联网行业的访问日志处理，都同时具有高流量的流式数据和大量积累的历史数据，因而在提供批处理计算模式的同时，系统还需要能具备高实时性的流式计算能力。流式计算的一个特点是数据运动、运算不动，不同的运算节点常常绑定在不同的服务器上。
Facebook的Scribe和Apache的Flume都提供了一定的机制来构建日志数据处理流图。而更为通用的流式计算系统是Twitter公司的Storm、Yahoo公司的S4以及Apache Spark Steaming。
4.迭代计算模式与典型系统
为了克服Hadoop MapReduce难以支持迭代计算的缺陷，工业界和学术界对Hadoop MapReduce进行了不少改进研究。HaLoop把迭代控制放到MapReduce作业执行的框架内部，并通过循环敏感的调度器保证前次迭代的Reduce输出和本次迭代的Map输入数据在同一台物理机上，以减少迭代间的数据传输开销；iMapReduce在这个基础上保持Map和Reduce任务的持久性，规避启动和调度开销；而Twister在前两者的基础上进一步引入了可缓存的Map和Reduce对象，利用内存计算和pub/sub网络进行跨节点数据传输。
目前，一个具有快速和灵活的迭代计算能力的典型系统是Spark，其采用了基于内存的RDD数据集模型实现快速的迭代计算。
5.图计算模式与典型系统
社交网络、Web链接关系图等都包含大量具有复杂关系的图数据，这些图数据规模很大，常常达到数十亿的顶点和上万亿的边数。这样大的数据规模和非常复杂的数据关系，给图数据的存储管理和计算分析带来了很大的技术难题。用MapReduce计算模式处理这种具有复杂数据关系的图数据通常不能适应，为此，需要引入图计算模式。
大规模图数据处理首先要解决数据的存储管理问题，通常大规模图数据也需要使用分布式存储方式。但是，由于图数据具有很强的数据关系，分布式存储就带来了一个重要的图划分问题（Graph Partitioning）。根据图数据问题本身的特点，图划分可以使用“边切分”和“顶点切分”两种方式。在有效的图划分策略下，大规模图数据得以分布存储在不同节点上，并在每个节点上对本地子图进行并行化处理。与任务并行和数据并行的概念类似，由于图数据并行处理的特殊性，人们提出了一个新的“图并行”（Graph Parallel）的概念。事实上，图并行是数据并行的一个特殊形式，需要针对图数据处理的特征考虑一些特殊的数据组织模型和计算方法。
目前已经出现了很多分布式图计算系统，其中较为典型的系统包括Google公司的Pregel、Facebook对Pregel的开源实现Giraph、微软公司的Trinity、Spark下的GraphX，以及CMU的GraphLab以及由其衍生出来的目前性能最快的图数据处理系统PowerGraph。
6.内存计算模式与典型系统
Hadoop MapReduce为大数据处理提供了一个很好的平台。然而，由于MapReduce设计之初是为大数据线下批处理而设计的，随着数据规模的不断扩大，对于很多需要高响应性能的大数据查询分析计算问题，现有的以Hadoop为代表的大数据处理平台在计算性能上往往难以满足要求。随着内存价格的不断下降以及服务器可配置的内存容量的不断提高，用内存计算完成高速的大数据处理已经成为大数据计算的一个重要发展趋势。例如，Hana系统设计者总结了很多实际的商业应用后发现，一个提供50TB总内存容量的计算集群将能够满足绝大多数现有的商业系统对大数据的查询分析处理要求，如果一个服务器节点可配置1TB～2TB的内存，则需要25～50个服务器节点。目前Intel Xeon E-7系列处理器最大可支持高达1.5TB的内存，因此，配置一个上述大小规模的内存计算集群是可以做到的。

交互式进化计算
在交互式进化计算中，由于用户要根据自身偏好、经验和知识等为进化个体赋予适应值，所以，在充分利用人的智慧同时，不得不考虑用户的多种认知规律。首先，由于用户认知的复杂性，很难建立显式表示的用户偏好、经验等认知函数，而且由于用户认知的局限性，用户很难对进化个体赋予一个绝对的评价；其次，不同于计算机，在长期工作后，用户具有易疲劳特点，这使得用户不可能始终保持高度理性；再次，用户往往不能对所有进化个体给出一个十分确定的评价，这使得用户赋予个体的适应值具有一定的不确定性；另外，当需要优化的指标较多时，用户不可能同时关注所有的指标。

分布式系统（distributed system）
是建立在网络之上的软件系统。正是因为软件的特性，所以分布式系统具有高度的内聚性和透明性。因此，网络和分布式系统之间的区别更多的在于高层软件（特别是操作系统），而不是硬件。内聚性是指每一个数据库分布节点高度自治，有本地的数据库管理系统。透明性是指每一个数据库分布节点对用户的应用来说都是透明的，看不出是本地还是远程。在分布式数据库系统中，用户感觉不到数据是分布的，即用户不须知道关系是否分割、有无副本、数据存于哪个站点以及事务在哪个站点上执行等。
分布式软件系统(Distributed Software Systems)是支持分布式处理的软件系统,是在由通信网络互联的多处理机体系结构上执行任务的系统。它包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。
一、集中式系统
在学习分布式之前，先了解一下与之相对应的集中式系统是什么样的。
集中式系统用一句话概括就是：一个主机带多个终端。终端没有数据处理能力，仅负责数据的录入和输出。而运算、存储等全部在主机上进行。现在的银行系统，大部分都是这种集中式的系统，此外，在大型企业、科研单位、军队、政府等也有分布。集中式系统，主要流行于上个世纪。
集中式系统的最大的特点就是部署结构非常简单，底层一般采用从IBM、HP等厂商购买到的昂贵的大型主机。因此无需考虑如何对服务进行多节点的部署，也就不用考虑各节点之间的分布式协作问题。但是，由于采用单机部署。很可能带来系统大而复杂、难于维护、发生单点故障（单个点发生故障的时候会波及到整个系统或者网络，从而导致整个系统或者网络的瘫痪）、扩展性差等问题。
二、分布式系统(distributed system)
在《分布式系统概念与设计》一书中，对分布式系统做了如下定义：
分布式系统是一个硬件或软件组件分布在不同的网络计算机上，彼此之间仅仅通过消息传递进行通信和协调的系统
简单来说就是一群独立计算机集合共同对外提供服务，但是对于系统的用户来说，就像是一台计算机在提供服务一样。分布式意味着可以采用更多的普通计算机（相对于昂贵的大型机）组成分布式集群对外提供服务。计算机越多，CPU、内存、存储资源等也就越多，能够处理的并发访问量也就越大。
从分布式系统的概念中我们知道，各个主机之间通信和协调主要通过网络进行，所以，分布式系统中的计算机在空间上几乎没有任何限制，这些计算机可能被放在不同的机柜上，也可能被部署在不同的机房中，还可能在不同的城市中，对于大型的网站甚至可能分布在不同的国家和地区。但是，无论空间上如何分布，一个标准的分布式系统应该具有以下几个主要特征：
分布性
分布式系统中的多台计算机之间在空间位置上可以随意分布，系统中的多台计算机之间没有主、从之分，即没有控制整个系统的主机，也没有受控的从机。
透明性
系统资源被所有计算机共享。每台计算机的用户不仅可以使用本机的资源，还可以使用本分布式系统中其他计算机的资源(包括CPU、文件、打印机等)。
同一性
系统中的若干台计算机可以互相协作来完成一个共同的任务，或者说一个程序可以分布在几台计算机上并行地运行。
通信性
系统中任意两台计算机都可以通过通信来交换信息。
和集中式系统相比，分布式系统的性价比更高、处理能力更强、可靠性更高、也有很好的扩展性。但是，分布式在解决了网站的高并发问题的同时也带来了一些其他问题。首先，分布式的必要条件就是网络，这可能对性能甚至服务能力造成一定的影响。其次，一个集群中的服务器数量越多，服务器宕机的概率也就越大。另外，由于服务在集群中分布是部署，用户的请求只会落到其中一台机器上，所以，一旦处理不好就很容易产生数据一致性问题。
三、常用的分布式方案
分布式应用和服务
将应用和服务进行分层和分割，然后将应用和服务模块进行分布式部署。这样做不仅可以提高并发访问能力、减少数据库连接和资源消耗，还能使不同应用复用共同的服务，使业务易于扩展。
分布式静态资源
对网站的静态资源如JS、CSS、图片等资源进行分布式部署可以减轻应用服务器的负载压力，提高访问速度。
分布式数据和存储
大型网站常常需要处理海量数据，单台计算机往往无法提供足够的内存空间，可以对这些数据进行分布式存储。
分布式计算
随着计算技术的发展，有些应用需要非常巨大的计算能力才能完成，如果采用集中式计算，需要耗费相当长的时间来完成。分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理。这样可以节约整体计算时间，大大提高计算效率。
四、分布式与集群
分布式（distributed）是指在多台不同的服务器中部署不同的服务模块，通过远程调用协同工作，对外提供服务。
集群（cluster）是指在多台不同的服务器中部署相同应用或服务模块，构成一个集群，通过负载均衡设备对外提供服务。

7.CDH
CDH 1、CDH简介
CDH：全称Cloudera’s Distribution Including Apache Hadoop

　　CDH版本衍化

　　hadoop是一个开源项目，所以很多公司在这个基础进行商业化，Cloudera对hadoop做了相应的改变。

　　Cloudera公司的发行版，我们将该版本称为CDH(Cloudera Distribution
Hadoop)。截至目前为止，CDH共有5个版本，其中，前两个已经不再更新，最近的两个，分别是CDH4，在Apache Hadoop
2.0.0版本基础上演化而来的，CDH5，它们每隔一段时间便会更新一次。

1、Apache Hadoop 不足之处
　　• 版本管理混乱
　　• 部署过程繁琐、升级过程复杂
　　• 兼容性差
　　• 安全性低
2、hadoop 发行版
　　• Apache Hadoop
　　• Cloudera’s Distribution Including Apache Hadoop（CDH）
　　• Hortonworks Data Platform (HDP)
　　• MapR
　　• EMR
　　• …
3、CDH能解决哪些问题
　　• 1000台服务器的集群，最少要花费多长时间来搭建好Hadoop集群，包括Hive、Hbase、Flume、Kafka、Spark等等
　　• 只给你一天时间，完成以上工作？
　　• 对于以上集群进行hadoop版本升级，你会选择什么升级方案，最少要花费多长时间？
　　• 新版本的Hadoop，与hive、hbase、Flume、Kafka、Spark等等兼容？
4、CDH简介　
　　• Cloudera’s Distribution, including Apache Hadoop
　　• 是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建
　　• 提供了Hadoop的核心
　　　　– 可扩展存储
　　　　– 分布式计算
　　• 基于Web的用户界面
　　　　

5、CDH的优点　　
　　• 版本划分清晰
　　• 版本更新速度快
　　• 支持Kerberos安全认证
　　• 文档清晰
　　• 支持多种安装方式（Cloudera Manager方式）
6、CDH安装方式
　　• Cloudera Manager
　　• Yum
　　• Rpm
　　• Tarball
7、CDH下载地址
　　• CDH5.4
　　　　 http://archive.cloudera.com/cdh5/
　　•Cloudera Manager5.4.3：
　　　　 http://www.cloudera.com/downloads/manager/5-4-3.html

Apache Hadoop与第三方Hadoop-CDH,HDP,MapR的分析与比较

一、Hadoop版本综述

目前Hadoop发行版非常多，有华为发行版、Intel发行版、Cloudera发行版（CDH）等，所有这些发行版均是基于Apache Hadoop衍生出来的，之所以有这么多的版本，完全是由Apache Hadoop的开源协议决定的：任何人可以对其进行修改，并作为开源或商业产品发布/销售。(http://www.apache.org/licenses/LICENSE-2.0)。

国内绝大多数公司发行版是收费的，比如Intel发行版、华为发行版等，尽管这些发行版增加了很多开源版本没有的新feature，但绝大多数公司选择Hadoop版本时会将把是否收费作为重要指标，不收费的Hadoop版本主要有三个（均是国外厂商），分别是：
Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称“CDH”）、
Apache基金会hadoop、
Hortonworks版本（Hortonworks Data Platform，简称“HDP”）——–按顺序代表了，在国内的使用率，CDH和HDP虽然是收费版本，但是他们是开源的，只是收取服务费用。

对于国内而言，绝大多数选择CDH版本，主要理由如下：

（1） CDH对Hadoop版本的划分非常清晰，只有两个系列的版本(现在已经更新到CDH5.20了，基于hadoop2.x)，分别是cdh3和cdh4，分别对应第一代Hadoop（Hadoop 1.0）和第二代Hadoop（Hadoop 2.0），相比而言，Apache版本则混乱得多；
（2） CDH文档清晰，很多采用Apache版本的用户都会阅读cdh提供的文档，包括安装文档、升级文档等。

CDH与Apache版本的对应：
cdh3版本是基于apache  hadoop  0.20.2
cdh3u6对应到apache hadoop最新版本（Hadoop 1.x）
cdh4对应apache hadoop 2.x

HDP版本是比较新的版本，目前与apache基本同步，因为Hortonworks内部大部分员工都是apache代码贡献者，尤其是Hadoop 2.0的贡献者。

二、社区版本与第三方发行版本的比较

1.Apache社区版本

优点：
完全开源免费。
社区活跃
文档、资料详实

缺点：
—-复杂的版本管理。版本管理比较混乱的，各种版本层出不穷，让很多使用者不知所措。
—-复杂的集群部署、安装、配置。通常按照集群需要编写大量的配置文件，分发到每一台节点上，容易出错，效率低下。
—-复杂的集群运维。对集群的监控，运维，需要安装第三方的其他软件，如ganglia，nagois等，运维难度较大。
—-复杂的生态环境。在Hadoop生态圈中，组件的选择、使用，比如Hive，Mahout，Sqoop，Flume，Spark，Oozie等等，需要大量考虑兼容性的问题，版本是否兼容，组件是否有冲突，编译是否能通过等。经常会浪费大量的时间去编译组件，解决版本冲突问题。

2.第三方发行版本（如CDH，HDP，MapR等）

优点：
—-基于Apache协议，100%开源。
—-版本管理清晰。比如Cloudera，CDH1，CDH2，CDH3，CDH4等，后面加上补丁版本，如CDH4.1.0 patch level 923.142，表示在原生态Apache Hadoop 0.20.2基础上添加了1065个patch。
—-比Apache Hadoop在兼容性、安全性、稳定性上有增强。第三方发行版通常都经过了大量的测试验证，有众多部署实例，大量的运行到各种生产环境。
—-版本更新快。通常情况，比如CDH每个季度会有一个update，每一年会有一个release。
—-基于稳定版本Apache Hadoop，并应用了最新Bug修复或Feature的patch
—-提供了部署、安装、配置工具，大大提高了集群部署的效率，可以在几个小时内部署好集群。
—-运维简单。提供了管理、监控、诊断、配置修改的工具，管理配置方便，定位问题快速、准确，使运维工作简单，有效。

缺点：
—-涉及到厂商锁定的问题。（可以通过技术解决）

三、第三方发行版本的比较

Cloudera：最成型的发行版本，拥有最多的部署案例。提供强大的部署、管理和监控工具。Cloudera开发并贡献了可实时处理大数据的Impala项目。

Hortonworks：不拥有任何私有（非开源）修改地使用了100%开源Apache Hadoop的唯一提供商。Hortonworks是第一家使用了Apache HCatalog的元数据服务特性的提供商。并且，它们的Stinger开创性地极大地优化了Hive项目。Hortonworks为入门提供了一个非常好的，易于使用的沙盒。Hortonworks开发了很多增强特性并提交至核心主干，这使得Apache Hadoop能够在包括Windows Server和Windows Azure在内的Microsft Windows平台上本地运行。

MapR：与竞争者相比，它使用了一些不同的概念，特别是为了获取更好的性能和易用性而支持本地Unix文件系统而不是HDFS（使用非开源的组件）。可以使用本地Unix命令来代替Hadoop命令。除此之外，MapR还凭借诸如快照、镜像或有状态的故障恢复之类的高可用性特性来与其他竞争者相区别。该公司也领导着Apache Drill项目，本项目是Google的Dremel的开源项目的重新实现，目的是在Hadoop数据上执行类似SQL的查询以提供实时处理。

四、版本选择
当我们决定是否采用某个软件用于开源环境时，通常需要考虑以下几个因素：
（1）是否为开源软件，即是否免费。
（2） 是否有稳定版，这个一般软件官方网站会给出说明。
（3） 是否经实践验证，这个可通过检查是否有一些大点的公司已经在生产环境中使用知道。
（4） 是否有强大的社区支持，当出现一个问题时，能够通过社区、论坛等网络资源快速获取解决方法。