沉思录_xjg

由于最近实习期间赶任务，没有太多时间及时整理

大数据、物联网和云计算是新一代信息技术发展中的华彩乐章：物联网使成千上万的网络传感器嵌入到现实世界中，云计算为物联网产生的海量数据提供了存储空间和在线处理，而大数据则让海量数据产生了价值。

一、请谈谈你对Hadoop的理解？1、Hadoop是什么？(What is Hadoop)    Hadoop是Apache软件基金会的一个开源项目，是一个分布式处理海量数据的软件框架。    它为开发者提供了一个分布式系统的基础架构，用户可以在不了解分布式系统的底层细节的情况下开发分布式的应用，充分利用由大量廉价硬件设备组成的集群的强大功能，实现存储和高速运算。Hadoop项目中

1、HDFS设计为部署在廉价硬件上，它具有容错强的功能，它比较适合海量数据集的应用程序，用来存储海量数据，为应用程序提供高的吞吐量。HDFS的设计前提和目标：1）硬件故障   硬件故障是正常的，而不是异常的。HDFS由成百上千服务器组成，每个都存储着文件系统的一部分数据。事实上，这集群中就会有大量的组件   ，而每个组件出故障的可能性都很大，这意味着HDFS总有一些组件是不能工作的

1、MapReduce是一个用于对海量数据并行计算的编程模型，核心操作是Map和Reduce   MapReduce模式的思想是：将要自动分割执行的问题拆解成Map(映射)和Reduce(化简)的方式，在数据被分割后通过Map   函数的程序将数据映射成不同的区块，分配给计算机集群处理达到分布式运算的效果，再通过Reduce函数的程序将结果   汇总，从而输出开发者需要的结果。  

package org.apache.hadoop.examples;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apa

hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.4.1又增加了YARN HA注意：apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统上重新编译（建议第一次安装用32位的系统，我将

一、请谈谈你对云计算的理解1、云计算产生的背景    随着并行计算、分布计算、网格计算、虚拟化、SOA、容错技术、网络带宽等关键技术日趋成熟，通过网络访问非本地的计算服务（包括数据处理、存储和信息服务等）的条件越来越成熟，多种技术的融合就产生了“云计算”。之所以称之为“云”，是因为计算设施不在本地而是在网络中，用户不需要关心它们所处的具体位置，但它确实存在在某个地方。    其