Hadoop学习（环境配置）

一、生态系统的组成

Hadoop Common：0.2版本开始，Hadoop项目的core部分更名为Hadoop common，为其Hadoop其他项目提供了一些常用工具。包括系统配置工具Configuration、远程过程调用RPC、序列化机制和Hadoop抽象文件系统FieSystem等。

Avro： 是一个数据序列化系统。可以将数据结构或者对象转换成便于存储和传输的格式。

  Zookeeper： 是一个分布式的服务框架。可用于处理分布式的一些数据管理问题，如统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。

. HDFS： Hadoop分布式文件系统(Hadoop Distributed File System)，是Hadoop体系中数据存储管理的基础。

 MapReduce： 是一种计算模型，用于进行大数据量的计算。

HBase： 是google的BigTable的开源实现，是一个针对结构化数据的可伸缩、高可靠、高性能、分布式和面向列的动态模式数据库。

 Hive： 是建立在Hadoop基础上的数据仓库架构。

Pig： 是对大型数据集进行分析 和评估的平台，数据分析工具。

Mahout： 在Hadoop基础上创建一些可扩展的机器学习领域经典算法的实现。

X-RIME： 开源的社会网络分析工具。

Crossbow： 利用Hadoop集群进行生物计算。

 Chukwa： 开源的数据收集系统。

 Flume： 日志收集系统。

Sqoop： 是SQL-to-Hadoop的缩写，主要是在结构化数据存储与Hadoop之间进行数据交换。

 Oozie： 开源工作流引擎。
 
原文链接：https://blog.youkuaiyun.com/gao_xianwei/article/details/84522655

2、ant环境配置

Windows下安装 Ant

首先进入 Ant 的下载界面 http://ant.apache.org/bindownload.cgi，Windows 平台的同学选在下载 .zip 格式的压缩包，目前（2016-10-27）最新的版本是 1.9.7 ，所以我们这里就已这个版本在 Windows 下的安装为教程（在安装 Ant 之前，我们要确保 JDK 已经正确的安装在我们的计算机上面了，因为 Ant 的运行需要依赖 JDK）。

a,下载压缩包

b，解压

解压 .zip文件，并放在某个目录下，例如：放在 D:\Program Files\Apache Software Foundation 目录下，解压后的文件名是 apache-ant-1.9.7

解压之后文件结构：
1、bin:启动和运行Ant的可执行命令。
2、etc:包含一些样式单文件，通常无需理会。
3、lib:包含Ant的核心类库以及编译和运行Ant的第三方类库。
4、manual:Ant工具的相关文档，对学习Ant很有帮助。

c 、设置环境变量

点系统变量—新建

变量名：ANT_HOME

变量值：E:\apache-ant-1.7.0（这个是你的ant存放的路径）

点击确定后双击Path,在最后添加分号 ;  （这个东西前面有就别加了）

;%ANT_HOME%\bin

点击确定后双击ClassPath ,

;%ANT_HOME%\lib

验证:  cmd中输入：ant -version

 问题：说明环境配置出错

3、安装cygwin 

到官网上下载：https://cygwin.com/install.html

官网：http://www.cygwin.com/

Cygwin的优点：近乎一致的UNIX/Linux体验、开源免费、安装卸载方便、源码级兼容性、与Windows互操作、多一套可用的API。

安装步骤：

选择组件比较重要，点击右边小三角把default改为install；有几种必须要安装的，如：

* Base组件的全部，操作方法是点击Base后面的Default，变为Install）

* Devel组件下的subversion及其他将来开发需要用到的组件，例如autoconf等，操作方法是展开Devel组件，点击各个小组件前的Keep文字，变为相应的版本号。

* Net组件下的openssh和openssl组件，用于hadoop需要的ssh访问，操作方法同上。

* System组件下的util-linux组件，用于使用一些常用的more等功能进行调试，操作方法同上。

* 其他一些可能用到的组件，我还单独选择了Perl、Python、Ruby、Science等组件。

  还有：Archive 
  Libs 
  Net 
  DEShells 
  Utils: 包括bzip2等实用工具 

 

 

验证Cygwin是否安装成功

运行cygwin，在弹出的命令行窗口输入：cygcheck -c cygwin

 然后依次输入gcc --version，g++ --version，make –version，gdb –version进行测试，如果都打印出版本信息和一些描述信息，非常高兴的告诉你，你的cygwin安装完成了