Stanley-Hwang学习交流分享

安装JDK 见我之前关于JDK1.7安装的博客： http://blog.youkuaiyun.com/stanely_hwang/article/details/18883599 Hadoop单结点伪分布式安装 见我之前关于Hadoop单结点伪分布式安装的博客： http://blog.youkuaiyun.com/stanely_hwang/article/detai

安装SSH ssh-keygen -t dsa –P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 验证是否安装成功： ssh –version ssh localhost 安装 JDK(这里安装jdk1.7.0_45) 1)Oracle官网下载JDK 官网链接：http://www.orac

1.  解压Sqoop以及jar包拷贝 1)      Hadoop版本为1.0.4，下载sqoop版本1.4.4-1.0.0，解压。 2)      将mysql-connector的jar包（5.1.29版本）复制至sqoop解压后的lib目录下。 3)      把sqoop根目录下的sqoop-1.4.4.jar以及mysql-connector的jar包复制到hadoop根目录下的

Hadoop 2.2下载   Hadoop2.2.0 我们可以直接从Apache官方网站下载。   下载地址：http://mirror.esocc.com/apache/hadoop/common/stable/ Hadoop集群环境搭建准备 这里我们搭建一个由三台机器组成的集群：   Ip地址 用户名/密码 主机名 系统

1.添加节点     1. 在新的slave节点中安装好JDK，以及SSH   2. 设置master到新添加节点密钥让其无需密码进入   3. 修改masters和slaves文件增加修改节点，在master中的/etc/hosts添加到slave2中的映射   4.修改有关NameNode的配置文件，并把${HADOOP_HOME}/etc/hadoop中的修改配置文

1.     HBase简介: HBase –Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用 HBase 技术可在廉价 PC Server 上搭建起大规模结构化存储集群。HBase 是 Google BigTable 的开源实现，类似 Google Bigtable 利用 GFS 作为其文件存储系统，HBase 利用 Hadoop HDFS 作为其文

进入${SQOOP_HOME}/bin, 执行以下指令: $ ./sqoop import --connectjdbc:mysql://IP_ADDRESS:3306/DATABASE_NAME --table TABLE_NAME --hbase-create-table--hbase-table HBASE_TABLE_NAME --column-family COLUMN_