愤怒的苹果ext的博客

Hadoop集群安装环境： centos 6.5 3台 （一台namenode，二台datanode） hadoop2.4.1版本 jdk1.7 下面2台是hadoop1克隆的。 第一步：修改hosts和HOSTNAME ，全都关闭防火墙。 第二步：配置hadoop1到其他2台机子的ssh无密登陆 ...

hadoop是什么？ What Is Apache Hadoop? The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing. Apache hadoop 是什么？ Apache的Hadoop项目™®可靠的、可扩展的开发开源软件，分布式计算框

sqoop数据迁移工具 Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 我的环境 centos6.5 hadoop2.4 sq

hbase提供了java操作它的接口，直接导入它的lib，下面直接上代码。 package cn.zit.bigdata.hbase; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import org.apache.hadoo

安装集群的准备工作： 1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映射关系 ######注意######如果你们公司是租用的服务器或是使用的云主机（如华为用主机、阿里云主机等） /etc/hosts里面要配置的是内网IP地址和主机名的映射关系 4.关闭防火墙 5.ssh免登陆 6.安装JDK，配置环境变量等 集群规划：（一下是我克隆的7台虚拟机） 主机

[zzq@weekend110 app]$ cat /home/zzq/app/hadoop/hadoop-2.4.1/data/dfs/data/current/VERSION #Mon Oct 10 02:10:19 PDT 2016 storageID=DS-ae5abbe8-c187-4e58-b050-81b7def58776 clusterID=CID-18605df2-4c30-41

在配置hadoop集群时，由于大多都是复制到每个节点上的，这就导致了datanode的VERSION里面有2个id是一模一样不能共存。datanodeUuid和storageID 只需要稍微修改下这2个id的值重新启动就可以了。 就这样就行了。

HDFS架构 NameNode DataNode Secondary NameNode 元数据存储信息示例： 上传文件到hdfs工作流程： 详解： 客户端API先请求namenode，如果这个路径存在那么返回(元数据信息)可以分配的datanode给客户端API，假设这个文件512M，hdfs设置的每块128M，客户端API将其切分为3块，向dat