jgzd1124的专栏

HBase 安装步骤  1.配置 hbase 的环境变量  在/root/hbase/conf 目录下的 hbase-env.sh 中添加 Hbase 需要的环境变量。如下： 下面第四行注意这个值为 false 时，表示启动的是独立的 zookeeper。而配置成 true 则是 hbase自带的 zookeeper。  export JAVA_HOME=/

. Pig简介  pig是hadoop项目的一个拓展项目， 用以简化hadoop编程（简化的程度超乎想象啊），并且提供一个更高层次抽象的数据处理能力，同时能够保持hadoop的简单和可靠性。. 安装pig 2.1 下载pig：http://apache.etoak.com/pig/pig-0.11.1/pig安装包2.2 解压下载完成的pig安装包： roo

环境： Hadoop1.0.4， Hbase0.94.0, Zookeeper 3.4.3， 这三个组件已经在3台机器master, s1, s2上以集群方式安装并运行。1> 下载hive-0.9.0.tar.gz 并解压到/opt/hadoop/hive-0.9.02>  cd /opt/hadoop/hive-0.9.0/lib， 删除已有的hbase-0.92.0.jar

1，对于HBase的存储设计，要考虑它的存储结构是：rowkey+columnFamily:columnQualifier+timestamp(version)+value = KeyValue in HBase，一个KeyValue依次按照rowkey，columnkey和timestamp有序。一个rowkey加一个column信息定位了hbase表的一个逻辑的行结构。2，从逻辑存储结

1. hadoop 启动./start-all.sh或是hadoop namenode -format./start-dfs.sh./start-yarn.sh jps 查看启动情况2.zookeeper启动./zkServer.sh start3.hbase 启动./start-hbase.sh

hive-0.7.1hbase-0.90.3          hadoop-0.20.203.0   三个NODE在有了HBASE+HADOOP之后，数据的统计成了问题，MAP REDUCE是我们想用的功能，借助HIVE来连接HBASE一、准备 为了能使HIVE多用户操作，在NAMENODE上建立MYSQL，1、建立MYSQL DATA

目录[-]（一）hadoop 相关安装部署（二）hive（三）pig（四）hadoop原理与编码（五）数据仓库与挖掘（六）Oozie工作流（七）HBase（八）flume（九）sqoop（十）ZooKeeper（十一）NOSQL（十二）Hadoop 监控与管理（十三）Storm（十四）YARN & Hadoop 2.0附：

hbase介绍hbase 介绍一、简介history started by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as Hadoop contrib2007.10 Fi

hadoop 编辑通过编译jar包方法：1.建立存放编译java class类文件      mkdir wordcount_classes          2.使用javac 编译 mapreduce java类    javac -classpath /home/Andy/hadoop/hadoop-1.0.1/hadoop-core-1.0.1.jar -d

本文可以让刚接触pig的人对一些基础概念有个初步的了解。本文大概是互联网上第一篇公开发表的且涵盖大量实际例子的Apache Pig中文教程（由Google搜索可知），文中的大量实例都是作者Darran Zhang（website: codelast.com）在工作、学习中总结的经验或解决的问题，并且添加了较为详尽的说明及注解，此外，作者还在不断地添加本文的内容，希望能帮助一部分人。Ap

Linux ISO：CentOS-6.0-i386-bin-DVD.iso 32位JDK version："1.6.0_25-ea"Hadoop software version：hadoop-0.20.205.0.tar.gzHbase version：hbase-0.90.5Pig version：pig-0.9.2.tar.gz   http://mi

最近在研究hadoop時，發現hadoop的版本很混亂。原來的版本都說0.X.X開始，後來發現有1.X.X和2.X.X 這样就不太清楚了。0.20.2版本以前（不含該版本）的配置文件都在default.xml中。0.20.x以後的版本不含有eclipse插件的jar包，由於eclipse的版本不一，所以就需要自己編譯源碼生成對應的插件。0.20.2——0.22.x版本的配置

异常1：2011-08-03 17:52:26,244 INFO org.apache.hadoop.ipc.Server: IPC Server handler 6 on 9800, call getListing(/home/fish/tmp20/mapred/system) from 192.168.2.101:2936: error: org.apache.hadoop.security.

1       获取默认配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到

1. 增加用户adduser hadoop 单独的用户来管理hadoop，增加了hadoop用户 2. /etc/hosts修改要把集群里的机器hostname和ip要加入到/etc/hosts中如 127.0.0.1               localhost.localdomain localhost192.168.80.129 hadoop11

Zookeeper安装步骤zookeeper安装和使用zookeeper的安装基本上可以按照http://hadoop.apache.org/zookeeper/docs/current/ zookeeperStarted.html这个页面上的步骤完成安装，这里主要介绍下部署一个集群的步骤，因为这个官方页面似乎讲得并不是非常详细(Running ReplicatedZookeeper)

http://abloz.com/hbase/book.html#data_model_operations

http://research.google.com/pubs/papers.html

MAR 19TH, 2013 | COMMENTS我在使用Hadoop编写MapReduce程序时，遇到了一些问题，通过在Google上查询资料，并结合自己对Hadoop的理解，逐一解决了这些问题。自定义WritableHadoop对MapReduce中Key与Value的类型是有要求的，简单说来，这些类型必须支持Hadoop的序列化。为了提高序列化的性能，Hadoop

http://sishuok.com/forum/blogPost/list/0/5965.html

原文：HIVE学习笔记原文地址：HTTP://BLOG.youkuaiyun.com/HAOJUN186/ARTICLE/DETAILS/7977565目录(?)[-]HIVE结构HIVE架构Hive和Hadoop 关系Hive和普通关系数据库的异同HIVE元数据库DERBYMysqlHIVE的数据存储其它HIVE

HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。1. 简介HBase是一个分布式的、面向列的开源数据库