
hadoop学习笔记
记录hadoop学习过程中遇到的各种问题及解决方法
gnail_oug
这个作者很懒,什么都没留下…
展开
-
eclipse中连接HBase报java.net.ConnectException: Connection refused: no further information
HBase已经常启动,在shell里也可以正常操作,但在eclipse中java操作HBase时,报如下错误:15/07/27 15:18:21 INFO zookeeper.ClientCnxn: Opening socket connection to server 127.0.0.1/127.0.0.1:2181. Will not attempt to authenticate usi原创 2015-07-27 15:37:33 · 31838 阅读 · 1 评论 -
java操作hbase例子
hbase安装方法请参考:hbase-0.94安装方法详解hbase常用的shell命令请参考:hbase常用的shell命令例子java操作hbase,在eclipse中创建一个java项目,将hbase安装文件根目录的jar包和lib目录下jar包导入项目,然后就可以编写java代码操作hbase了。下面代码给出来一个简单的示例/** * @date 2015-0原创 2015-07-23 22:55:57 · 3005 阅读 · 0 评论 -
hbase常用的shell命令例子
1、hbase shell 进入hbase[hadoop@mdw ~]$ hbase shellHBase Shell; enter 'help' for list of supported commands.Type "exit" to leave the HBase ShellVersion 0.94.16, r1557241, Fri Jan 10 20:10:24 U原创 2015-07-22 09:26:52 · 5176 阅读 · 0 评论 -
ZooKeeper安装方法详解
ZooKeeper安装方式分为两种,一种为单机模式,一个为集群模式,集群模式需要事先正确配置hadoop集群,安装方法参考hadoop-1.2.1安装方法详解单机模式安装:1、上传并解压zookeeper-3.4.5.tar.gz[hadoop@mdw temp]$ cp /mnt/cdrom/zookeeper-3.4.5.tar.gz .[hadoop@mdw temp原创 2015-07-21 10:05:37 · 2573 阅读 · 0 评论 -
Pig的安装和使用方法
本文使用的pig版本是pig-0.12.0.tar.gz,在安装以前已经安装好了hadoop,hadoop的安装方法参考 hadoop-1.2.1安装方法详解pig的安装方法很简单,配置一下环境即可,pig有两种工作模式:本地模式和MapReduce模式(默认)。1、上传并解压pig-0.12.0.tar.gz[hadoop@mdw temp]$ tar zxf pig-0.1原创 2015-07-21 09:43:23 · 9833 阅读 · 0 评论 -
hive-0.11.0安装方法详解
先决条件: 1)java环境,需要安装java1.6以上版本 2)hadoop环境,Hadoop-1.2.1的安装方法参考 hadoop-1.2.1安装方法详解本帖教程采用的hadoop是hadoop-1.2.1,hive采用的是hive-0.11.0hive有三种安装模式:内嵌模式:元数据保持在内嵌的Derby模式,只允许一个会话连接本地独立模式:在本原创 2015-07-21 09:37:45 · 1164 阅读 · 0 评论 -
hbase的master节点HMaster服务自动停止的解决方法
问题描述:在启动hbase时,刚启动时,通过jps命令可以查看到HMaster服务已被启动,但是过一会儿HMaster服务便自动停止了,错误信息如下:2015-07-15 20:30:24,360 INFO org.apache.zookeeper.ClientCnxn: Opening socket connection to server sdw2/192.168.10.202:218原创 2015-07-20 23:49:37 · 8059 阅读 · 0 评论 -
hbase-0.94安装方法详解
先决条件: 1)java环境,需要安装java1.6以上版本 2)hadoop环境,由于HBase架构是基于其他文件存储系统的,因此在分布式模式下安装Hadoop是必须的,但是,如果运行在单价模式下,此条件可以省略。Hadoop-1.2.1的安装方法参考 hadoop-1.2.1安装方法详解注意:安装时要注意Hadoop和HBase之间的版本关系,如果不匹配,很可能会影响H原创 2015-07-20 20:28:06 · 2327 阅读 · 0 评论 -
greenplum安装方法详解
greenplum-db-4.2.2.4-build-1-CE-RHEL5-i386安装方法详解原创 2015-07-18 20:30:08 · 18139 阅读 · 2 评论 -
HBase与WordCount的结合使用Demo
例子运行条件:hadoop和hbase集群都已经正常启动,hdfs文件系统中已上传作为单词统计的源文件hadoop的安装可以参考:hadoop-1.2.1安装方法详解hbase的安装可以参考:hbase-0.94安装方法详解单词计数的源文件准备参考:hadoop的第一个程序 WordCount注:本例子测试于hadoop-1.2.1和hbase-0.94packag原创 2015-07-27 15:50:04 · 3082 阅读 · 0 评论 -
hadoop-2.2.0安装方法详解
hadoop有三种安装模式: 单机模式:安装简单,几乎不用作任何配置,但仅限于调试用途 伪分布模式:在单节点上同时启动namenode、datanode、ResourceManager、NodeManager、secondary namenode等5个进程,模拟分布式运行的各个节点 完全分布式模式:正常的Hadoop集群,由多个各司其职的原创 2015-07-21 10:13:44 · 1388 阅读 · 0 评论 -
hadoop-1.2.1添加节点的方法
本帖介绍如何在已存在的集群环境增加节点,增加节点的大部分步骤都和安装步骤一样,在看本教程时需要结合hadoop-1.2.1安装方法详解一起进行,否则不易弄明白,hadoop-1.2.1集群安装方法参考 hadoop-1.2.1安装方法详解添加节点的步骤如下:1、安装VMware软件,然后在VMware里安装三台Linux虚拟机(我使用的是redhat)2、设置虚拟机原创 2015-07-20 09:38:33 · 1121 阅读 · 0 评论 -
Permission denied: user=Administrator, access=WRITE, inode="hadoop":hadoop:supergroup:rwxr-xr-x
window下eclipse远程连接Hadoop,运行wordcount程序报如下错误:Caused by: org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.security.AccessControlException: Permission denied: user=Administrator, access=WRITE,转载 2015-07-19 21:17:24 · 3919 阅读 · 3 评论 -
Hadoop的第一个程序 wordcount
Hadoop的第一个程序 wordcountpackage com.songguoliang.hadoop.chapter05;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache原创 2015-07-19 21:10:50 · 1150 阅读 · 0 评论 -
测试hadoop-1.2.1是否成功安装和配置
本文说明hadoop安装之后验证安装和配置的方法,hadoop-1.2.1安装方法参考:hadoop-1.2.1安装方法详解hadoop安装成功之后,要简单验证是否成功安装和配置,在hadoop-1.2.1安装方法详解教程中,已经通过jps命令简单的验证,这里通过执行MapReduce作业统计单词来进一步验证reduce的配置是否正确,下面是验证方法:1、为方便运行hadoop命令原创 2015-07-19 20:38:41 · 5291 阅读 · 0 评论 -
hadoop-1.2.1安装方法详解
一、环境准备1、安装VMware软件,然后在VMware里安装三台Linux虚拟机(我使用的是redhat)2、设置虚拟机主机名ip内存硬盘master192.168.10.200500M8Gslave1192.168.10.20150原创 2015-07-19 20:31:40 · 3683 阅读 · 0 评论 -
hadoop1.2.1报Warning: $HADOOP_HOME is deprecated. 的解决方法
启动/停止Hadoop时报了一个警告信息,安装的Hadoop版本是hadoop1.2.1,如下图: 原因是Hadoop本身对HADOOP_HOME做了判断,具体在bin/hadoop和bin/hadoop-config.sh里。在hadoop-config.sh里有如下的配置:if [ "$HADOOP_HOME_WARN_SUPPRESS" = "" ] && [ "$HADOO转载 2015-07-16 09:39:59 · 947 阅读 · 0 评论