chuyouyinghe的专栏

64位windows安装hadoop没必要倒腾Cygwin，直接解压官网下载hadoop安装包到本地->最小化配置4个基本文件->执行1条启动命令->完事。一个前提是你的电脑上已经安装了jdk，设置了java环境变量。下面把这几步细化贴出来，以hadoop2.7.2为例　　1、下载hadoop安装包就不细说了：http://hadoop.apache.org/->左边点Releases->点m

1、前言  我们使用hadoop2.6.0版本配置Hadoop集群，同时配置NameNode+HA、ResourceManager+HA，并使用zookeeper来管理Hadoop集群2、规划  1、主机规划 hadoop1/ 192.168.56.131hadoop2/ 192.168.56.132hadoop3/ 19

http://blog.youkuaiyun.com/qq_31570685/article/details/51757351 hbase集群的搭建步骤1：新创建一个Java Project 步骤2：导入JAR包 全部来源于官方文档（hbase-1.1.2-bin.tar.gz）解压后，xx\hbase-1.1.2\lib*.jar步骤3：修改开发机

如下所示的问题故障代码：SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.        由此我们可以看出，报出错误的地方主要是slf4j

解决办法，两步：         一、在编译路径中添加Log4J的包，比如我一直在用的log4j-1.2.8.jar；         二、再添加一个叫做slf4j-log4j12-1.5.11.jar的包进行转换，注意到这里的log4j12，可能对应的是log4j 1.2版本。 SLF4J官方下载：http://www.slf4j.org/download.html 下载

进入hbase  shell命令行：hbase shell[hadoop@hdp01 hbase]$ hbase shell2018-01-24 21:56:20,226 INFO [main] Configuration.deprecation: hadoop.native.lib is deprecated. Instead, use io.native.lib.available

12/08/27 15:49:40 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable12/08/27 15:49:40 WARN mapred.JobClient: No job jar

下面我们结合 HDFS，介绍 Sqoop 从关系型数据库的导入和导出一、MySQL里的数据通过Sqoop import HDFS　　它的功能是将数据从关系型数据库导入 HDFS 中，其流程图如下所示。　　我们来分析一下 Sqoop 数据导入流程，首先用户输入一个 Sqoop import 命令，Sqoop 会从关系型数据库中获取元数据信息，比如要操作数据库表的 schema是什么样子，这个表有哪些...

前段时间自己的本机上搭的Hadoop环境（按文档的伪分布式），第一天还一切正常，后来发现每次重新开机以后都不能正常启动，在start-dfs.sh之后jps一下发现namenode不能正常启动，按提示找到logs目录下namenode的启动log发现如下异常org.apache.hadoop.hdfs.server.common.InconsistentFSStateException:...

先把hive-exec  jar包导入到项目中右击项目名称选择“Properties”选项新建Max类：package com.hive.test;import org.apache.hadoop.hive.ql.exec.UDF; /** * 自定义UDF统计最大值 * */public class Max ext

当运行./stop-hbase时，出现stopping hbase..........无限点时候，先运行./start-hbase.sh，这时候会提示hbase的各个组件正在运行，并且给出这些程序的pid，运行kill -9 pid来终止hbase的进程，此时hbase就停止了，再运行./start-hbase.sh来重启hbase转自：http://blog.youkuaiyun.com/cy_

本文描述如何设置一个单一节点的 Hadoop 安装，以便您可以快速执行简单的操作，使用 Hadoop MapReduce 和 Hadoop 分布式文件系统 (HDFS)。参考官方文档：Hadoop MapReduce Next Generation - Setting up a Single Node Cluster.Hadoop版本：Apache Hadoop 2.5.1

一：背景 Reduce端连接比Map端连接更为普遍，因为输入的数据不需要特定的结构，但是效率比较低，因为所有数据都必须经过Shuffle过程。 二：技术实现 基本思路(1)：Map端读取所有的文件，并在输出的内容里加上标示，代表数据是从哪个文件里来的。(2)：在reduce处理函数中，按照标识对数据进行处理。(3)：然后根据Key去join来求出结果直接输出。

实验目的：使用wordcount实现中文无词典分词的功能实验背景：文件上传后，进行无词典分词，再进行统计中文词之后，结果在eclipse下显示为乱码针对乱码所做实验：0）文件直接上传，在eclipse打开显示正常，但结果显示乱码1）将文件格式改成UTF-8之后，再上传，结果发现在eclipse下打开是乱码，但在namenode:50070下打开是能显示的，2

今天遇到了如下错误：2017-12-14 02:42:56,217 INFO [org.apache.hadoop.mapred.MapTask] - Ignoring exception during close for org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader@7a74db2cjava.lang.NullPointe

今天遇到了如下异常2017-12-14 03:01:08,481 WARN [org.apache.hadoop.mapred.LocalJobRunner] - job_local697558965_0001java.io.EOFException at java.io.DataInputStream.readInt(DataInputStream.java:375) at com.h

一、概述MapReduce框架对处理结果的输出会根据key值进行默认的排序，这个默认排序可以满足一部分需求，但是也是十分有限的，在我们实际的需求当中，往往有要对reduce输出结果进行二次排序的需求。对于二次排序的实现，网络上已经有很多人分享过了，但是对二次排序的实现原理及整个MapReduce框架的处理流程的分析还是有非常大的出入，而且部分分析是没有经过验证的。本文将通过一个实际的Map

开发时假如有如下情景的需求，需要按id分组，但是每个id的经纬度都是一样的，如果HiveQL语句这么写：[sql] view plain copySELECT     id,    latitude,    longitude   FROM    t_poi  GROUP BY id ;  则会报错：

hive又遇到了问题：原来的mysql中sql语句为SELECT DATEBUF, CITYID, CHANNELID FROM STAT_CVCHNEW WHERE DATEBUF>=20110517 AND DATEBUF[sql] view plain copy得到的结果应该是是按DATEBUF和CITYID分组

启动Zookeeper过程中，一台虚拟机上出现如下的错误：[html] view plain copy[hadoop@Slave2 zookeeper]$ bin/zkServer.sh start  JMX enabled by default  Using config: /usr/local/zookeeper/bin/../c

简介：Zookeeper，是Google的Chubby一个开源的实现，是Hadoop的分布式协调服务，它包含一个简单的原语集，来实现同步、配置维护、分集群、命名的服务。zookeeper是一个由多个service组成的集群,一个leader,多个follower,每个server数据一致,分布式读写,更新请求转发由leader实施.更新请求顺序进行,来自同一个client的更新请求按其

[root@qa bin]# hadoop fs -ls /Warning: $HADOOP_HOME is deprecated.14/07/29 13:25:35 INFO ipc.Client: Retrying connect to server: centhost.centdomain/10.110.30.30:9000. Already tried 0 time(s); retr

错误提示Call From n1/192.168.253.130 to s1:8485 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefusedat

hadoop集群搭建了ha，初次启动正常，最近几天启动时偶尔发现，namenode1节点启动后一段时间（大约10几秒-半分钟左右），namenode1上namenode进程停掉，查看日志： 1 2017-08-28 21:54:37,617 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: slave1/192

启动hbase的时候，可以设置 export HBASE_MANAGES_ZK=true，让hbase使用自带的zk。当时，当启动的时候报错如下：starting master, logging to /home/wde/hbase/hbase/bin/../logs/hbase-wde-master-ict003.outCould not start ZK at request

错误表现：SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/usr/hbase/lib/slf4j-log4j12-1.6.4.jar!/org/slf4j/impl/StaticLoggerBinder.class]SLF4J: Found binding in

为了释放已经删除的region，重启hbase，执行./bin/stop-hbase.sh。等了很久还未关闭，查看master日志，显示一直在等待regionserver2015-07-08 09:11:25,800 INFO org.apache.hadoop.hbase.master.ServerManager: Waiting on regionserver(s) to go

一、问题描述当我们多次格式化文件系统（hadoop namenode -format）时，会出现DataNode无法启动。多次启动中发现有NameNode节点，并没有DataNode节点 如图所示： 二、查看问题回头看启动过程  注意如下： localhost: starting datanode, logging to /usr/local/hadoop/lo...