thinkhui的专栏

一、下载一个Hadoop包http://mirrors.hust.edu.cn/apache/hadoop/common/二、打开Idea新建一个java项目三、项目配置 File ---- Project Structure        1. SDK的配置        2. 加入Hadoo

本篇文章主要介绍Sqoop的搭建，Sqoop在任一节点安装即可。1、下载安装包，并解压下载地址解压命令如下：tar -zxvf sqoop-1.4.5.bin__hadoop-2.0.4.tar.gz 2、配置/etc/profileexport SQOOP_HOME=/home/hadoop/app/sqoop/sqoop-1.4.5export PATH=$PATH:$SQOO...

本篇文章主要介绍Hive的搭建，由于公司环境要求，这里选择的是hive-1.2.1。安装Hive之前必须安装MySQL，因为这里Hive的元数据是保存在MySQL中的。1、下载安装包，并解压下载地址解压命令如下：tar -zxvf apache-hive-1.2.1-bin.tar.gz2、配置/etc/profileexport HIVE_HOME=/home/hadoop/app...

本篇文章主要介绍HBase的搭建1、下载安装包，并解压下载地址解压命令如下：tar -zxvf hbase-0.98.10-hadoop2-bin.tar.gz 2、配置/etc/profileexport HBASE_HOME=/home/hadoop/app/hbase/hbase-0.98.10-hadoop2export PATH=$PATH:$HBASE_HOME/bin...

本篇文章主要介绍Hadoop HA的搭建1、下载安装包，并解压下载地址解压命令如下：tar -zxvf hadoop-2.6.5.tar.gz2、配置/etc/profile

本篇文章主要介绍Hadoop HA的搭建1、下载安装包，并解压下载地址解压命令如下：tar -zxvf hadoop-2.6.5.tar.gz2、配置/etc/profile3、配置hadoop-env.sh，添加jdk路径export JAVA_HOME=/opt/java/jdk1.8.0_221...

       由于工作需要，最近自己搭建了一个虚拟机，并且在虚拟机上搭建了一个Hadoop集群用于测试。一、虚拟机搭建，并设置IP       虚拟机搭建比较简单不再介绍，其中网络配置参考《VMware中CentOS 7设置固定IP同时连接内外网，网络配置！！！》二、设置主机名    &nb...

 这里以CentOS7配置jdk为例，Ubuntu配置jdk的过程可参考ElasticSearch的安装及jdk的配置1、在官网下载jdk1.8的安装包jdk-8u171-linux-x64.tar.gz2、创建目录/usr/java/jdkcd /usr mkdir java cd j...

MapReduce程序在window环境本地运行时，出现Exception in thread “main” java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z错误。Exception in thread "main" jav...

错误如下：org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /hdfsapi/test/c.txt could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and 1 n...

一、MapReduce计算模型MapReduce计算模型主要由三个阶段构成：Map、Shuffle、Reduce。Map是映射，负责数据的过滤分法，将原始数据转化为键值对；Reduce是合并，将具有相同key值的value进行处理后再输出新的键值对作为最终结果。为了让Reduce可以并行处理Map的结果，必须对Map的输出进行一定的排序与分割，然后再交给对应的Reduce，而这个将Map输出进...

一、KafkaSpout 引起的 log4j 的问题问题描述：SLF4J: Detected both log4j-over-slf4j.jar AND slf4j-log4j12.jar on the class path, preempting StackOverflowError. SLF4J: See also http://www.slf4j.org/codes.html#lo

一、下载 kafka_2.10-0.10.1.1.tgz；注意下载二进制版本二、启动zookeeper（窗口1）；命令：bin\windows\zookeeper-server-start.bat   config\zookeeper.properties三、启动zookeeper（窗口2）；测试命令：zookeeper-shell.bat loca

本篇文章主要介绍Oozie的搭建，Oozie在任一节点安装即可。1、下载安装包，并解压下载地址，选择hadoop和oozie的对应版本，版本一定要对应，否则可能安装成功但运行时可能不成功。解压命令如下：tar -zxvf oozie-4.1.0-cdh5.8.0.tar.gz...