Hadoop
关注
分享
扫一扫
sjsky_007
这个作者很懒，什么都没留下…
展开
-
Hadoop:could only be replicated to 0 nodes, instead of 1
blog迁移至:http://www.micmiu.com 在Hadoop的环境搭建过程中，常常会遇到类似这样的错误信息提示：“could only be replicated to 0 nodes, instead of 1”，产生这样的错误原因有多种，这里列举出以下四种常用的解决方法以供参考：确保master（namenode） 、sl...2011-07-16 09:21:26 · 124 阅读 · 0 评论 -
HBase安装配置之单机模式
HBase安装模式有三种：单机模式、分布式（伪分布式和完全分布式）。默认的安装模式就是单机模式 ，在单机模式中，HBase使用本地文件系统而不是HDFS ，所有的服务和zooKeeper都运作在一个JVM中。本教程介绍了HBase单机安装的方法，并演示：启动HBase、通过shell创建表、插入数据、查询数据、删除表，最后停止HBase的过程。环境说明安装配置详见：http://...原创 2014-03-09 22:51:08 · 250 阅读 · 0 评论 -
HBase安装配置之伪分布式模式
HBase安装模式有三种：单机模式、分布式（伪分布式和完全分布式）。本教程介绍了HBase的伪分布式模式安装配置的过程，伪分布式模式是把进程运行在一台机器上，但不是同一个JVM（单机模式），分布式模式的安装配置需要依赖于HDFS。基础环境安装配置详见：http://www.micmiu.com/bigdata/hbase/hbase-setup-pseudo-distribute...原创 2014-03-10 17:26:51 · 221 阅读 · 0 评论 -
HBase安装配置之完全分布式模式
HBase安装模式有三种：单机模式、分布式（伪分布式和完全分布式）。本教程介绍了HBase的完全分布式模式安装配置的过程，分布式模式均需要依赖于HDFS。基础环境安装配置详见：http://www.micmiu.com/bigdata/hbase/hbase-setup-full-distributed/ ...原创 2014-03-10 17:28:47 · 164 阅读 · 0 评论 -
HiveException:Not a host:port pair: PBUF
HBase和Hive整合后，在Hive shell中执行建表语句时错误信息如下： HiveException:Not a host:port pair: PBUF 详见：http://www.micmiu.com/bigdata/hive/hive-exception-not-a-host-port-parir-pbuf/...原创 2014-04-09 16:48:05 · 203 阅读 · 0 评论 -
HiveException:Not a host:port pair: PBUF
HBase和Hive整合后，在Hive shell中执行建表语句时错误信息如下： HiveException:Not a host:port pair: PBUF 详见：http://www.micmiu.com/bigdata/hive/hive-exception-not-a-host-port-parir-pbuf/ ...原创 2014-04-09 16:49:31 · 135 阅读 · 0 评论 -
Hive和HBase整合
本文主要描述Hive和HBase 环境整合配置的详细过程：基本环境整合配置测试验证 详见：http://www.micmiu.com/bigdata/hive/hive-hbase-integration/原创 2014-04-09 16:50:21 · 112 阅读 · 0 评论 -
Sqoop安装配置及演示
Sqoop是一个用来将Hadoop（Hive、HBase）和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。Sqoop目前已经是Apache的顶级项目了，目前版本是1.4.4 和 Sqoop2 1.99.3，本文以1.4.4的版本为例讲解基本...原创 2014-04-09 16:51:18 · 307 阅读 · 0 评论 -
ERROR tool.ImportTool: Imported Failed: Attempted to generate class with no colu
Sqoop 把数据从Oracle中迁移到Hive中时发生错误： ERROR tool.ImportTool: Imported Failed: Attempted to generate class with no columns! 详见：http://www.micmiu.com/bigdata/sqoop/sqoop-error-imported-failed-with-no...原创 2014-04-14 23:35:01 · 268 阅读 · 0 评论 -
java.net.ConnectException: to 0.0.0.0:10020 failed on connection exception
在DataNode节点中的Hive CLI中执行 select count(*) from table_name 查询时报错：java.io.IOException: java.net.ConnectException: Call From Slave7.Hadoop/192.168.8.207 to 0.0.0.0:10020 failed on connection exception:...原创 2014-04-14 23:36:17 · 237 阅读 · 0 评论 -
maven编译Spark源码
Spark 源码除了用 sbt/sbt assembly 编译，也可用Maven进行编译，具体步骤如下： 详见：http://www.micmiu.com/bigdata/spark/spark-building-with-maven/原创 2014-04-14 23:37:23 · 144 阅读 · 0 评论 -
Hadoop2.x eclipse plugin插件编译安装配置
本文主要讲解如何编译安装配置 Hadoop2.x eclipse plugin插件的详细过程：环境参数编译过程安装配置详见：http://www.micmiu.com/bigdata/hadoop/hadoop2-x-eclipse-plugin-build-install/...原创 2014-04-22 14:18:57 · 128 阅读 · 0 评论 -
eclipse中开发Hadoop2.x的Map/Reduce项目
本文演示如何在Eclipse中开发一个Map/Reduce项目：1、环境说明Hadoop2.2.0Eclipse Juno SR2详见：http://www.micmiu.com/bigdata/hadoop/hadoop2x-eclipse-mapreduce-demo/ ...原创 2014-04-22 14:20:05 · 167 阅读 · 0 评论 -
Hive自定义分隔符InputFormat
Hive默认创建的表字段分隔符为：\001(ctrl-A)，也可以通过 ROW FORMAT DELIMITED FIELDS TERMINATED BY 指定其他字符，但是该语法只支持单个字符，如果你的分隔符是多个字符，则需要你自定义InputFormat来实现，本文就以简单的示例演示多个字符作为分隔符的实现。[一]、开发环境Hadoop 2.2.0Hive 0.12.0Ja...原创 2014-02-24 17:34:59 · 471 阅读 · 0 评论 -
Hive教程之DML数据导入导出
文章基本目录结构：数据导入导入本地文件导入hdfs文件数据导出导出到新表导出到本地文件导出到hdfs文件本文的测试基于Hadoop 2.2.0 + hive 0.12.0 详见：http://www.micmiu.com/opensource/hadoop/hive-dml-load-insert/ ...原创 2014-02-20 17:26:34 · 140 阅读 · 0 评论 -
Hadoop初试
blog迁移至 :http://www.micmiu.com [size=medium]Hadoop一个分布式系统基础架构，是Apache基金下的一个子项目。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有...2011-07-16 12:53:50 · 116 阅读 · 0 评论 -
Hadoop分布式时远程Datanode无法启动的解决
blog迁移至 :http://www.micmiu.com [color=blue][size=medium]问题的基本现象：[/size][/color]在测试Hadoop的分布式环境搭建时，在namenode启动时信息如下：[quote][michael@shnap hadoop]$ [color=blue]bin/start-all.sh [/color]star...2011-07-17 07:30:17 · 220 阅读 · 0 评论 -
Unable to load realm info from SCDynamicStore
我的运行环境：Mac OSX 10.9.1Hadoop 2.2.0hadoop启动日志里异常信息: Unable to load realm info from SCDynamicStore搜索后发现很早就有人提交给Hadoop了：https://issues.apache.org/jira/browse/HADOOP-7489 ，这个好像解决的方法不是很全面正确的解决办...原创 2014-01-17 14:14:16 · 106 阅读 · 0 评论 -
Hadoop2.2.0源码编译
基本环境参数：Mac OSX 10.9.1Maven 3.0.4Java 1.6.0_65Hadoop 2.2.0源码编译的基本步骤： 详见：http://www.micmiu.com/opensource/hadoop/hadoop-build-source-2-2-0/ ...原创 2014-01-17 14:15:50 · 104 阅读 · 0 评论 -
Hadoop 2.x build native library on Mac os x
查阅有关官方介绍 http://wiki.apache.org/hadoop/HowToContribute 中有说明：Hadoop本地库只支持*nix平台，已经广泛使用在GNU/Linux平台上，但是不支持 Cygwin 和 Mac OS X 。搜索后发现已经有人给出了Mac OSX 系统下编译生成本地库的patch，下面详细介绍在Mac OSX 平台下编译Hadoop本地库的方法。[...原创 2014-01-19 20:30:14 · 99 阅读 · 0 评论 -
Unable to load native-hadoop library for your platform…
从官方下载的Hadoop 2.2.0发布包，安装配置启动后在日志信息中看到如下告警：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable这是因为：详见：http://w...原创 2014-01-19 20:30:42 · 117 阅读 · 0 评论 -
hadoop 2.2.0 单节点安装和测试
本文是详细记录Hadoop 2.2.0 在Mac OSX系统下单节点安装配置启动的详细步骤，并且演示运行一个简单的job。目录结构如下：基础环境配置Hadoop安装配置启动及演示详见：http://www.micmiu.com/opensource/hadoop/hadoop2x-single-node-setup/ ...原创 2014-01-19 20:45:05 · 183 阅读 · 0 评论 -
hadoop 2.2.0 集群模式安装配置和测试
本文详细记录Hadoop 2.2.0 集群安装配置的步骤，并运行演示一个简单的job。基本目录结构如下：环境准备Hadoop安装配置启动及演示详见：http://www.micmiu.com/opensource/hadoop/hadoop2x-cluster-setup/ ...原创 2014-01-22 16:52:02 · 97 阅读 · 0 评论 -
Hive安装配置详解
本文主要是在Hadoop单机模式中演示Hive默认（嵌入式derby 模式）安装配置过程，目录结构如下：基础环境Hive安装配置启动及演示 详见：http://www.micmiu.com/opensource/hadoop/hive-default-setup/ ...原创 2014-02-11 17:20:17 · 171 阅读 · 0 评论 -
Hive教程之DDL+DML
在完成 Hive安装配置 后自然而然就是它的基本应用，本文就基本操作进行一些演示：DDL操作DML操作详见：http://www.micmiu.com/opensource/hadoop/hive-tutorial-ddl-dml/ ...原创 2014-02-11 17:21:15 · 216 阅读 · 0 评论 -
Hive教程之metastore的三种模式
Hive中metastore（元数据存储）的三种方式：内嵌Derby方式Local方式Remote方式详见：http://www.micmiu.com/opensource/hadoop/hive-metastore-config/原创 2014-02-20 17:24:03 · 179 阅读 · 0 评论 -
HBase基于Hadoop2的源码编译
本文以HBase0.98.0 为例，演示编译生成适用于Hadoop2.x 版本软件包的过程。基本环境参数：Mac OSX 10.9.1Maven 3.0.4Java 1.6.0_65Hadoop 2.2.0HBase 0.98.0源码编译的基本步骤： 详见：http://www.micmiu.com/opensource/hadoop/hbase-b...原创 2014-02-20 17:24:51 · 167 阅读 · 0 评论 -
Hadoop2.x在Ubuntu系统中编译源码
本文主要记录Hadoop2.x在Ubuntu 12.04下编译源码的主要步骤和注意点：［一］、基础环境Ubuntu 12.04 LTS 64 位Hadoop2.2.0Java version: 1.7.0_55Apache Maven 3.2.1［二］、软件配置 详见：http://www.micmiu.com/bigdata/hadoop/hadoop-2...原创 2014-04-22 14:23:35 · 209 阅读 · 0 评论