hadoop
关注
分享
扫一扫
文章平均质量分 70
java_doom
这个作者很懒，什么都没留下…
展开
-
hadoop版本总结
hadoop有两个分支：0.20.x 和0.23.x。其中0.20.x是比较稳定的版本，0.23.x中新特性更多，但相对不稳定。 其中从0.20.x 分支发展出来的是：hadoop1.0，CDH3从0.23.x 分支发展出来的是：hadoop-alpha，CDH4 下面具体说hadoop1.0、2.0 和CDH3、CDH4： Apache Hadoop 2012年...原创 2013-04-04 00:11:12 · 80 阅读 · 0 评论 -
namenode与secondaryNamenode的联系
NameNode将对文件系统的改动追加保存到本地文件系统上的一个日志文件（edits）。当一个NameNode启动时，它首先从一个映像文件（fsimage）中读取HDFS的状态，接着应用日志文件中的edits操作。然后它将新的HDFS状态写入（fsimage）中，并使用一个空的 edits文件开始正常操作。因为NameNode只有在启动阶段才合并fsimage和edits，所以一段时间后日志文件可...原创 2014-07-04 17:06:16 · 182 阅读 · 0 评论 -
Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache.
今天配置mysql存储hive的元数据遇到问题Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClientFAILED: Execution Error, return code 1 from org....2013-08-27 16:23:30 · 146 阅读 · 0 评论 -
hive的数据类型
基本类型TINYINTSMALLINTINTBIGINTFLOATDOUBLEDECIMAL (Note: Only available starting with Hive 0.11.0)TIMESTAMP (Note: Only available starting with Hive 0.8.0)BOOLEANSTRINGBINARY复合类型...原创 2013-09-02 10:03:01 · 87 阅读 · 0 评论 -
hive的一个报错
配好hive后添加了一张分区表，然后就开始报错，一查询就报 ，show tables也报 hive> show tables;FAILED: Error in metadata: MetaException(message:javax.jdo.JDODataStoreException: You have an error in your SQL syntax; check t...2013-09-02 11:30:21 · 190 阅读 · 0 评论 -
hive 创建/删除/截断 表(翻译自Hive wiki)
这里罗列常用操作，更多参考 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-Create%2FDrop%2FTruncateTable 简单的创建表create table table_name ( id int, ...原创 2013-09-02 12:01:11 · 84 阅读 · 0 评论 -
怎样控制namenode检查点的发生频率
secondarynamenode节点定期访问namenode来进行镜像文件和编辑日志的备份，那么这个频率怎样修改呢？本实验是在本博《基于hadoop0.202版本的namenode与secondarynamenode分离实验》这篇文章所提及的试验所做的，所以对于验证分离后的正确效果本篇给出截图证明修改secondarynamenode节点的core-site.xml文件fs....原创 2013-09-06 09:40:20 · 216 阅读 · 0 评论 -
基于hadoop0.202版本的namenode与secondarynamenode分离实验
我们在配置集群时，经常将namenode与secondarynamenode存放在一个节点上，其实这是非常危险的，如果此节点崩溃的话，则整个集群不可恢复。下面介绍一下将namenode与secondarynamenode分离的方法。当然还存在好多不足和待改进的地方，欢迎各位大神指点和吐槽。 非常说明：我原本以为masters配置文件中的内容（主机名）是指的namenode的主机名...原创 2013-09-06 09:40:55 · 140 阅读 · 0 评论 -
这个人的博客不错
http://blog.youkuaiyun.com/xiaojiafei 模拟namenode崩溃，使用secondarynamenode恢复因为资源有限，不再设置新的节点来代替原来的namenode，所以在原来 namenode节点上，将dfs.name.dir指定的目录中（这里是name目录）的内容 清空，以此来模拟故障发生。 方法一：将集群关闭后，再重新启动我们会看到...原创 2013-09-06 09:42:38 · 136 阅读 · 0 评论 -
Hadoop FS Shell命令
FS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args> 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path 。对 HDFS文件系统，scheme是hdfs ，对本地文件系统，scheme是file 。其中scheme和 authority参数都是可选的，如果未加指定，...原创 2014-07-17 11:46:28 · 95 阅读 · 0 评论 -
编译hadoop2.7
系统要求* Unix System* JDK 1.7+* Maven 3.0 or later* Findbugs 1.3.9 (if running findbugs)* ProtocolBuffer 2.5.0* CMake 2.6 or newer (if compiling native code), must be 3.0 or newer on Mac* Zlib devel (...2017-12-04 19:03:30 · 108 阅读 · 0 评论 -
java.io.IOException: java.net.ConnectException: Call From hadoop1/192.168.160.13
hadoop jar hadoop-mapreduce-examples-2.7.4.jar pi 10 20算pi时报错如下java.io.IOException: java.net.ConnectException: Call From hadoop1/192.168.160.131 to 0.0.0.0:10020 failed on connection exception: ...2017-12-04 20:47:40 · 2236 阅读 · 1 评论 -
一个简单的上传文件到hdfs类
import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;public class TestFs { public static void main(String[] args) throws IOException { ...2017-12-05 16:45:00 · 213 阅读 · 0 评论 -
在输错hive语句时，无论 Backspace还是delete 都删除不掉错误的语句，没有办法退格。...
终端》仿真修改 终端(T) 为 Linux 即可2017-12-11 15:04:31 · 1067 阅读 · 0 评论 -
如何选择不同的Hadoop发行版
首先要了解什么是Hadoop发行版(Hadoop distribution)，简单来说它就是基于开源的Apache Hadoop进行改造的商业解决方案，其中包括一系列定制的管理工具和软件。而事实上，Apache Hadoop本身也存在着一些版本差异，包括： ·Hortonworks主要专注于Hadoop 1(不包括YARN、HCatalog等)，也是因为其技术比较成熟且能够投入生产环境。...原创 2013-08-15 17:01:25 · 166 阅读 · 0 评论 -
Hadoop各商业发行版之比较
Hadoop的发行版除了社区的Apache hadoop外，cloudera，hortonworks，mapR，EMC，IBM，INTEL，华为等等都提供了自己的商业版本。商业版主要是提供了专业的技术支持，这对一些大型企业尤其重要。每个发行版都有自己的一些特点，本文就各发行版做简单介绍。2008 年成立的 Cloudera 是最早将 Hadoop 商用的公司，为合作伙伴提供 Hadoop ...原创 2013-08-15 17:00:19 · 118 阅读 · 0 评论 -
启动hive hwi服务时出现 HWI WAR file not found错误
Cloudera版的hive-0.7.1再启动hive --service hwi时报错HWI WAR file not found也不知道为什么 Cloudera版的配置文件和社区版的hadoop不一样 于是把社区版的hive-default.xml.template 中的一部分拷贝到Cloudera版hive-default.xml中 再启动就行了 添加了这段<...2013-08-14 15:05:21 · 150 阅读 · 0 评论 -
hadoop SecondaryNameNode和NameNode
1.概述光从字面上来理解，很容易让一些初学者先入为主的认为：SecondaryNameNode(snn)就是NameNode(nn)的热备进程。其实不是。snn是HDFS架构中的一个组成部分，但是经常由于名字而被人误解它真正的用途，其实它真正的用途，是用来保存namenode中对HDFS metadata的信息的备份，并减少namenode重启的时间。对于hadoop进程中 ，要配置好并正...原创 2013-04-28 15:31:08 · 92 阅读 · 0 评论 -
hadoop dfs -put 时的错误
[root@hadoop1 桌面]# hadoop dfs -put /home/hadoop/word.txt /tmp/wordcount/word5.txt出现的错误 3/05/02 18:11:26 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IO...原创 2013-05-02 18:20:44 · 507 阅读 · 0 评论 -
编译hadoop1.0.4时遇到的两个错误
1.缺少autoconfBUILD FAILED/home/hadoop/tools/hadoopCode/hadoop-1.0.4/build.xml:618: Execute failed: java.io.IOException: Cannot run program "autoreconf" (in directory "/home/hadoop/tools/hadoopCode...2013-05-07 19:17:38 · 174 阅读 · 0 评论 -
Hadoop基本操作命令
在这篇文章中，我们默认认为Hadoop环境已经由运维人员配置好直接可以使用。假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。启动与关闭启动Hadoop 1. 进入HADOOP_HOME目录。2. 执行sh bin/start-all.sh 关闭Hadoop 1. 进入HADOOP_HOME目录。2. 执行sh bin...原创 2013-05-09 22:53:05 · 156 阅读 · 0 评论 -
暂时不想研究hadoop流 先记下来
暂时不想研究hadoop流 先记下来 错误的：hadoop jar /home/hadoop/hadoopcdh/contrib/streaming/hadoop-streaming-0.20.2-cdh3u6.jar -input input -output output -mapper /bin/cat -reducer usr/bin/wc 正确的：hadoop jar /...原创 2013-05-13 11:20:16 · 126 阅读 · 0 评论 -
hadoop中mapred.tasktracker.map.tasks.maximum的设置
hadoop中默认的mapred.tasktracker.map.tasks.maximum设置是2也即：每一个tasktracker同时运行的map任务数为2 某公司经过测试，发现将mapred.tasktracker.map.tasks.maximum设置为节点的cpu cores数目或者数目减1比较合适此时的运行效率最高。如果机器是8核的，所以最终配置如下：<pr...原创 2013-05-14 15:23:49 · 179 阅读 · 0 评论 -
Hadoop InputFormat浅析
在执行一个Job的时候，Hadoop会将输入数据划分成N个Split，然后启动相应的N个Map程序来分别处理它们。数据如何划分？Split如何调度（如何决定处理Split的Map程序应该运行在哪台TaskTracker机器上）？划分后的数据又如何读取？这就是本文所要讨论的问题。先从一张经典的MapReduce工作流程图出发：1、运行mapred程序；2、本次运行将生成一个Job，于是JobClie...原创 2013-05-14 15:38:06 · 125 阅读 · 0 评论 -
mapreduce调试查询System.out的结果
1.前言刚接触mapreduce的人肯定为碰到这样的问题，就是我们在程序中如下类似的命令 [cpp] view plaincopySystem.out.println(year+" "+airTemperature);//无效，控制台没有输出。 但是console控制台不给我们输出相应的结果，这对于很多通过System.out来调试...原创 2013-05-14 16:43:21 · 101 阅读 · 0 评论 -
外部表和内部表
An external table behaves differently. You control the creation and deletion of the data. The location of the external data is specified at table creation time: EXTERNAL 关键字可以让用户创建一个外部表，在建表的同时指定一个指向...原创 2013-05-28 10:30:50 · 286 阅读 · 0 评论 -
一个简单的dom方式读取xml的例子
从hadoop源码里摘取得一个小例子 import java.io.IOException; import javax.xml.parsers.DocumentBuilder;import javax.xml.parsers.DocumentBuilderFactory;import javax.xml.parsers.ParserConfigurationExcepti...2013-07-03 13:42:12 · 112 阅读 · 0 评论 -
关于hadoop-eclipse-1.0.4插件问题
http://www.dataguru.cn/forum.php?mod=viewthread&tid=40147由于开始配置环境用的hadoop-1.0.4版本，所以悲催的是hadoop在这个版本里没有提供编译好的eclipse插件，只有相关的工程文件在：/hadoop-1.0.4/src/contrib/eclipse-plugins里。所以我们必须自己编译。编译过程中需要注意...原创 2013-01-13 22:59:30 · 75 阅读 · 0 评论 -
hadoop 出现SafeModeException
最近hadoop启动后出现错误，在jobtracker的log中错误如下：2012-03-24 13:50:55,615 INFO org.apache.hadoop.mapred.JobTracker: problem cleaning system directory: hdfs://192.168.1.100:9000/home/yaoxianglong/hadoop-1.0.1...原创 2013-01-18 15:11:34 · 107 阅读 · 0 评论 -
一个jdbc链接hive的小例子
先启动Hive远程服务接口hive --service hiveserver import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.ResultSetMetaData;import java.sql.Stat...2013-07-26 15:43:01 · 165 阅读 · 0 评论 -
配hadoopHA最怕就是配置文件错了
机器名 集群名一定不要起得太怪异 备份一下配置文件 环境变量类的就不备份了 三台机器 机器名hadoop1，hadoop2，hadoop3集群名myhadoopyarn名yarn-ha ...原创 2018-04-12 16:40:28 · 132 阅读 · 0 评论