mrking0105的专栏

hadoop集群关闭后，重新开启 Namenode无法启动。 现象： 执行start-all.sh后， 在master机器是哪个，jps里虽然显示有NameNode进程， 但是web查看hdfs无法进行，也无法执行hadoop fs相关命令。 查看logs/hadoop-hadoop-namenode-xxx.log 发现在启动过程的读edits文件花了3000+s， 读完这个...

pig-0.10.0版本是支持hadoop 23的。 但是需要重新编译pig； 编译命令如下： [code="shell"] ant -Dhadoopversion=23 [/code] 编译好之后，把原来的pig的jar包删了就行。 当然了，hadoop的几个环境变量还是要配置的： HADOOP_HOME 参考资料：http://hortonworks.com/blog...

今天折腾HA，那叫一个顺利啊， 我原本准备花一周时间来折腾的，结果今天一天基本搞定，没遇到什么大问题。 要写总结，我也不知道写啥了。 大致流程罗列一下吧。 主要分三步， 第一步，弄清楚HA原理架构，这个参考官方文档，说的很清楚。 http://hadoop.apache.org/docs/r2.0.0-alpha/hadoop-yarn/hadoop-yarn-site/HDFSH...

其实不是那么难，但是各种小问题搞了我一天。 1，确认你的机器安装了以下工具，可以通过yum安装： yum install xxxxx [quote]automake autoconf libtool [/quote] 这些工具，是编译hadoop源码是需要用到的。 这一点狠狠很重要 2，下载，安装ant 下载：apache-ant-1.8.4-bin.tar.gz ...

幸幸苦苦安装好了新版hadoop， 然后辛辛苦苦调通，可以跑mr了。 然后用distcp从1.0.3的集群拷数据到2.0.1的集群中。 首先是由于版本不同，不能用hdfs协议直接考，需要用http协议。 即不能用 distcp hdfs://src:54310/foo hdfs://dst:54310/ 而要用 distcp hftp://src:50070/foo hdfs://d...

折腾了一天一夜。 到运行mr任务时卡住了，一直报错，说找不到hadoop的Congfiguration类。 我尝试把hadoop包也打到运行的jar里面，尝试，有报错找不到其他的类。 反正问题就是，application运行时，找不到相应的jar包。 折腾了整整一晚上，最后搞定，说实话，我都不知道是改了哪里搞定的。 注意一点，系统环境变量/etc/profile，hado...

无意中在cloudera网站上看到的bigtop介绍： http://www.cloudera.com/blog/2012/04/apache-bigtop-0-3-0-incubating-has-been-released/ Apache Bigtop 0.3.0 (incubating) is now available. This is the first fully integr...

http://www.hadoopor.com/thread-71-1-1.html Hadoop技术论坛 注册 登录 论坛 导航 RSS Hadoop技术论坛 » Hadoop综合 » Hadoop使用常见问题以及解决方法 123下一页 返回列表 发帖 版主 Rank: 7Rank: 7Rank: 7 十级勋章 ...

启动有几个部分： 1，hdfs； 其中包括、namenode、datanode、secondaryNamenode、backupNode 在namenode上执行：./start-dfs.sh 即可启动nn、dn、snn， backupNode需要在backupNode上去执行： nohup ./hdfs namenode -backup > backupNode.out & 2，...

yarn的配置比hdfs那几个点点简单多了， 网上随便找个教程应该都可以搞定。 遇到的几个问题，记录以下。 1，尼玛yarn-env.sh 与 hadoop-env.sh，启动dfs的时候只会读取hadoop-env.sh， 启动yarn时，运行./start-yarn.sh，会先执行hadoop-env.sh再执行yarn-env.sh，也就是说后者级别高，会覆盖前者。...

折腾了一天， 装0.23的hdfs。 版本是0.23.1 官方文档写的这个是alpha，折腾了一下午，这个尼玛果然是alpha，一堆东西有问题。 废话少说，直入主题。 首先是下载官网上的安装包。 官网上也推荐把hdfs、mapred、yarn三个帐号分开。 配置ssh这里就不说了。 0.23的目录结构跟0.20.2比改动很大，这里大概说明下： 1，首先所有...

这个东西，看来很复杂，网上一搜很多资料。 总的来说就是 一，需要编译hadoop lzo部分的代码，然后添加到hadoop lib里面。 二，然后在core-site.xml、mapred-site.xml、hadoop-env.sh里面加几个参数， 三，重启集群就ok了。 虽然看上去就三步，不过编译hadoop lzo部分的代码还是有点小麻烦的。 现在主要记录下这块把。 ...

只是升级hadoop和Hbase两个组件。 参考的主要是 http://www.iteye.com/topic/515848 和 http://caibinbupt.iteye.com/blog/283811 分割线---转载部分---- 1：运行dfsadmin -upgradeProgress status 检查是否存在备份 如果是第一次升级 就不存在备份 2：备...

错误一，hbase版本统一 报出一堆getMaster的错误，或者各种看不懂的错误，结果发现是部署的hbase版本和，开发程序依赖的hbase版本不匹配。所以版本问题首先要解决，统一版本。 错误二，伪分布和单机模式要区别。 hbase-site.xml中有个“hbase.cluster.distributed”参数，如果这个参数为false，则意味着hbase将依赖的是本地文件系统来建立...

其实就是编辑一个文本，文本内容就是写出要移除机器的ip地址。 然后在mapred-site.xml 设置dfs.hosts.exclude参数，其值为刚提到ip地址文件的路径。 然后执行hadoop dfsadmin -refreshNodes ok， 这个时候，机器就会把那些有待移除的节点上的数据，开始搬移。其实这个时间比我想象的要快，具体多久，也没注意，出去吃顿饭，两个多小时移除了大概...

因为一个程序把hadoop集群整死了。 集群重启后，hbase死活无法正常启动。 现象： master上HMaster进程有，slaves上的zookeeper和regionserver进程也有， 但是web无法访问hbase，hbase shell也起不来。 总之，hbase无法提供服务。 查看hbase master日志， 发现启动过程中，对hdfs/hbase/.log...

不知道为什么bin/addwar.sh里面说只支持0.20.x， 于是修改这个文件，addhadoopjar函数里面添加内容，修改后的函数为： [code="shell"] #get the list of hadoop jars that will be injected based on the hadoop version function getHadoopJars() { ...