lazythinker的专栏

之前写好的一个hadoop代码，昨天晚上执行时报错了，查了半天没查出来，网上的方法都试了还是不行，报错信息：2011-11-17 11:11:26,821 INFO org.apache.hadoop.mapred.JvmManager: JVM : jvm_201111071540_0140_m_-855804511 exited. Number of tasks it ran: 120

//设置自动mapjoin 为false set hive.auto.convert.join=false; set hive.ignore.mapjoin.hint=false//关闭严格模式 set hive.exec.dynamic.partition.mode=nonstrict; set hive.mapred.mode=nonstrict;

1、报错信息ask with the most failures(4):-----Task ID:  task_1472873234260_9322_m_000004URL:  http://hadoop-namenode1:8088/taskdetails.jsp?jobid=job_1472873234260_9322&tipid=task_1472873234

10020 failed java.lang.OutOfMemoryError GC overhead limit exceeded Java heap space

一、HDFS相关1、启动NameNodesbin/hadoop-daemon.sh start namenode2、启动DataNodesbin/hadoop-daemon.sh start datanode二、YARN相关1、启动Resource Managersbin/yarn-daemon.sh start resourcemanager2、启动N

1、查看nodemanager节点状态bin/yarn node -list2、停止nodemanagersbin/yarn-daemon.sh stop nodemanager3、修改etc/hoadoop/yarn-site.xml                         yarn.nodemanager.resource.memory-mb

1、问题来源前几天因为一个hive SQL的问题，导致其中一台机器的磁盘空间不足，删除临时文件解决了空间不足的问题；查看http://hadoop/cluster/nodes/unhealthy 发现出现了一个unhealty节点，错误信息如下1/1 local-dirs turned bad: /usr/local/goldmine/hadoop/tmp/nm-local-dir;1

因为业务上需要把hive统计的结果，插入到mysql中，总结了操作方法如下： 一、可以将hive HQL 统计的结果生成到指定的目录       INSERT OVERWRITE LOCAL DIRECTORY  '/tmp/result.txt' select id,name from t_test;二、直接把统计结果生成文件在linux输入下面的命令      hive

hbase在淘宝的应用和优化小结                                      作者：邓明鉴(taobao.com)  2012.3.51 前言     hbase是从hadoop中分离出来的apache顶级开源项目。由于它很好地用java实现了google的bigtable系统大部分特性，因此在数据量猛增的今天非常受到欢迎。对于淘宝而言，随着市场规模的扩大

在项目中碰到了MapReduce任务中需要引入第三方jar包的问题； 一、现象 报一堆类似异常【Error: java.lang.ClassNotFoundException:***】。 二、解决方案 随手一搜网上倒是不少解决方案，我选择两个典型方案，其它方案自行查找： (1) 将依赖的第三方j...

一、Hadoop Streaming  它是hadoop的一个工具，用来创建和运行一类特殊的map/reduce作业。所谓的特殊的map/reduce作业可以是可执行文件或脚本本件（python、PHP、c等）。Streaming使用“标准输入”和“标准输出”与我们编写的Map和Reduce进行数据的交换。由此可知，任何能够使用“标准输入”和“标准输出”的编程语言都可以用来编写MapReduc

一、下载并配置Cygwin    1、新建系统变量【CYGWIN】，变量值为【ntsc tty】    2、编辑系统变量【Path】，加入【c:\cygwin\bin】二、 安装java    配置 JAVA_HOME;三、配置eclipse    1、把hadoop安装包下的 contrib/ 目录下的插件 hadoop-*-eclipse-plugin.jar  放到e

1、Add jar    对当前shell有效，简单明了；2、hive-env.sh   HIVE.AUX.JARS.PATH对服务器无效，仅对当前hive shell有效，不同的hive shell相互不影响，每个hive shell都需要配置，可以配置成文件夹形式。    注意：1，根据hive启动脚本，此属性应该也只支持file://也就是本地文件，暂不支持HDFS，没有做验证。2，此配置可...