竹叶青 的专栏

下午将hadoop的调度器更改为Fair Scheduler，没想到晚上Fair Scheduler就抛出了异常，异常错误信息如下：23:51:36,437 ERROR org.mortbay.log: /schedulerjava.lang.NullPointerException at org.apache.hadoop.mapred.FairSchedulerServlet$

1）运行hive cli客户端时报错：Mkdirs failed to create /tmp/hadoop-test/hadoop-unjar15513    错误原因：hive客户端所在服务器/tmp目录已满    解决办法：a）清空/tmp目录；b）修改hive的临时目录2）hive提交的作业始终是map 0% red 0%的状态：    作业图示如下：

由于最近集群xcievers错误频频发生，已经到了影响集群正常运营的地步，于是决定修改集群所有的datanode节点的配置，并重启datanode，欲添加的配置项如下： dfs.datanode.max.xcievers 256        修改完配置文件后，在重启datanode时发生了麻烦，datanode启动日志报出

今天下午同事在使用hive提交查询时，抛出执行错误：      于是打开jobtracker的管理页面，发现正在运行的job数目为零，tasktracker心跳正常，这一异常现象让我觉得jobtracker可能是停止服务了（一般很少出现集群的运行job数为零的情况），于是手动提交了一个mapred任务进行测试，运行错误信息如下：12/07/03 18:07:22 INFO hdfs

由于hadoop集群中某台服务器磁盘损坏，导致该服务器tasktracker 任务失败率大增（失败原因：分配到该服务器的任务的临时目录选择了损坏的磁盘，导致job初始化是失败），所以决定将坏的磁盘从tasktracker中的mapred本地目录中删除，然后重启tasktracker。        操作步骤如下：       1）修改完mapred-site.xml配置文件；

今天在调试mapred streaming脚本时，发生了非常奇怪的问题：mapred脚本在被tasktracker调用后总是会随机的失败，错误信息如下：java.lang.RuntimeException: java.lang.NullPointerException at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(Pi

hive部署完成后，运行bin/hive命令进入hive的客户端，执行show databases;时出错：hive> show databases;FAILED: Error in metadata: javax.jdo.JDOFatalInternalException: Unexpected exception caught.NestedThrowables:java.lang.r

在使用pig分析数据时发现，pig竟然没有简便的方法实现类似如：select count(c1),sum(c2) from table1 的查询，最终通过group 一个人工产生的列，然后在使用foreach遇见才实现了上述查询。    不知道是我学艺不精还是pig中真的无法快速如上所说的简单查询呢？盼各位大侠指教

集群中的datanode由于未知原因无法和namenode保持正常心跳，从而被namenode从集群中删除，但是查看datanode的日志，发现该datanode还在运行。在重启该datanode的过程中，datanode运行到MBean for source ugi registered完这一步之后，就被挂起，不再输出任何日志信息，datanode也始终无法注册到namenode，日志信息如下：

因为经常遇到各种错误，所以转载过来，以备忘：经常遇到的exception是：PipeMapRed.waitOutputThreads(): subprocess failed with code N"OS error code 1: Operation not permitted""OS error code 2: No such file or directory""OS e

我在浏览器里面敲入www.suning.com，结果浏览器给我跳转到了这么一个页面       页面地址：http://www.duomai.com/special/error/error.htm?site_id=83658&aid=84&euid=&t=http%3A%2F%2Fwww.suning.com%2F#site_0