JavaShooter-优快云博客

原创 argodb自定义函数读取hdfs文件的注意点，避免FileSystem已关闭异常

顺着这一点，可以查看集群上这个配置项的值，即“fs.hdfs.impl.disable.cache”，这个值默认是false(出现性能考虑)，但这意味着hdfs文件系统的实现类(DistributedFileSystem)实例是共享、缓存的，在spark不同的executor中一旦有一个任务关闭了fs，那么其它的executor也会受到影响，这也是报fs closed异常的原因，所以将fs.hdfs.impl.disable.cache设置成true，不允许缓存fs。

2024-09-08 09:55:46 378 1

原创 nginx http 411 length required问题

问题：http post访问nginx报 411 异常解决方法：修改nginx.conf文件，http模块添加参数：chunked_transfer_encoding on;

2015-10-09 17:06:58 5143

原创 java.io.IOException: No FileSystem for scheme: hdfs

问题：NN配置成HA后，通过API读过集群各节点状态时，发生如下的异常！java.io.IOException: No FileSystem for scheme: hdfs没有获取到DFS!!!解决方案：待。。。

2013-11-21 14:26:43 6602

原创 hive java.io.IOException: Cannot initialize Cluster

环境：cdh4,hive-0.10问题:启动hive,报 java.io.IOException: Cannot initialize Cluster，Please check your configuration for mapreduce.framework.name and the correspond server addresses.解决：修改$HIVE_HOME/conf/hi

2013-11-12 15:54:52 4451

原创 Exception in BPOfferService for Block pool BP

集群：cdh4 问题：启动集群后，发现datanode日志，报Exception in BPOfferService for Block pool BP.解决：hdfs-site.xml修改属性dfs.datanode.data.dir，配置它的值为多个目录(逗号分隔)，这个可能与属性dfs.datanode.failed.volumes.tolerated有关。

2013-11-11 15:02:45 2597

原创 Missing Hive Builtins Jar: /data/hive-0.11.0/lib/hive-builtins-*.jar

问题：编译hive-0.11，执行hive报这个错，发现$HIVE_HOME/lib下面没有hive-builtins-*.jar。待解：

2013-11-09 10:24:11 1622

原创 nagiosgraph nan

问题：nagiosgraph图形显示 nan，无具体数字。看日志无问题，且其它的lt

2013-10-14 17:17:27 1200

原创 hive lzo 乱码问题

测试集群配置lzo，无问题。生产环境上通过hive查询数据时，出现乱码（多出几行），应该是在解压时出现了其它的字符，通过lzop解压无问题。解决方案：待....

2013-10-11 10:03:42 2096 1

原创 mysql rank

问题：取各网站pv top 10记录。解决：rank如下：select site_id,pv_count,rankfrom (select A.site_id,A.pv_count,if(@site=site_id,@curRank := @curRank+1,@curRank := 1) as rank,@site := site_idfrom (select site_

2013-09-10 11:33:56 1337

原创 hive-0.11错误

安装hive-0.11，执行ql，报如下错误：2013-08-09 10:23:08,854 ERROR metastore.RetryingHMSHandler (RetryingHMSHandler.java:invoke(134)) - NoSuchObjectException(message:partition values=[2013-08-03]) at org

2013-08-09 10:27:10 2721

原创编译hive错误

编译hive时，出现了以下异常： You probably access the destination server through a proxy server that is not well configured！原因：可能是网络配置原因，无法访问目标网站，解决方法：待定！！！

2013-07-25 17:29:37 3171

原创 FAILED: Error in semantic analysis: No matching method for class org.apache.hadoop.hive.ql.udf.GetEx

hive 自定义UDAF报FAILED: Error in semantic analysis: No matching method for class org.apache.hadoop.hive.ql.udf.GetExitPageUDAF with (string, string, bigint). Possible choices:写了很多udf，udaf，居然遇到这样的

2013-07-24 11:33:53 11049 1

原创 ssh 调用 hadoop问题

Error occurred during initialization of VMjava.lang.OutOfMemoryError: unable to create new native threadat java.lang.Thread.start0(Native Method)at java.lang.Thread.start(Thread.java:640)at ja

2013-05-17 15:28:58 971

原创 Main class [org.apache.oozie.action.hadoop.HiveMain], exit code [10]

oozie执行hiveql，发生这样的异常！Main class [org.apache.oozie.action.hadoop.HiveMain], exit code [10]

2013-05-03 16:49:00 3127 2

原创如何构建一套数据计算与报表相结合的系统？

做一套这样的系统：1.各类数据可以灵活定义，描述2.各类数据可以以多种方式导入系统3.对各类数据可以方便的形成计算任务，进行任务调度管理4.计算结果可以方便地形成图表各位大神，您有何高见!

2013-04-29 19:29:52 904

原创 java.sql.SQLException: Field 'IS_STOREDASSUBDIRECTORIES' doesn't have a default value

今天在添加表分区遇到如下的异常：ALTER TABLE s_search_log ADD IF NOT EXISTS PARTITION (day_id =20130428, PLAT_TYPE=3) LOCATION '/data/stg/s_search_log/20130428/3/';异常：FAILED: Error in metadata: javax.jdo.JDODa

2013-04-29 11:32:16 2512

原创 hive表乱码问题

1.导入到hdfs的文件是gbk编码2.创建hive的外表部，引用gbk编码文件.hive数据utf-8编码。3.cli查询出中文为乱码由于数据入hive表中已为乱码，此时再进行转码已无效。

2013-04-10 09:58:42 4320

原创 stop-hbase.sh no zookeeper to stop because no pid file /tmp/hbase-hadoop-zookeeper.pid

关闭hbase时，发现这样的提示：no zookeeper to stop because no pid file /tmp/hbase-hadoop-zookeeper.pid原因：无法找到zk.pid文件，可能是由于放到/tmp造成

2013-03-14 17:47:38 12778 5

原创 restlet例子介绍

一篇关于restlet例子的文档，写的不错。http://www.docin.com/p-401845817.html

2013-03-06 18:15:33 936

原创专利文章搜索

http://search.patentstar.com.cn很不错的一个关于专利文章搜索方面的网站。

2013-02-06 10:20:46 748

原创 datanode无法启动

datanode无法启动，datanode.log报如下异常：2013-01-17 15:56:59,188 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: org.apache.hadoop.ipc.RemoteException: java.io.IOException: java.lang.IndexOutOfBoundsEx

2013-02-05 13:27:43 1316

原创 hive Timestamp类型慎用

java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Error evaluating regexp_replace(_col3, ':| |-', '') at org.apache.hadoop.hive.ql.exec.ExecReducer.reduce(ExecReducer.java

2013-01-10 08:52:42 11114 1

原创 hive sort by|order by

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+SortBy

2012-12-27 10:18:22 703

原创 hive left outer join on注意点

注意：A left outer join B on (..)，如果A表中有日期分区，要将日期条件放到where中，B表中的日期分区放到on条件中。昨天将两个表中日期分区都放到on中，出现错误结果。

2012-12-25 13:05:13 984

原创 hive reduce任务太多问题

最近有几个处理大数据的计算，占用reduce为999，直接占满slot，导致其它任务无法够取资源。现在尝试修改 hive.exec.reducers.max 27 max number of reducers will be used. If the one specified in the c

2012-12-19 09:28:49 869

转载 HowManyMapsAndReduces

http://wiki.apache.org/hadoop/HowManyMapsAndReduces

2012-12-06 16:24:45 531

原创 su: cannot set user id: Resource temporarily unavailable

昨天晚上在namenode节点上执行start-balancer.sh，今天早上su - hadoop用户报这样的问题！！！jps -l 看到start-balancer.sh仍然在执行，直接杀掉该进程即可或是stop-balancer.sh。这个进程怎么占用这么多资源，没有想到！同时注意一点就是：不要所有的节点都运行该进程。只要namenode节点运行该进程即可！！！

2012-12-06 08:45:22 1454

原创 hadoop rackawareness实现

由于集群扩大，新机器安装在另一台机架上，所以需要配置机架感知。机器感知没有使用默认脚本实现，而是采用直接配置topology.node.switch.mapping.impl，实现类是java类。以下是在测试集群中的实现。public class JavaTestBasedMapping implements DNSToSwitchMapping { //key:ip value:ra

2012-11-21 16:51:47 564

原创 hive MapJoin优化

https://cwiki.apache.org/confluence/display/Hive/MapJoinOptimization不错！

2012-11-16 12:03:00 700

原创 hivesql错误1:java.lang.Throwable: Child Error, status:255

java.lang.Throwable: Child Error at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271)Caused by: java.io.IOException: Task process exit with nonzero status of 255. at org.apache.hadoop.ma

2012-10-27 18:26:14 2258 1

原创 java.lang.IllegalArgumentException: Timestamp format must be yyyy-mm-dd hh:mm:ss[.fffffffff]

执行hsql :select user_id, prod_id, size(sw_prod) as item_cntfrom i_order_prod_log lateral view explode(sw_prod) prodTable as prod_id;发生下面的错误：java.lang.RuntimeException: org.apache.hadoop.h

2012-10-17 17:07:57 8843

原创 hive自定义函数注意异常捕获

在hive sql中如果有自定义的函数，注意捕获异常，否则hiveserver进程会被干掉。

2012-10-10 12:54:51 2102

原创写hive RowNumUDF注意点

写了一个hive的UDF函数 rownum，用于记录行号，后发现一个问题，就是rownum有重复。原因在于产生的多个map都会调用rownum，解决的方法要求你的hive sql中必须有sort by，不过这也意味着数据是在单内机器上排序。

2012-10-10 09:09:34 1792

原创 hadoop DataNode无法连接NameNode问题，注意/etc/hosts内容

早上检查任务执行情况，发现相关存储任务失败，检查hadoop相关状态(hadoop dfsadmin -report)发现数据节点一个也没有识别。检查数据节点日志hadoop-hadoop-datanode.log发现有2012-10-09 09:18:25,661 INFO org.apache.hadoop.ipc.RPC: Server at host137/192.168.6.13

2012-10-09 09:52:25 1459