bug 集
关注
分享
扫一扫
写代码时所遇到的bug
红尘丶世界
从来如此，便是对么？
展开
-
一个关于流处理的坑 Task not serializable
错误详情Exception in thread "main" org.apache.flink.api.common.InvalidProgramException: Task not serializable at org.apache.flink.api.scala.ClosureCleaner$.ensureSerializable(ClosureCleaner.scala:408) at org.apache.flink.api.scala.ClosureCleaner$.org$apache原创 2020-09-29 07:57:53 · 2358 阅读 · 0 评论 -
spark Caused by: java.lang.ClassNotFoundException: libsvm.DefaultSource
今天学习spark-mlib时报错说找不到libsvm.DefaultSource详情如下:Exception in thread "main" java.lang.ClassNotFoundException: Failed to find data source: libsvm. Please find packages at http://spark.apache.org/third-party-projects.html at org.apache.spark.sql.execution.da原创 2020-06-19 17:43:42 · 882 阅读 · 1 评论 -
spark 数据写入HBase时内存溢出了 java.lang.OutOfMemoryError: Unable to acquire 60 bytes of memory, got 0
错误详情java.lang.OutOfMemoryError: Unable to acquire 60 bytes of memory, got 0 at org.apache.spark.memory.MemoryConsumer.allocatePage(MemoryConsumer.java:127) at org.apache.spark.util.collection.unsafe.sort.UnsafeExternalSorter.acquireNewPageIfNecessary(Un原创 2020-06-15 22:29:06 · 1283 阅读 · 0 评论 -
expression 'pay.`pay_channel`' is neither present in the group by, nor is it an aggregate function.
报错详情Exception in thread "main" org.apache.spark.sql.AnalysisException: expression 'pay.`pay_channel`' is neither present in the group by, nor is it an aggregate function. Add to group by or wrap in f...原创 2020-04-09 10:06:18 · 5902 阅读 · 4 评论 -
org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet
报错详情如下:org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=32, exceptions:Tue Dec 17 10:21:47 CST 2019, null, java.net.SocketTimeoutException: callTimeout=60000, callDura...原创 2019-12-17 11:02:52 · 7820 阅读 · 6 评论 -
hue you are a Hue admin but not a HDFS superuser, "root" or part of HDFS supergroup, "supergroup".
修改配置文件cd $HADOOP_HOME/etc/conf修改如下配置文件（1）vim hdfs-site.xml修改或添加如下内容 <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </pr...原创 2019-12-09 09:33:32 · 1181 阅读 · 1 评论 -
常见安装软件出现的错误 version 52.0
报错详情:安装Azkaban的时候 报错了报错原因版本不兼容的问题, jdk 和 Azkaban 不兼容错误排查使用 java -version 查看jdk版本如下解决办法:换成jdk 1.8查看是否安装了jdkrpm -qa | grep jdk如果已经安装过了直接更换软链接就行删除原先的软链接rm -rf /etc/alternatives/java ln...原创 2019-12-06 17:36:37 · 601 阅读 · 0 评论 -
Output directory hdfs://hadoop01:8020/appendresult already exists
报错详情:报错原因输出目录已经存在解决办法删掉存在的目录,或者更换输出目录原创 2019-12-05 21:37:28 · 1316 阅读 · 0 评论 -
Sqoop Access denied for user 'root'@'hadoop03' (using password: YES)
错误详情:使用sqoop导入表数据子集时报错错误发生的原因:hive仓库的权限不够解决办法:修改hive仓库的权限hadoop fs -chmod 777 /user/hive/warehouse原创 2019-12-05 21:27:00 · 889 阅读 · 0 评论 -
hadoop Note: System times on machines may be out of sync. Check system time and time zones.
错误详情:错误发生的原因集群时间不同步解决办法可以查看我的另一篇博客linux 集群时间同步(不联网)原创 2019-12-05 19:57:57 · 643 阅读 · 0 评论 -
使用 sqoop 从mysql导入数据到hive 报错 Hive exited with status 88
报错内容:报错语句sqoop create-hive-table \--connect jdbc:mysql://hadoop01:3306/sqoopdb \--table emp_add \--username root \--password 123456\--hive-table test.emp_add_sp报错原因hive中没有创建test 数据库,因此无法创建表...原创 2019-12-05 18:23:22 · 334 阅读 · 0 评论 -
The number of live datanodes 0 has reached the minimum number 0.
错误详情如下:The number of live datanodes 0 has reached the minimum number 0. Safe mode will be turned off automatically once the thresholds have been reached.出现原因集群正处于安全模式解决办法:等待或者强制退出安全模式 (建议等待如果两分钟后...原创 2019-12-05 15:05:11 · 3351 阅读 · 0 评论 -
java.nio.charset.MalformedInputException: Input length = 1
报错详情使用flume的使用报错出现的原因:测试的时候使用的是中文名称的文件解决办法此bug多半是因为中文导致的,找到报错的点,修改为英文就可以了....原创 2019-12-05 14:50:31 · 369 阅读 · 0 评论 -
idea突然不能粘贴外面的东西
问题:idea突然不能粘贴外面的东西,但内部能正常的粘贴复制出现的原因:快捷键冲突了,微软自带的输入法跟idea冲突了在网上查找的时候发现还有人是因为 进入了vim模式 等等无法使用的问题.解决办法禁用微软输入法,或修改微软输入法的快捷键退出vim模式 tools ->Vim Emulater 把勾选去掉....原创 2019-12-03 15:26:39 · 6475 阅读 · 3 评论 -
mapreduce 从map端输出数据到reduce端后乱码
错误:从map端输出数据到reduce端,reduce端接收后乱码发生的原因:自定义bean对象的readFields或write方法写错了package com.czxy.mapjoin;import org.apache.hadoop.io.Writable;import java.io.DataInput;import java.io.DataOutput;import j...原创 2019-11-26 18:07:34 · 339 阅读 · 0 评论 -
Caused by: java.io.IOException: Filesystem closed 操作文件系统时习惯性的关流
错误:发生原因:filesystem被关闭了解决办法原创 2019-11-26 14:36:03 · 1634 阅读 · 0 评论 -
MapReduce 加载文件到缓存中报错空指针异常 Caused by: java.lang.NullPointerException
错误:发生原因:没有把文件加载到缓存就实例了job对象解决办法:先加载文件到缓存然后再实例job对象原创 2019-11-26 14:30:19 · 560 阅读 · 0 评论 -
java.lang.Exception: java.io.IOException: Illegal partition for 1002 (1) mapreduce自定义partition分区报错
出现的错误:出错的pom<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLoca...原创 2019-11-26 11:19:09 · 436 阅读 · 0 评论 -
hive启动时 java.net.ConnectException:拒绝连接
hive启动时 java.net.ConnectException:拒绝连接原创 2019-11-19 11:33:08 · 23498 阅读 · 21 评论 -
MapReduce 一直报自定义对象类型转换异常 Caused by: java.lang.ClassCastException: class com.xxx.BrowserBean
错误:原题数据文件和题目要求链接：https://pan.baidu.com/s/1FKcCVbwv30Q7roxZCJX8dw 提取码：6zja 题目要求:使用MR求每个浏览器的数量,过滤掉状态码大于400的数据,或者状态码为空的数据,要求用对象封装数据,输出浏览器和数量数据说明:data[0] 用户ip,0data[1] 客户端用户名data[3]请求时间data[5] ...原创 2019-11-16 09:56:44 · 776 阅读 · 2 评论 -
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException) hadoop读写文件
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=dell, access=WRITE, inode="/aaa":root:supergroup:drwxr-xr-x错误如下:发生的原因:读...原创 2019-11-12 11:25:26 · 3656 阅读 · 1 评论 -
java.lang.ClassNotFoundException: org.apache.log4j.ConsoleAppender
错误:发生的原因:日志文件没导入或者日志文件字符集出现问题解决方法:导入日志文件的jar 或者 把原先的日志文件拷贝创建一个新的日志文件,重新复制一下,还不行就换一个新的日志文件.如果是maven直接加入以下jar: <dependency> <groupId>commons-logging</groupId>...原创 2019-11-12 08:53:17 · 3911 阅读 · 0 评论 -
hadoop在分配任务时报错:java.io.IOException: Bad connect ack with firstBadLink as 192.168.100.111:50010
错误:出错原因: 192.168.100.111 从节点的防火墙未关闭,连接失败解决方式关闭从节点的防火墙:关闭方式 :CentOS 6 :service iptables stopchkconfig iptables offCentOS 7 :systemctl stop firewalld.servicesystemctl disable firewalld....原创 2019-11-08 20:45:47 · 559 阅读 · 0 评论 -
java.io.IOException: NameNode is not formatted. 新创建的hadoop集群启动时报错namenode没有启动成功
出现的错误:出错的原因:hadoop集群创建完成之后 namenode没有进行初始化解决方法以下均是在主节点操作我的hadoop安装目录是 : /export/install/hadoop-2.6.0-cdh5.14.0/1.先关闭hadoop集群/hadoop的安装目录/sbin/stop-all.sh示例: /export/install/hadoop-2.6.0-cdh5...原创 2019-11-08 20:20:19 · 2702 阅读 · 1 评论 -
hadoop java.lang.InterruptedException hadoop 使用 put 时报错
上传文件爆错,但文件正常上传成功了后去翻阅了大量的资料发现在做很多操作时都会出现此 bug,一般都是在使用hdfs做文件操作时发生的错误,此报错并不算出错,在之前的版本都只是警告,之HDFS-9812及之后的版本都会报错,不予理会就行....原创 2019-11-07 14:41:13 · 888 阅读 · 0 评论 -
namenode address dfs.namenode.servicerpc-address or dfs.namenode. hadoop启动时新节报错
报错内容:发生的原因:添加一个新节点时,发现启动是正常的去新添加的节点 hadoop04 使用jps查看时发现 hadoop04的datenode没有启动分析:去 hadoop04 打开日志文件 发现出现如上图的错误,想到可能是配置文件的问题解决方法:在hadoop04节点 hadoop的根目录下(cd /hadoop的安装目录/etc/hadoop/)的 core-site....原创 2019-11-06 15:50:42 · 961 阅读 · 0 评论 -
hadoop java.io.FileNotFoundException: No valid image files found 导致namenode 启动不了怎么解决?
准备工作:删除所有的 fsimage 文件和 edits 文件删除 fsimage 文件rm -rf fsimage 文件存放地址例如:rm -rf /export/install/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas/current/如果不知道fsimage文件在哪个目录下可以打开 hdfs-site.xml 文件查看 (...原创 2019-11-06 11:42:06 · 6897 阅读 · 1 评论 -
java.io.IOException: Connection reset by peer;关闭hadoop集群时发现 dataNode 和 NodeManager 没关掉
关闭hadoop集群时无意中使用 jps 发现dataNode 和 NodeManager 没关掉1.检查日志发现报错仔细看了一下关闭情况发现 多了个localhost于是打开/etc/hadoop/slaves 这个配置文件 vi ../etc/hadoop/slaves 发现果然多了一个localhost 才想起以前配置的时候没有删除把localhost删除后保存退出jp...原创 2019-11-06 10:23:34 · 2052 阅读 · 0 评论 -
hadoop分配任务时任务跑到一半报错: 没有找到主机路由
hadoop 分配任务时任务跑到一半时报错:java.net.NoRouteToHostException: No Route to Host from hadoop02/192.168.100.101 to hadoop03:39646 failed on socket timeout exception: java.net.NoRouteToHostException: 没有到主机的路由;...原创 2019-11-01 09:15:44 · 1062 阅读 · 0 评论 -
linux中ping 其他虚拟机IP地址 一直报 destination host unreachable
网络原创 2019-11-04 15:02:54 · 3511 阅读 · 5 评论