wufabao的博客

Flink on Yarn启动报错Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/yar

flink web-ui提交New Job报错Server Response Message: Internal server error.

原因：因为有消费者正在消费，没有关闭，把消费者关闭之后，重新移动指定分区的偏移量就好了.kafka将指定主题的指定分区的偏移量向前移动n（10）个消息的时候报错。

。

报错内容经DataX智能分析,该任务最可能的错误原因是:com.alibaba.datax.common.exception.DataXException: Code:[DBUtilErrorCode-01], Description:[获取表字段相关信息失败.]. - 获取表:test 的字段的元信息时失败. 请联系 DBA 核查该库、表信息. - com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Unknown column ‘c

报错内容tar -zxvf aaa.txt.gztar: This does not look like a tar archivetar: Skipping to next headertar: Exiting with failure status due to previous errors排查过程查看文件属性file aaa.txt.gz2022032900.Change.txt.gz: gzip compressed data, from FAT filesystem (MS-DO

报错内容再Windows的cmd中执行telnet命令报错：‘telnet’ 不是内部或外部命令，也不是可运行的程序或批处理文件。报错原因系统中的telnet是关闭状态解决方案打开Windows系统telnet命令，首先再搜索框搜索’telnet’，然后点击进入‘启用或关闭Windows功能’然后勾选上‘Telnet客户端’当看到显示‘Windows已完成请求的更改’，重新开一个cmd窗口重新执行一下telnet命令试一下。ok，完美解决，telnet命令可以使用了。...

报错内容在Linux操作系统中，手动执行sh脚本没有任何问题，但是把sh脚本放到定时任务中，crontab定时任务调用sh脚本，sh脚本中有hive语句，在执行定时任务的时候，报错/home/hive/test/createtable.sh: line 15: hive: command not found原因在crontab中执行sh脚本，无法加载系统环境变量，找不到hive路径，所以报错hive: command not found解决方案在sh脚本首行添加source /etc/prof

过程昨天在Linux执行Shell脚本的时候，把脚本执行结果写入到指定路径下的日志文件，然后报错sh /home/mysql/sql/test/test.sh param,param2,param3 >> $logsPath/testfile.log 2>&1-bash: /testfile.log: Permission denied原因因为这个脚本是从其他脚本中摘出来的一条语句，写入日志使用了变量logsPath,而单独摘出来，该变量没有定义，所以报错解决方案把

问题描述阿里云轻量应用服务器闲置时间过长自动断开连接，并且如果在本地使用远程连接工具，打开多个窗口，一段时间误操作，会进入卡死状态，就是输入任何命令都没有任何反应，导致工作效率严重低下。解决方案1 编辑sshd_config文件在Linux服务端，配置让 server 每隔 60秒向 client 发送一个 keep-alive 包来保持连接：vim /etc/ssh/sshd_config添加如下内容ClientAliveInterval 60ClientAliveCountMax 100

现象今天在Linux执行解压文件命令，报错tar -zxvf t_xxx.tar.gz ./tar: .: Not found in archivetar: Exiting with failure status due to previous errors原因解压路径没有加 -C参数改成下面的就好了tar -zxvf t_xxx.tar.gz -C ./...

报错内容Java操作Hive数据库，引入了hive-jdbc驱动，在使用maven-assembly-plugin插件进行打包时报错org.glassfish:javax.el:pom:3.0.1-b06-SNAPSHOT was not found in https://repository.apache.org/snapshots during a previous attempt. This failure was cached in the local repository and resolu

问题使用Java代码连接Hive，报错java.sql.SQLException: No suitable driver found for jdbc:hive://192.168.100.111:10000/hive at java.sql.DriverManager.getConnection(DriverManager.java:689) at java.sql.DriverManager.getConnection(DriverManager.java:247) at com.dtsx.c

问题今天在Windows上测试使用mysqldump导出mysql数据，导出的数据发现中文乱码，中文注释以及中文数据都是乱码。原因排查后发现，是PowerShell的锅，Windows PowerShell 输出重定向 (“>”) 文件编码默认为UTF-16(LE)问题，而MySQL数据库的编码设置的是UTF-8解决方案把在Windows PowerShell 中执行的命令在cmd中执行就好了。...

过程       昨天下午笔记本电脑弹出通知“重新启动以修复驱动器错误”，然后就把该保存的文件保存，该退出的程序退出，之后重启了一下电脑。打开“此电脑”，发现机械硬盘（256固态分了C、D两个盘+1T机械分了E、F两个盘）找不到了，       然后我大脑宕机了5-10s，赶紧打开计算机管理，点击“存储”–>“磁盘管理”，然后在这能看到，但是在“此电脑”看不到

报错内容在执行自己编写的Jar包的时候，报错java.io.FileNotFoundException: /home/data/t.txt (Too many open files) at java.io.FileOutputStream.open0(Native Method)java.io.IOException: Cannot run program "/bin/bash": error=24, Too many open files at java.lang.P

现象这是之前遇到的问题，就是Java读取MySQL数据，读取不到第一条数据，并且之后的数据隔一条读一条原因因为rs.next()执行了两次，所以报错，因为当时测试的时候，先测试的取一条数据，写了个rs.next，没有问题之后，就遍历数据库数据，执行while(rs.next())，然后下面的rs.next()忘了注释，就出现这个问题。解决方案在循环中注释掉下面的rs.next()就好了。...

报错再使用Java代码读取MySQL数据的时候，读取date格式的数据，然后使用DateTimeFormatter格式化的时候突然在控制台发现了报错，Value ‘0000-00-00’ can not be represented as java.sql.Date，找到对应的数据，发现该条数据在MySQL中的值为‘0000-00-00’原因‘0000-00-00’在mysql中是作为一个特殊值存在的，但是在Java中， java.sql.Date 会被视为 不合法的值，被JVM认为格式不正确，会报异

修改Tomcat VM options编码修改settings/Editor/file encodings编码修改idea.exe.vmoptions和idea64.exe.vmoptions，我的IDEA安装目录没有idea.exe.vmoptions文件，拷贝的idea64.exe.vmoptions然后重命名。c盘配置文件目录还有一个C:\Users\admin.IntelliJIdea2019.3\config\idea64.exe.vmoptions）文件，编码不要忘记修改，上述几个文.

报错内容Error starting ApplicationContext. To display the conditions report re-run your application with 'debug' enabled.2022-03-01 21:10:40.729 ERROR 27988 --- [ main] o.s.boot.SpringApplication : Application run failedorg.springfra

报错内容在SpringBoot项目中使用了Kafka，在启动的过程中报错2022-02-26 11:44:10.422 ERROR 26148 --- [ main] o.s.boot.SpringApplication : Application run failedorg.springframework.context.ApplicationContextException: Failed to start bean 'org.springframe

在本地文件系统创建了对应的文件，但是在执行文件上传代码时报错，系统找不到本地文件检查一下是否勾选了“文件扩展名”勾选之前勾选之后原因在创建文件时系统自动添加了文件后缀，因为没有勾选“文件扩展名”选项，自己添加了一个文件扩展名，出现".txt.txt"现象。删除掉一个".txt"就好了，建议Win系统勾选“文件扩展名”选项。...

问题：在代码中测试SparkStreaming与Kafka整合的过程，需要在kafka中提前创建两个topic，但是在执行创建脚本的过程中报错如下 kafka-topics.sh --zookeeper linux1:2181,linux2:2181,linux3:2181 --create --topic wufabao_topic01 --replication-factor 2 --partitions 3WARNING: Due to limitations in metric names,

报错内容java.lang.IllegalStateException: No current assignment for partition topicBC-3 at org.apache.kafka.clients.consumer.internals.SubscriptionState.assignedState(SubscriptionState.java:259) at org.apache.kafka.clients.consumer.internals.SubscriptionStat

错误一：Unable to locate hive jars to connect to metastore. Please set spark.sql.hive.metastore.jars.解决方案：将JDK11切换为JDK8，问题解决。JDK11和Spark/Hive应该存在版本兼容性问题错误二：连接成功后只显示一个default数据库解决方案：把HIVE_HOME/conf目录下的hive-site.xml文件拷贝到本地IDEA的maven项目的resources目录下完美解决

在Standalone模式下，RDD操作所在的机器未必是提交任务的机器，所以输出RDD元素在提交任务的机器未必可以显示，解决方案：先把数据collect收集起来，然后打印收集的数据（生产环境不建议使用collect算子），可以正常打印：...

scala> val lines = sc.textFile("file:///root/wc.txt")lines: org.apache.spark.rdd.RDD[String] = file:///root/wc.txt MapPartitionsRDD[11] at textFile at <console>:24scala> lines.count[Stage 7:>

22/01/06 22:10:05 INFO BlockManager: Using org.apache.spark.storage.RandomBlockReplicationPolicy for block replication policy22/01/06 22:10:05 INFO BlockManagerMaster: Registering BlockManager BlockManagerId(driver, linux121, 34370, None)22/01/06 22:10:0

2021/12/01 09:26:38.610 +0800 ERROR [MySQLDataSource] [Azkaban] Failed to find write-enabled DB connection. Wait 15 seconds and retry. No.Attempt = 1java.sql.SQLException: Cannot create PoolableConnectionFactory (Access denied for user 'root'@'linux121' (

[root@xxxmapreduce]# hiveLogging initialized using configuration in file:/opt/wufabao/servers/hive-2.3.7/conf/hive-log4j2.properties Async: trueHive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different

今天在CentOS上安装Azkaban，在bin目录下执行完./start-solo.sh脚本后访问web界面失败，然后使用jps命令发现AzkabanSingleServer服务没有启动，在bin目录下生成了一个.out文件打开该文件，内容如下，说是找不到’database.properties’文件2021/11/30 21:20:44.875 +0800 INFO [AzkabanWebServer] [Azkaban] Starting Azkaban Server2021/11/30 21

HBase自定义Observer协处理器在向其中一张表插入数据时，将数据保存到另一张表，执行逻辑报错如下2021-11-30 14:28:13,884 ERROR [RpcServer.FifoWFPBQ.default.handler=29,queue=2,port=16000] master.MasterRpcServices: Region server linux121,16020,1638253313319 reported a fatal error:ABORTING region serv

今天在hbase shell中执行一些语句时发现特别卡顿，然后查看了一下日志，发现报错：2021-11-30 14:15:58,777 INFO [htable-pool17-t1] client.RpcRetryingCaller: Call exception, tries=11, retries=350, started=48510 ms ago, cancelled=false, msg=拒绝连接 row '' on table 'hbase:meta' at region=hbase:meta

使用远程连接工具连接Hadoop集群的CentOS系统（简称C1、C2、C3），发现其他两台都OK，只有一台（C1），连接超时，然后其他两台使用ssh hostname可以访问，访问C1失败，然后使用ping命令也ping不通C1，使用 ip addr，也无法显示自己设置的ip地址，打算重启一下网卡试一下systemctl restart network,结果报错如下：Restarting network (via systemctl): Job for network.service failed

排错过程安装Impala后，删除掉Impala依赖的Hadoop、Hive等框架后，还是启动自己之前部署的Hadoop、Hive，没有报错，但是通过WEb界面查看，发现集群处于安全模式，然后所有的DataNode节点都没有挂载上（这时候没有注意到DataNode节点没有挂载上）。。。Security is off.Safe mode is ON. The reported blocks 0 needs additional 539 blocks to reach the threshold 0.999

通过文件模式为Sqoop在Job执行数据同步的过程中报错21/11/17 23:24:08 ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for user 'hive'@'IP' (using password: YES)java.sql.SQLException: Access denied for user 'hive'@'IP' (using password:

Linux系统中，使用tar解压.tar.gz文件时报错：解决方案解压加-C 参数，可以正常解压-C参数：切换到指定目录

使用Hue，在SQL编辑器里面写中文注释或者SQL语句里面有中文报错 Incorrect string value:… for column search at row 1解决方案在Hue的元数据库执行如下SQL（以MySQL数据库作为Hue的元数据库为例）alter database hue character set latin1;alter table beeswax_queryhistory modify `query` longtext CHARACTER SET utf8 COLLATE

原因在Hive中，GROUP BY 后 SELECT 列的限制，Select 查询的列，要么需要是 Group by 中的列，要么得是用聚合函数（ sum、count 、avg等）加工过的列。不支持直接引用原表中的列。

原因：groupId是基本类型long，不是包装类型Long。解决方案：把groupId的类型由long修改为Long。