- 博客(76)
- 收藏
- 关注
RSS订阅原创 Flink本地程序添加WEB-UI报错：.net.BindException: Could not start rest endpoint on any port in port range 8081
Flink程序启动报错。解决方案：添加如下代码。
2023-06-23 14:41:18
1265
原创 Flink on Yarn启动报错Exception in thread “main“ java.lang.NoClassDefFoundError: org/apache/hadoop/yar
Flink on Yarn启动报错Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/yar
2022-08-30 01:19:33
1209
原创 flink web-ui提交New Job报错Server Response Message: Internal server error.
flink web-ui提交New Job报错Server Response Message: Internal server error.
2022-08-29 21:57:47
1671
原创 Error: Assignments can only be reset if the group ‘group‘ is inactive, but the current state is Stab
原因：因为有消费者正在消费，没有关闭，把消费者关闭之后，重新移动指定分区的偏移量就好了.kafka将指定主题的指定分区的偏移量向前移动n（10）个消息的时候报错。
2022-08-12 22:23:32
5007
原创 海豚调度报错[ERROR] sql task error: java.sql.SQLException: The query did not generatea result set
。
2022-07-20 14:24:49
2720
转载 hive get_json_object json_tuple json解析详解
json是常见的数据接口形式，实际中使用也很广泛，下面我们看看怎么在hive中解析json格式。hive中常用的解析json格式的函数有两个：先看看get_json_object从上面可以看出，get_json_object输入的参数是两个,json_txt与path。其中,json_txt就是我们需要解析的json字符串，而path表示json中的"字段"。再看看json_tuple方法从上面的解释不难看出，json_tuple与get_json_object的用法很类似，唯一的区别是，json_t
2022-06-12 19:31:08
1186
原创 使用DataX将将数据从Hive同步到MySQL报错 获取表字段相关信息失败.]
报错内容经DataX智能分析,该任务最可能的错误原因是:com.alibaba.datax.common.exception.DataXException: Code:[DBUtilErrorCode-01], Description:[获取表字段相关信息失败.]. - 获取表:test 的字段的元信息时失败. 请联系 DBA 核查该库、表信息. - com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Unknown column ‘c
2022-05-29 10:33:34
5617
原创 Linux使用tar命令解压压缩文件报错tar: Exiting with failure status due to previous errors
报错内容tar -zxvf aaa.txt.gztar: This does not look like a tar archivetar: Skipping to next headertar: Exiting with failure status due to previous errors排查过程查看文件属性file aaa.txt.gz2022032900.Change.txt.gz: gzip compressed data, from FAT filesystem (MS-DO
2022-03-29 16:45:24
8876
原创 ‘telnet‘ 不是内部或外部命令，也不是可运行的程序 或批处理文件。
报错内容再Windows的cmd中执行telnet命令报错：‘telnet’ 不是内部或外部命令，也不是可运行的程序或批处理文件。报错原因系统中的telnet是关闭状态解决方案打开Windows系统telnet命令，首先再搜索框搜索’telnet’，然后点击进入‘启用或关闭Windows功能’然后勾选上‘Telnet客户端’当看到显示‘Windows已完成请求的更改’，重新开一个cmd窗口重新执行一下telnet命令试一下。ok，完美解决，telnet命令可以使用了。...
2022-03-25 16:04:02
5032
1
原创 Linux操作系统中，crontab表达式调用hive报错hive: command not found
报错内容在Linux操作系统中，手动执行sh脚本没有任何问题，但是把sh脚本放到定时任务中，crontab定时任务调用sh脚本，sh脚本中有hive语句，在执行定时任务的时候，报错/home/hive/test/createtable.sh: line 15: hive: command not found原因在crontab中执行sh脚本，无法加载系统环境变量，找不到hive路径，所以报错hive: command not found解决方案在sh脚本首行添加source /etc/prof
2022-03-22 17:29:33
4716
原创 Kafka使用报错Subscription to topics, partitions and pattern are mutually exclusive
报错内容Exception in thread "main" java.lang.IllegalStateException: Subscription to topics, partitions and pattern are mutually exclusive at org.apache.kafka.clients.consumer.internals.SubscriptionState.setSubscriptionType(SubscriptionState.java:111) at org
2022-03-21 15:23:08
8014
原创 Win10Chrome调试安卓Chrome
一 手机端的准备：1 usb数据线，第一次连接电脑跟手机 可能还需要装驱动：2 打开开发者模式（设置->系统->关于手机->版本号 在版本号那一列连续敲七下 就可以启动开发者模式），打开选择USB配置，设置成USB连接（一定注意），具体手机连接可以不太一样 ，但是都需要设置成usb连接方式3 下载手机版谷歌浏览器，调试的时候 用的是谷歌浏览器二 电脑端：1 谷歌浏览器，访问： chrome://inspect/#devices2 open tab with url 你可以输
2022-03-18 23:03:01
4463
原创 Linux执行Shell脚本报错Permission denied
过程昨天在Linux执行Shell脚本的时候，把脚本执行结果写入到指定路径下的日志文件，然后报错sh /home/mysql/sql/test/test.sh param,param2,param3 >> $logsPath/testfile.log 2>&1-bash: /testfile.log: Permission denied原因因为这个脚本是从其他脚本中摘出来的一条语句，写入日志使用了变量logsPath,而单独摘出来，该变量没有定义，所以报错解决方案把
2022-03-18 18:52:21
6508
原创 阿里云轻量应用服务器闲置时间过长自动断开连接
问题描述阿里云轻量应用服务器闲置时间过长自动断开连接，并且如果在本地使用远程连接工具，打开多个窗口，一段时间误操作，会进入卡死状态，就是输入任何命令都没有任何反应，导致工作效率严重低下。解决方案1 编辑sshd_config文件在Linux服务端，配置让 server 每隔 60秒向 client 发送一个 keep-alive 包来保持连接：vim /etc/ssh/sshd_config添加如下内容ClientAliveInterval 60ClientAliveCountMax 100
2022-03-18 16:20:43
6230
原创 CentOS Linux下安装MySQL的几种方式
一 CentOS7下安装MySQL（RPM仓库安装）1.查询系统自带的mysqlrpm -qa | grep mysql2.卸载系统自带的mysql(上面命令列出的都要卸载)rpm -e --nodeps mysql-libs-5.1.73-8.el6.x85_643.下载安装官网yum源查看yum源仓库：ll /etc/yum.repos.d/下载yum源：wget -P /usr/software http://repo.mysql.com/mysql-community-release-
2022-03-17 18:33:57
6005
原创 tar: Exiting with failure status due to previous errors
现象今天在Linux执行解压文件命令，报错tar -zxvf t_xxx.tar.gz ./tar: .: Not found in archivetar: Exiting with failure status due to previous errors原因解压路径没有加 -C参数改成下面的就好了tar -zxvf t_xxx.tar.gz -C ./...
2022-03-16 10:50:59
11345
1
原创 org.glassfish:javax.el:pom:3.0.1-b06-SNAPSHOT was not found in https://repository.apache.org/snapsho
报错内容Java操作Hive数据库，引入了hive-jdbc驱动，在使用maven-assembly-plugin插件进行打包时报错org.glassfish:javax.el:pom:3.0.1-b06-SNAPSHOT was not found in https://repository.apache.org/snapshots during a previous attempt. This failure was cached in the local repository and resolu
2022-03-14 19:36:20
13299
原创 java.sql.SQLException: No suitable driver found for jdbc:hive://localhost:10000/default
问题使用Java代码连接Hive，报错java.sql.SQLException: No suitable driver found for jdbc:hive://192.168.100.111:10000/hive at java.sql.DriverManager.getConnection(DriverManager.java:689) at java.sql.DriverManager.getConnection(DriverManager.java:247) at com.dtsx.c
2022-03-14 19:24:42
12159
原创 使用mysqldump命令导出数据，中文乱码
问题今天在Windows上测试使用mysqldump导出mysql数据，导出的数据发现中文乱码，中文注释以及中文数据都是乱码。原因排查后发现，是PowerShell的锅，Windows PowerShell 输出重定向 (“>”) 文件编码默认为UTF-16(LE)问题，而MySQL数据库的编码设置的是UTF-8解决方案把在Windows PowerShell 中执行的命令在cmd中执行就好了。...
2022-03-08 19:56:33
12009
2
原创 记一次HDD（机械硬盘）突然出故障，然后数据恢复以及更换HDD的过程
过程 昨天下午笔记本电脑弹出通知“重新启动以修复驱动器错误”，然后就把该保存的文件保存，该退出的程序退出，之后重启了一下电脑。打开“此电脑”，发现机械硬盘（256固态分了C、D两个盘+1T机械分了E、F两个盘）找不到了， 然后我大脑宕机了5-10s，赶紧打开计算机管理，点击“存储”–>“磁盘管理”，然后在这能看到，但是在“此电脑”看不到
2022-03-05 18:47:37
13447
6
原创 执行Jar包报错FileNotFoundException: /home/data/t.txt (Too many open files)以及Cannot run program “/bin/bash
报错内容在执行自己编写的Jar包的时候，报错java.io.FileNotFoundException: /home/data/t.txt (Too many open files) at java.io.FileOutputStream.open0(Native Method)java.io.IOException: Cannot run program "/bin/bash": error=24, Too many open files at java.lang.P
2022-03-02 21:55:21
1271
原创 Java读取MySQL数据，读取不到第一条数据，并且之后的数据隔一条读一条
现象这是之前遇到的问题，就是Java读取MySQL数据，读取不到第一条数据，并且之后的数据隔一条读一条原因因为rs.next()执行了两次，所以报错，因为当时测试的时候，先测试的取一条数据，写了个rs.next，没有问题之后，就遍历数据库数据，执行while(rs.next())，然后下面的rs.next()忘了注释，就出现这个问题。解决方案在循环中注释掉下面的rs.next()就好了。...
2022-03-02 21:41:12
9977
原创 Java代码读取MySQL数据，遇到‘0000-00-00’报错Value ‘0000-00-00‘ can not be represented as java.sql.Date
报错再使用Java代码读取MySQL数据的时候，读取date格式的数据，然后使用DateTimeFormatter格式化的时候突然在控制台发现了报错，Value ‘0000-00-00’ can not be represented as java.sql.Date，找到对应的数据，发现该条数据在MySQL中的值为‘0000-00-00’原因‘0000-00-00’在mysql中是作为一个特殊值存在的，但是在Java中， java.sql.Date 会被视为 不合法的值，被JVM认为格式不正确，会报异
2022-03-02 15:58:12
10139
原创 SpringBoot中使用Kafka报错Error creating bean with name ‘kafkaTemplate‘ defined in class path resource
报错内容Error starting ApplicationContext. To display the conditions report re-run your application with 'debug' enabled.2022-03-01 21:10:40.729 ERROR 27988 --- [ main] o.s.boot.SpringApplication : Application run failedorg.springfra
2022-03-01 21:18:08
16484
原创 SpringBoot中使用Kafka报错：Failed to construct kafka consumer
报错内容在SpringBoot项目中使用了Kafka，在启动的过程中报错2022-02-26 11:44:10.422 ERROR 26148 --- [ main] o.s.boot.SpringApplication : Application run failedorg.springframework.context.ApplicationContextException: Failed to start bean 'org.springframe
2022-02-26 11:50:07
29010
3
原创 Java代码读取本地文件上传到OSS（对象存储服务）报错，系统找不到本地文件
在本地文件系统创建了对应的文件，但是在执行文件上传代码时报错，系统找不到本地文件检查一下是否勾选了“文件扩展名”勾选之前勾选之后原因在创建文件时系统自动添加了文件后缀，因为没有勾选“文件扩展名”选项，自己添加了一个文件扩展名，出现".txt.txt"现象。删除掉一个".txt"就好了，建议Win系统勾选“文件扩展名”选项。...
2022-02-24 14:34:03
10474
原创 Win11升级体验
1 结论工作主力电脑不建议升级，虚拟机、旧电脑、测试机可以体验2 过程2.1 配置电脑品牌及系列：神州 战神 ZPM-KP7SC显卡：英伟达1050TiCPU：英特尔i7-8750H内存：24G（8+16双内存）硬盘：256固态+1T机械2.2 过程前一段时间，Win10系统推送升级为win11的更新包，我想了一下，Win11内测已经很长时间了，正式版推出也有一段时间了，一些明显的BUG应该修复的差不多了（我太乐观了），然后就打算升级，升级过程还算是比较顺利，下载安装包一个多小时吧，然后
2022-02-18 00:22:42
16684
原创 IDEA Scala自动生成变量名称及变量类型
在需要生成变量名称的地方在表达式后面键入.var，然后敲回车键如果没有自动生成变量类型，可以勾选Specify 生成，也可以点击Settings，设置为默认生成变量类型变量名称以及变量类型自动生成成功，可以根据需要自己修改变量名称修改完不要忘记敲回车键，不然一编辑文件，刚才生成的变量名称以及变量类型会丢失。...
2022-02-10 11:18:19
13500
原创 Kafka执行脚本创建topic报错：ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: Replicati
问题：在代码中测试SparkStreaming与Kafka整合的过程，需要在kafka中提前创建两个topic，但是在执行创建脚本的过程中报错如下 kafka-topics.sh --zookeeper linux1:2181,linux2:2181,linux3:2181 --create --topic wufabao_topic01 --replication-factor 2 --partitions 3WARNING: Due to limitations in metric names,
2022-02-09 18:46:15
17515
原创 Spark Streaming消费Kafka，自定义Offset执行报错 No current assignment for partition topicBC-3
报错内容java.lang.IllegalStateException: No current assignment for partition topicBC-3 at org.apache.kafka.clients.consumer.internals.SubscriptionState.assignedState(SubscriptionState.java:259) at org.apache.kafka.clients.consumer.internals.SubscriptionStat
2022-02-08 20:04:46
11496
原创 Spark SQL连接Hive的一些常见报错
错误一：Unable to locate hive jars to connect to metastore. Please set spark.sql.hive.metastore.jars.解决方案：将JDK11切换为JDK8，问题解决。JDK11和Spark/Hive应该存在版本兼容性问题错误二：连接成功后只显示一个default数据库解决方案：把HIVE_HOME/conf目录下的hive-site.xml文件拷贝到本地IDEA的maven项目的resources目录下完美解决
2022-02-05 23:51:22
15235
原创 Spark集群Standalone模式下spark-shell控制台println不显示问题
在Standalone模式下，RDD操作所在的机器未必是提交任务的机器，所以输出RDD元素在提交任务的机器未必可以显示，解决方案：先把数据collect收集起来，然后打印收集的数据（生产环境不建议使用collect算子），可以正常打印：...
2022-01-11 09:23:21
1571
原创 Spark集群Standalone模式下从本地文件系统创建RDD报错找不到本地文件
scala> val lines = sc.textFile("file:///root/wc.txt")lines: org.apache.spark.rdd.RDD[String] = file:///root/wc.txt MapPartitionsRDD[11] at textFile at <console>:24scala> lines.count[Stage 7:>
2022-01-07 13:32:25
11107
原创 Spark on Yarn集群，运行作业报错Failed to send RPC RPC 5631266366836363375 to /192.168.80.122:52864: java.nio.
22/01/06 22:10:05 INFO BlockManager: Using org.apache.spark.storage.RandomBlockReplicationPolicy for block replication policy22/01/06 22:10:05 INFO BlockManagerMaster: Registering BlockManager BlockManagerId(driver, linux121, 34370, None)22/01/06 22:10:0
2022-01-06 23:50:06
13109
原创 Azkaban集群启动报错 Failed to find write-enabled DB connection. Wait 15 seconds and retry. No.Attempt = 1
2021/12/01 09:26:38.610 +0800 ERROR [MySQLDataSource] [Azkaban] Failed to find write-enabled DB connection. Wait 15 seconds and retry. No.Attempt = 1java.sql.SQLException: Cannot create PoolableConnectionFactory (Access denied for user 'root'@'linux121' (
2021-12-01 19:59:20
2509
原创 Hive命令行启动，执行SQL报错“SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.Run”
[root@xxxmapreduce]# hiveLogging initialized using configuration in file:/opt/wufabao/servers/hive-2.3.7/conf/hive-log4j2.properties Async: trueHive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different
2021-12-01 15:15:20
13095
原创 Azkaban启动报错Cannot find ‘database.properties‘ file
今天在CentOS上安装Azkaban，在bin目录下执行完./start-solo.sh脚本后访问web界面失败，然后使用jps命令发现AzkabanSingleServer服务没有启动，在bin目录下生成了一个.out文件打开该文件，内容如下，说是找不到’database.properties’文件2021/11/30 21:20:44.875 +0800 INFO [AzkabanWebServer] [Azkaban] Starting Azkaban Server2021/11/30 21
2021-11-30 21:47:03
643
原创 HBase自定义Observer协处理器报错“ cannot be cast to org.apache.hadoop.hbase.client.HTable Cause:”
HBase自定义Observer协处理器在向其中一张表插入数据时，将数据保存到另一张表，执行逻辑报错如下2021-11-30 14:28:13,884 ERROR [RpcServer.FifoWFPBQ.default.handler=29,queue=2,port=16000] master.MasterRpcServices: Region server linux121,16020,1638253313319 reported a fatal error:ABORTING region serv
2021-11-30 16:34:11
1614
原创 HBase查看日志报错 msg=拒绝连接 row ‘‘ on table ‘hbase:meta‘ at region=hbase:meta,,1.1588230740, hostname=xxx
今天在hbase shell中执行一些语句时发现特别卡顿，然后查看了一下日志，发现报错：2021-11-30 14:15:58,777 INFO [htable-pool17-t1] client.RpcRetryingCaller: Call exception, tries=11, retries=350, started=48510 ms ago, cancelled=false, msg=拒绝连接 row '' on table 'hbase:meta' at region=hbase:meta
2021-11-30 16:02:40
5035
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人