- 博客(4)
- 收藏
- 关注
RSS订阅原创 HiveException: xx with newer attempt ID 1 is smaller than the file xx with with older attempt ID 0
版本：HDP3.1.4 Hive3.1.0异常描述：java.io.IOException: File hdfs://cluster/tmp/hive/.hive-staging_hive_2021-04-09_10-08-47_704_718343819133902574-25365/_tmp.-ext-10002.moved/000316_1 with newer attempt ID 1 is smaller than the file hdfs://cluster/tmp/hive/.hiv
2021-04-25 11:25:26
1498
原创 YARN ACCEPTED: waiting for AM container to be allocated, launched and register with RM.
环境描述：CDH6.2.0问题描述：提交flink任务时，偶尔running,偶尔时accepted状态，无法提交，通过rm地址发现此问题 ACCEPTED: waiting for AM container to be allocated, launched and register with RM.分析过程：1.查看是否因为资源不足导致的无法提交，队列资源充足，排除资源不足问题2.排除对应的resourcemanage和nodemanager日志，并没有异常3.查看...
2021-03-24 17:58:18
6085
1
原创 Flink-1.12.1 WordCount
1.下载地址https://mirrors.bfsu.edu.cn/apache/flink/flink-1.12.1/flink-1.12.1-bin-scala_2.12.tgz2.解压测试tar -xzvfflink-1.12.1-bin-scala_2.12.tgz3.wordcount测试cdflink-1.12.1-bin-scala_2.12测试1./bin/flink run -m yarn-cluster -yjm 1024 -ytm 1024 ...
2021-01-22 17:46:52
494
原创 hdp hive3.1 hiveserver2内存占用过高 Jmap分析
版本为hive3.1hdp的hiveserver2的内存使用达到了80G（heap配置了74G） ，内存打满后，会出现频繁full gc，然后内存无法回收的情况，导致服务异常。分析内存使用情况。jmap -dump:fromat=b,file=/home/hive/hive.dump 285854文件大小为60G 压缩后5G使用jprofile分析char[] 占用了34G RexCall 占用4G String 占用了3.3Gcharn[]分析看了下大内存占用的都是H.
2021-01-14 10:27:23
1724
8
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人