BITDDD小栈

Git 清除历史 Commit，缩减容量。

shell 脚本 crontab 定时 git pull + mvn package。

通道机 maven 安装与测试踩坑。

Idea Scala 项目报错 Cannot resolve symbol XXX。

[FAILED_TO_LOAD_NATIVE_LIBRARY] no native library is found for os.name=Mac and os.arch=aarch6 Spark 异常排查与解决。

Flink -java.lang.IncompatibleClassChangeError: Implementing class 异常排查与解决。

Java 调用 Session 报错 Expects arg[0] to be int64 but int32 is provided 异常解决。

Java x Tensorflow x GPU 使用与踩坑指南。

Shell Input length = 1 报错排查与解决。

Flink Heartbeat 原理与异常解决。

NoClassDefFoundError - hadoop/crypto/key/KeyProviderTokenIssuer && hadoop/fs/BatchListingOperations 报错解决与总结。

Flink 程序增加 readFile 生成文件流后，最初运行期间 CheckPoint 存储没有问题，待文件流 Finished 后 CheckPoint 存储报错: checkpoint Failure reason: Not all required tasks are currently running，下面分析并解决下。

使用 Flink 1.13.1 + scala 2.11.12 的组合进行 Flink 本地测试是，报错.NoSuchMethodError: com.twitter.chill.java.Java8ClosureRegistrar.areOnJava8()Z，经过前面多次的 noSuchMethod 的折磨，现在已经轻车熟路，直接开始排查。...............

使用 sparkSession 读文件时出现java.lang.IllegalArgumentException: Illegal pattern component: XXX 报错，解决后又出现java.io.InvalidClassException: org.apache.commons.lang3.time.FastDateFormat; local class incompatible: stream classdesc serialVersionUID = 2，下面解决一下。...

拷贝脚本提交后报错 line 2: $'\r': command not found，但是这是别的同学可以运行后发给我的，随后开始排查。安装 dos2unix 需要使用 yum。安装 yum 需要使用 brew。

一.引言上一篇文章提到了 Java map-reduce 如何单独读取 ORC 文件以及 RcFile 文件，在同一个 MR 任务下分别读取 RcFile 以及 ORC 文件时，报如下错误:java.lang.NoSuchMethodError: org.apache.hadoop.hive.ql.exec.vector.VectorizedRowBatch.getMaxSize()I。完整的异常栈如下:2022-04-20 06:44:47,326 FATAL [main] org.apach.

Spark 使用 RDD 调用 Filter 函数时，dirver 端卡住，报错 ReturnStatementInClosureException: Return statements aren't allowed in Spark closures，即闭包内无法使用 return 函数。

本地执行 Flink 程序报错 java.lang.InternalError: Malformed class name。

Flink 本地执行任务报错 Failed to start the Queryable State Data Server 以及 Unable to start Queryable State Server. All ports in provided range are occupied. 根据报错分析是因为本地端口被占用，没有足够端口供 Flink 本地客户端启动，所以解决方法就是处理被占用的端口。...

spark 项目引入 ml.dmlc.xgboost4j 训练并读取 xgboost 模型，load 模型期间报错 NoSuchMethodError，通过源码的分析得到 xgboost 与 spark 版本对应关系。

Flink 任务新增 BroadcastStream 无 watermark 导致数据流异常，修复问题并熟悉单流，双流 Watermark 机制。

使用 Flink 自定义 Source 生成数据时，集群提交任务时显示 org.apache.log4j.Logger@72c927f1 is not serializable. The object probably contains or references non serializable fields.

一.引言使用 JedisPoll 多线程写入时，阶段性报错 broken pipe，重启后任务正常，一段时间后再次出现该报错。JedisPool 配置如下: val config = new JedisPoolConfig config.setMaxIdle(20) config.setMinIdle(20) config.setNumTestsPerEvictionRun(-2) config.setTimeBetweenEvictionRunsMillis(30000

项目编码同时用到了 Scala 和 Java，mvn package 打包后发现项目内只引入了 Scala 代码的 class，而 Java 相关的代码并未引入。通过修改 pom.xml配置解决。

hive 执行如下 insert 插入语句后将数据从 RCFile 格式转换为 Text 并导入 Hdfs，但是解析忽略了 ^A 默认符，导致后续任务判断失效。

python matplotlib.plt 使用 plt.title 写标题时，标题显示为方框，无法正常显示中文，遂开始修复之旅。

项目实现中需要连接 redis，为了防止因网络抖动或其他原因造成的客户端连接失败，一般需要增加重试机制判断 client 是否连接成功，之前写了一版重连代码发现有 bug，借此机会看下代码 bug 以及如何更好的重连 redis。...

scala 使用 '|' 作为分割字符时，报红线并提示 scala empty branch in alternation，使用 \\ 转义字符修饰后实现 '|' 的正常 String Split。

使用 shell 实现时间判断逻辑时，需要判断对应 $hour 是否存在于目标 $ValidHour[*] 数组中，经过各种踩坑，最后用最简单的思路实现了 contains 操作。

使用 ShellIf-else 语句判断时间是否在某个范围时，报错 line x: [: missing `]'，下面解决一下相关问题。

java.lang.NoSuchMethodError 报错详细分析与解决方案。

一.引言scala 项目运行 kafka 相关程序时报警告，虽然不影响运行，但是强迫症看着十分难受，下面立即清除。ERROR StatusLogger No log4j2 configuration file found. Using default configuration: logging only errors to the console.二.问题解决1.添加 log4j2.xmlloggers 里面可以配置 level<?xml version="1.0"

Parquet是一种列式存储格式，常用语表结构数据存储，也是 sparkSql 的默认存储格式。spark 读取 parquet 文件时，偶发读取时间过长，正常 parquet 时间在 1-5 s，异常期间最长可达 10 min +，于是开始踩坑之旅，涉及 parquet 读取原理与 schema 配置方法。...

spark 代码执行任务时需要读取一个依赖文件，文件执行时该文件状态未知，有可能存在也有可能是空文件夹，遂增加 Try Catch 进行包装，当 sc.textFile 读取异常时，返回 emptyRdd，但是实际执行中，代码并未进入 Try Catch 区域，且报错异常栈显示在 foreachPartition 对应代码位置，遂开始修复之旅。...

继承 Comparator 实现 PriorityQueue 并且添加元素后，遍历 PriorityQueue 发现元素乱序，于是开始踩坑之旅。

在通道机部署本地任务时，执行报错Unsupported major.minor version 52.0 ，通过 spark-submit local 模式解决

Redis 实际使用过程中，由于redis hgetAll 数据量过于大，导致线上 redis 进程堵塞，读取缓慢影响任务执行效率，改用 hscan 优化。

一.引言使用 KafkaProducer 生产数据并按照 interval = 60s 的间隔进行日志回收，执行 KafkaProducer.send参数分析buffer_memory:kafka 客户端发送数据到服务器会经过缓冲区，通过 KafkaProducer 发送出去的小气都是先进入客户端本地的缓存里，再通过 Sender 线程将多个batch 的数据发送到 Broker，buffer_memory 初始化设置为 32mb存在的问题:消息写入过快或者写入量过大，Send.

一.引言spark local[*] 模式下本地测试报错:Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.conf.Configuration.getPassword(Ljava/lang/String;)[C二.解决方案NoSuchMethodError 报错之前分析过类似解决步骤 :java.lang.NoSuchMethodError 之 依赖冲突解决方案，根据报错信息定位到..

一.引言scala 开发中常常需要遍历数组，一般有 Array 的 foreach 或者使用 Iterator 的 hasNext 和 next 方法进行遍历，小数据量情况下二者使用差别不大，foreach 更便利，但切换到大数据后，二者的性能和运行情况出现较大差异，下面用两个例子简单看看。二. Iterator 与 Array1.内存分析toArray:将此可遍历或迭代器的所有元素复制到缓冲区。注意：对于无限大小的集合不会终止。toIterator:返回此iterable集合中..