BITDDD小栈

获取 Java Jar 包内文件。

Java 调用 JNI on MacOs 保姆级教程。

Java 通过 jna 库实现调用 C++ 动态库。

Mvn package 打包时间过长踩坑与优化。

Java 调用 Session 报错 Expects arg[0] to be int64 but int32 is provided 异常解决。

Scala Array、Set 转换为 Java.util.Set 踩坑与尝试。

Java x Tensorflow x GPU 使用与踩坑指南。

Shell Input length = 1 报错排查与解决。

parquet 文件常见与 Flink、Spark、Hive、Streamin、MapReduce 等大数据场景，通过列式存储和元数据存储的方式实现了高效的数据存储与检索，下面介绍 Flink 场景下如何读取 Parquet。

本地使用 spark paralize 数组 rdd 时需要构造一个随机数组，分别使用 java.util 和 scala.util 实现，下面记录下不同的 shuffle 方法以及踩到的坑。

ThreadPool 是 java 的一种多线程处理方式，和前面提到了 RedisPool 类似，即通过一个 pool 批量管理，ThreadPool 管理线程，RedisPool 管理 Jedis 连接。下面主要介绍 ThreadPool 的参数含义，BlockingQueue 的几种类型以及 Executors 下 newCachedThreadPool、newFixedThreadPool、newSingleThreadPool 以及 newScheduleThreadPool 的使用与不同。....

Executor - Shutdown、ShutdownNow、awaitTermination 详解与实战

maven 打包 jar 包容量异常原因排查与解决。

一.引言上一篇文章提到了 Java map-reduce 如何单独读取 ORC 文件以及 RcFile 文件，在同一个 MR 任务下分别读取 RcFile 以及 ORC 文件时，报如下错误:java.lang.NoSuchMethodError: org.apache.hadoop.hive.ql.exec.vector.VectorizedRowBatch.getMaxSize()I。完整的异常栈如下:2022-04-20 06:44:47,326 FATAL [main] org.apach.

一.引言MR 任务处理相关 hive 表数据时格式为 orc 和 rcFile，下面记录两种处理方法。二.偷懒版读取 ORC,RcFile 文件最初不太熟悉 mr，只会 textFormat 一种输入模式，于是遇到 orc 和 rcFile 形式的 hive 数据需要在 mr 读取时，都是先通过 INSERTOVERWRITEDIRECTORY 将 hive 表重新输出一份 hdfs 的 text 数据，随后用 mr 读取该 text 文件，该方法适合偷懒且原始 hive 数据不大，..

Flink 使用 windowAll 生成 AllwindowedStream 后调用 Trigger 执行窗口触发逻辑，下面对 Trigger 触发器做一个基本的了解。

项目编码同时用到了 Scala 和 Java，mvn package 打包后发现项目内只引入了 Scala 代码的 class，而 Java 相关的代码并未引入。通过修改 pom.xml配置解决。

使用 scala 调用 java 变长参数方法。

java.lang.NoSuchMethodError 报错详细分析与解决方案。

一.引言在没有公库或相互协作时，项目需要导入现成的 jar 包，有两种方案，一种是一劳永逸型：即将 jar 包打入本地 maven 环境这样后续其他项目也可以使用，还有一种是只对当前项目生效，即将 jar 包放入项目 lib 包并用 pom 导入。二. 加入 maven 仓库1.加入仓库jar_path 为待加入 maven 仓库的 jar 包地址，groupId、artifactId 和 version 用于区分和发版，自己定义即可#!/bin/bashjar_path=~/

Spark 大规模数据去重记数实践

继承 Comparator 实现 PriorityQueue 并且添加元素后，遍历 PriorityQueue 发现元素乱序，于是开始踩坑之旅。

在通道机部署本地任务时，执行报错Unsupported major.minor version 52.0 ，通过 spark-submit local 模式解决

scala / java break，continue 使用

引言:需要根据给定的开始日期 st 以及结束日期 end，获取 st 与 end之间间隔的全部日期，之前使用 Date实现过类似，需求虽然不是多线程场景也不是并发环境，但是最新的Java Api都推荐了新的时间Api，例如: Instant，LocalDateTime 系列，下面用 LocalDate 实现遍历日期间隔。实现:java 和 scala 实现差不多，这里用scala实现一下val dateTimeFormat = DateTimeFormatter.ofPattern(..

1.引言静态工厂和构造器有个共同的局限性：它们都不能很好地扩展到大量的可选参数。当初始化类需要较少的参数是，Java 可以尝试实现多种构造方法，scala 相同，可以重载多种apply方法，但是当参数过多时，维护多个构造器将变得困难且难以理解。例如一个User用户类包含10-20个属性，如果我们初始化一个用户类 new User("abc",‘a","b","c",...,"z")，很容易混淆参数，这时候构建器 Builder 就派上用场。2.构建器Demo其实在日常程序编写时，经常用到构.

GC (Allocation Failure) 那些事平常写Java程序，经常看到 GC(Allocation Failure) 这个日志，大概查了查意思是是jvm在执行垃圾回收，一般情况下不影响程序运行，只会拖慢程序运行时间。但是经常遇到这个日志还是不爽，今天就盘一下！GC(Allocation Failure)造成的垃圾回收为young gc 又称minor gc。Demo代码下面这几行spark代码是经常引起 GC(Allocation Failure) 日志的代码写法，基....

Compute，ComputeIfAbsent，ComputeIfPresent简介Compute为计算，即当前key的newValue值基于oldValue而得来，与merge方法类似，compute方法也可以自定义Function。ComputeIfAbsent和ComputeIfPresent则是根据当前key是否存在，再做出compute的两种衍生方法，大体意思与Compute...

Merge先铺下源码：Merge意为合并，这里主要是针对Map多个key-value对进行处理，如果key存在，则执行value的merge方法，这里merge方法是自己定义的，如果key不存在，则会根据默认值将key-value对put到Map中。 default V merge(K key, V value, BiFunction<? supe...