BITDDD小栈

使用 spark 读取 parquet 文件，共有 M个 parquet 文件，于是启动了 PExecutor x QCores 进行如下 WordCount 代码测试，其中 P x Q = M 即 Core 数目与 parquet 文件数一一对应。

程序启动 M个 Executor，每个 Executor 共 N core，即每个 Executor 上的 task = N，现在有一个 object 需要在每一个 task 上初始化公用变量，本文介绍如何只初始化一次以及异常情况下只报警一次的方法。

ThreadPool 是 java 的一种多线程处理方式，和前面提到了 RedisPool 类似，即通过一个 pool 批量管理，ThreadPool 管理线程，RedisPool 管理 Jedis 连接。下面主要介绍 ThreadPool 的参数含义，BlockingQueue 的几种类型以及 Executors 下 newCachedThreadPool、newFixedThreadPool、newSingleThreadPool 以及 newScheduleThreadPool 的使用与不同。....

Executor - Shutdown、ShutdownNow、awaitTermination 详解与实战

刷短视频看到有博主提到了睡眠排序这种排序方式，听了之后感觉很有意思，原文使用 java 进行编码，这里使用 scala 重新写一遍，顺带复习一下线程使用和线程安全相关的知识。

一.引言Java 开发中常用到多线程和线程池提高程序运行效率和机器利用率，Python 多线程用到了 Parallel 类 和 Multiprocessing 类，除此之外还有_thread，threading 等很多线程相关的类，可以配合 os，sys，subprocess 等工具类实现复杂的操作。下面的 Demo 通过 sum 求和的例子介绍几种多线程实现方法。二.Parallel 无 Lockjoblib 库下面的 Parallel 实现了并行提高效率的功能，delayed 处执行..

引言:运行 spark 任务时任务偶发task 卡死的情况，在并行度为N的情况下，出现 0-4 个 task Failed 导致程序无法正常结束，经过堆栈与报错日志排查，发现是 HashMap 调用时出现了死循环的情况。堆栈 & 报错:Map 的 get 操作最终定位到 HashTable => scala.collection.mutable.HashTable$class.scala$collection$mutable$HashTable$$findEntry0(..

一.引言newScheduledThreadPool 周期性线程池提供了周期执行任务的方法scheduleAtFixedRate 与scheduleWithFixedDelay，两者比较容易混淆，下面结合代码捋一下逻辑，后续使用也更加方便。二.功能介绍1.scheduleAtFixedRate Api : public ScheduledFuture<?> scheduleAtFixedRate(Runnable command, ...