BITDDD小栈

Flink 开发中有如下场景，数据需要经过两次 ProcessFunction 处理，第一步 ProcessV1的一些信息重复不想通过每条数据传输至 ProcessV2，这时便捷的方法时对 ProcessV1 需要存储的元素进行去重缓存，保证全局共用一份缓存，可以有效减少储存空间，下面分别尝试三种缓存方式：A.ValueState 缓存B.HashMapCache 缓存C.RedisCahce 缓存......

现在有一批流数据想要存储到 Redis 中，离线可以使用 Spark +foreach 搞定，由于是多流 join 且带状态，所以 SparkStreaming + foreach 也无法实现，而 Flink 不支持 foreach 操作触发 execute，这里采用 RedisSink 代替实现foreach 逻辑。...

Redis 列表 List 是简单的字符串列表，按照插入顺序排序，一个列表最多可以包含 232- 1 个元素 (4294967295, 每个列表超过40亿个元素)。下面介绍下 Redis List 常用功能以及在工业场景下 Redis List 的几种使用场景。......

使用SharedJedisPool 时注意到内部涉及到 hash 函数，其中对应的 hash 接口需要复写两个 hash 函数分别是 hash (String var1) 和 hash (Byte[] var1)，默认使用Hashing.MURMUR_HASH 算法，除此之外也可以使用自带的 MD5，下面针对 SharedJedisPool 以及两个 Hash 函数的使用和含义进行分解。......

一.引言使用 JedisPoll 多线程写入时，阶段性报错 broken pipe，重启后任务正常，一段时间后再次出现该报错。JedisPool 配置如下: val config = new JedisPoolConfig config.setMaxIdle(20) config.setMinIdle(20) config.setNumTestsPerEvictionRun(-2) config.setTimeBetweenEvictionRunsMillis(30000

项目实现中需要连接 redis，为了防止因网络抖动或其他原因造成的客户端连接失败，一般需要增加重试机制判断 client 是否连接成功，之前写了一版重连代码发现有 bug，借此机会看下代码 bug 以及如何更好的重连 redis。...

Redis 实际使用过程中，由于redis hgetAll 数据量过于大，导致线上 redis 进程堵塞，读取缓慢影响任务执行效率，改用 hscan 优化。