徐腾瑞的博客

多线程

今天在实时读取HBase维度数据时发现取数据时有问题，Deicmal类型的数据异常，经过排查推理发现最后是Kafka数据通过StreamSets写入时存在问题：问题原因：Kafka里存的是Json数据，StreamSets通过解析JSON数据后把每个字段值写入HBase，因为JSON里字段是没有具体数据类型的，StreamSets可能会把字段转成字符串后解析成二进制写入HBase，这里就造成存储HBase的Decimal类型数据精度存在问题。解决办法：新增一个Field Type Conve

问题描述：在使用fastJson解析数据时，生成了一个新的jsonObject对象，最后我把新的jsonObject转成字符串，之后发现fastJson自动过滤了Null值，很懵逼....解决办法：JSON.toJSONString(newJson, SerializerFeature.WriteMapNullValue)序列化时带上这个参数即可。...

报错信息如下:aused by: org.apache.flink.table.api.TableException: Column 'som_sysno' is NOT NULL, however, a null value is being written into it. You can set job configuration 'table.exec.sink.not-null-enforcer'='drop' to suppress this exception and drop such

在Flink1.12中使用WatermarkStrategy类中的方法时可能会报如下异常：Error:(55, 92) Static methods in interface require -target:jvm-1.8.assignTimestampsAndWatermarks(WatermarkStrategy.forBoundedOutOfOrderness[LogEvent](Duration.ofSeconds(2))解决办法：在File -> Set...

Checkpoint：Checkpoint expired before completingenv.getCheckpointConfig.setCheckpointTimeout() 时间加大,默认10min

Bug记录 (20201103)Q:Spark写入CSV文件，Null值却显示双引号A: 添加优化参数 “emptyValue”

安装环境：系统: Centos7py版本：python3.6superset版本: 0.28.1安装过程：安装supersetpip install superset之后你可能遇到类似以下这种报错，而且很多。这个是py库里没有这些包，你就缺啥包就 pip3 install xxx就行了Was unable to import superset Error: No module named ‘wtforms_json’其中ModuleNotFoundError: No mo

1

问题产生原理：kafka会有三种日志留存策略：基于空间维度基于时间维度基于起始位移维度 留存机制工作原理：每个Kafka broker启动时，都会在后台开启一个定时任务，定期去检查执行所有topic日志留存，这个定时任务触发时间周期由broker端参数 log.retention.check.interval.ms控制，默认时5分钟，即每台broker每5分钟会尝试检查...