weixin_43370502的博客

最近有个项目需要做数据导出(基于底层宽表)，具体业务逻辑在这就不详细介绍，以下是具体实现方案：列转换–方案一 case when 与max 或sumselect *from (select dzgs_dqbm,max(bs_wks) bs_wks,max(bs_jxz) bs_jxz,max(bs_ywc) bs_ywc,max(bs_wks_ztdm) wks_ztdm,max...

最近在处理流式数据在读取redis的时候很慢，主要原因是查redis的时候用的模糊查询，key是使用svn提交的代码路径，而每来一条记录都要取redis查一遍，这样性能就会很差，查询字段是类名（例如：SbRollBackHandle.java）,为了不使用模糊查询，线下基于hive svn log进行了分析寻找合适的key，驱动业务调整日志打印格式;在分析svn log的时候发现用了一些复杂的结构...

最近BI反馈数据有问题，排查了下发现是业务的BUG导致的，重新调整了代码，在重新跑数据的时候，需要把业务上的测试数据过滤掉，然后在where条件后加了个过滤条件，而过滤条件是中文，在执行语句的时候，sql也不报错，但是测试数据还在，在后台手工跑数据是能过滤掉的，排查了下原因出在平台上，平台的字符不是默认UTF8，在把sql提交到yarn执行时中文变成了乱码不识别，自然过滤条件不就生效了，需要指定参...