weixin_43370502的博客

最近有个项目需要做数据导出(基于底层宽表)，具体业务逻辑在这就不详细介绍，以下是具体实现方案：列转换–方案一 case when 与max 或sumselect *from (select dzgs_dqbm,max(bs_wks) bs_wks,max(bs_jxz) bs_jxz,max(bs_ywc) bs_ywc,max(bs_wks_ztdm) wks_ztdm,max...

最近在处理流式数据在读取redis的时候很慢，主要原因是查redis的时候用的模糊查询，key是使用svn提交的代码路径，而每来一条记录都要取redis查一遍，这样性能就会很差，查询字段是类名（例如：SbRollBackHandle.java）,为了不使用模糊查询，线下基于hive svn log进行了分析寻找合适的key，驱动业务调整日志打印格式;在分析svn log的时候发现用了一些复杂的结构...

最近在帮同事迁移数据的时候sqoop老是报错，错误也不明显，在网上搜了一圈也没找，然后自己根据错误一步一步进行了排查，最终找到了原因，看到数据、表字段类型以及迁移表名是才恍悟，在做数据同步时一定要心细一些，不然问题五花八门错误如下：[root@master ~]# sqoop export --connect “jdbc:mysql://172.23.20.142:3306/tds?useUn...