weixin_43390992的博客

Flink 流批一体利器，大数据开发平台，大数据开源项目！

最近工作比较忙，一直想写一篇Flink1.10.0与Hive的整合博文，上周末进行的整合探究，现将心得和实践实例呈上，希望给正在探索的小伙伴提供一些帮助，顺带将Flink新特性在数据实时处理上的心得一并呈上，口水话不多说了，咱们直接开干！！！！！！！！！==============》文章目录开发环境版本说明开发环境版本说明...

使用场景：公司大数据平台ETL操作中，在使用sqoop将mysql中的数据抽取到hive中时，由于mysql库中默写字段中会有换行符，导致数据存入hive后，条数增多（每个换行符会多出带有null值得一条数据），导致统计数据不准确。解决办法：利用一下两个参数可以实现对换行等特殊字符的替换或者删除--hive-delims-replacement--hive-drop-import-del...

在hive中，一般情况下通过1 use my_hive_db;2 set hive.merge.mapfiles=true;3 set hive.merge.mapredfiles=true;4 set hive.merge.size.per.task= 1000000000;5 set hive.merge.smallfiles.avgsize= 1000000000;6 inser...