- 博客(5)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 记录structed streaming kafka endingOffsets 中的json string 格式代表的含义
源码：/** * Read per-TopicPartition offsets from json string */def partitionOffsets(str: String): Map[TopicPartition, Long] = { try { Serialization.read[Map[String, Map[Int, Long]]](str).flat...
2020-04-15 14:27:38
391
原创 spark 表自交的时候发现一些问题
报错信息：Detected cartesian product for INNER join between logical plans情景：spark 2.4.0我们用一张表一个父节点字段，实现了一个多级的树状结构现在一个需求，需要找到所有叶子节点的第一级树枝是谁。其实数量不多，用java很简单的一个需求。用spark写了，，现在觉得脑子有坑一张表，自己inn...
2019-10-29 14:50:12
306
转载 【转】生成有100000个质数的质数表的一种较快算法
本文转载自：http://blog.sina.com.cn/s/blog_67a6c6d00100jef9.html如有侵权，联系本人会删除。这里所说的“质数表”是指从最小的质数2开始的所有质数构成的数列。一般用一维整数数组来储存。在ACM练习、竞赛中，很多题目都用到了质数表，而在平时编程时，生成质数的代码也被反复使用，因此，掌握一种较为快速的生成质数表的算法是很有意义的，也是...
2019-08-21 11:55:47
463
原创 简单记录CDH 做ETL的坑（会陆续增加）
CDH打包安装后，很多配置信息在 CM上设置了，但是sqoop这类工具一般还是命令行执行的，取的配置信息还是原生位置；ERROR: JAVA_HOME is not set and could not be found.注意： sqoop执行需要 hadoop & hbase 的环境脚本中指定JAVA_HOMEflume 进行数据库的数据监听，需要打一个 flu...
2019-05-29 10:16:20
708
2
原创 临时记录：Sqoop导出mysql至hdfs 遇到mysql数据中包含换行符导致数据错位&sqoop增量merge时报错
错误原因如题：报错关键字：sqoop Opening field-encloser expected at position 0报错信息分析：sqoop做merge时期望在位置0时有列分隔符会出现各种位置，跟mysql字段有关，换行符导致数据放入了第二行，merge时报错解决方法：sqoop增加神奇的字段：--hive-drop-import-delims 指定导入时删除hive的...
2019-05-20 11:17:35
1231
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人