yueyinmian的博客

源码：/** * Read per-TopicPartition offsets from json string */def partitionOffsets(str: String): Map[TopicPartition, Long] = { try { Serialization.read[Map[String, Map[Int, Long]]](str).flat...

报错信息：Detected cartesian product for INNER join between logical plans情景：spark 2.4.0我们用一张表一个父节点字段，实现了一个多级的树状结构现在一个需求，需要找到所有叶子节点的第一级树枝是谁。其实数量不多，用java很简单的一个需求。用spark写了，，现在觉得脑子有坑一张表，自己inn...

错误原因如题：报错关键字：sqoop Opening field-encloser expected at position 0报错信息分析：sqoop做merge时期望在位置0时有列分隔符会出现各种位置，跟mysql字段有关，换行符导致数据放入了第二行，merge时报错解决方法：sqoop增加神奇的字段：--hive-drop-import-delims 指定导入时删除hive的...

CDH打包安装后，很多配置信息在 CM上设置了，但是sqoop这类工具一般还是命令行执行的，取的配置信息还是原生位置；ERROR: JAVA_HOME is not set and could not be found.注意： sqoop执行需要 hadoop & hbase 的环境脚本中指定JAVA_HOMEflume 进行数据库的数据监听，需要打一个 flu...