weixin_44685655的博客

spark sql访问hive 和 mysql（不断更新） 一，准备工作： 1，添加mysql的驱动jar包。 将mysql-connector-java-5.0.6-bin.jar 添加到 SPARK_HOME/lib/目录下. 将$HIVE_HOME/lib下的mysql-connector-java-5.1.27.jar复制到~/software文件夹下 (这一步是为了spark...

Spark数据倾斜和Hive数据倾斜理解 Spark数据倾斜出现的现象，原因，方案 现象： 单个或者某几个task拖延整个任务运行时间，导致整体耗时过大 单个task处理数据过多，很容易导致oom 原因： （1）数据的问题：本身Key的分布不均，这里面含有null值，无效数据，有效数据 解决的方案是对前两点可以直接对数据过滤；对有效数据可以进行隔离操作，将异常的key单独处理，处理好后和正常数...