yilulvxing的博客

1：压缩 首先打开hive的压缩功能 命令：set hive.exec.compress.intermediate=true; 开启map端数据压缩功能 命令：set mapreduce.map.output.compress=true; 设置map端的数据压缩格式： 命令：set mapreduce.map.output.compress.codec=org.apache.hadoop.io...

（1）相关配置： 将以下文件拷贝到 $SPARK_HOME/conf 目录下 Hive: hive-site.xml Hadoop: core-site.xml和hdfs-site.xml 同时，启动Spark shell 的时候，需要制定mysql的驱动 首先查看core-site.xml，hdfs-site.xml，hive-site.xml (2)拷贝mys...