spark jar包 瘦身

最近因为现场工程部署需要，需要上传jar包到云盘，结果多个spark的工程的jar包超过了2G的上传上限。就在考虑优化方案，后发现spark的核心公用包是可以被剔除的。由于工程结构为maven项目，所以只是针对maven项目。

方法如下： 
修改代码工程的pom文件，将spark相关的dependency 的 scope 修改为 provided 例如： 
一下依赖都可改为修改为provided (默认为compile)

<dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.10</artifactId>
        <version>${spark.version}</version>
        <scope>provided</scope>
    </dependency>

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-streaming_2.10</artifactId>
        <version>${spark.version}</version>
        <scope>provided</scope>
    </dependency>

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-streaming_2.10</artifactId>
        <version>${spark.version}</version>
        <scope>provided</scope>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.10</artifactId>
        <version>${spark.version}</version>
        <scope>provided</scope>
    </dependency>

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-hive_2.10</artifactId>
        <version>${spark.version}</version>
        <scope>provided</scope>
    </dependency>

结果，再次打包 发现已经从214M变成了20M左右，减肥成功。提交到集群运行正常如初。