Gradle打jar包，包含所有依赖

前言

最近被gradle折腾的欲仙欲死。

gradle想把所有依赖打进jar包主要有两种方式：一种是重写jar动作，一种是用第三方插件。

为了装x，我一直都是用的第一种方式，结果出了问题解决不了，为了不影响进度，只能先用第三方了。

重写jar动作

主要是into这一句，可以参照gradle的api文档。里面专门讲了这一块。

这种方式生成的jar包，是把所有的依赖全部打进了lib中。我一直在用这种方式打包。

然后在用spark-submit提交任务的时候，仍然会出现缺包的问题，比如我在运行spark-streaming程序的时候，就是死活找不到KafkaUtil$。但是相关的jar包的确是打进去了，百思不得其解。

所以就用了下面这种方式。

1. jar {

2. manifest { //incubating版本，以后版本可能会改API

3. attributes("Main-Class": "com.KafkaWordCount",

4. "Implementation-Title": "Gradle")

5. }

6. into('lib') {

7. from configurations.runtime

8. }

9. }

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9

shadow

贴了一整个我的测试程序。

这种方式在使用spark提交任务的时候就OK了。

1. plugins {

2. id 'com.github.johnrengelman.shadow' version '1.2.3'

3. id 'java'

4. id 'scala'

5. id 'idea'

6. id 'application'

7. }

8.  

9. group 'com.lagou'

10. version '1.0-SNAPSHOT'

11.  

12. sourceCompatibility = 1.7

13. targetCompatibility = 1.7

14.  

15. mainClassName="com.KafkaWordCount"

16.  

17. repositories {

18. mavenLocal() //使用maven本地库

19. mavenCentral()

20. }

21.  
22.  

23. ext{

24. scala_version = '2.10.6'

25. kafka_version = '0.8.2.2'

26. spark_version = '1.6.0'

27. }

28.  

29. //使用shadow插件打包，代替jar功能。

30. jar {

31. manifest { //incubating版本，以后版本可能会改API

32. attributes("Main-Class": "com.KafkaWordCount",

33. "Implementation-Title": "Gradle")

34. }

35. }

36.  

37. dependencies {

38. //scala

39. compile "org.scala-lang:scala-library:$scala_version"

40. compile "org.scala-lang:scala-compiler:$scala_version"

41. //spark

42. compile "org.apache.spark:spark-core_2.10:$spark_version"

43. compile "org.apache.spark:spark-streaming_2.10:$spark_version"

44. compile "org.apache.spark:spark-streaming-kafka_2.10:$spark_version"

45. //kafka

46. compile "org.apache.kafka:kafka_2.10:$kafka_version"

47. compile "org.apache.kafka:kafka-clients:$kafka_version"

48. //junit

49. testCompile group: 'junit', name: 'junit', version: '4.11'

50. }