在maven中hadoop、spark、streaming、mlib、hive导入包冲突，provided omitted for duplicate

出现provided omitted for duplicate的主要原因是这几个包会相互交集甚至包含的关系，意思就是一个包下面的子jar包在另外一个包中也出现。比如：spark core包和spark streaming就出现大量的重复jar包，其实streaming中

可以看到其实spark core已经包含在spark streaming中了甚至包含了大量Hadoop的包，都不需要再次导入。

之前我在maven搜索Hadoop想加入Hadoop的一些包，知道编译器报错才发现完全没必要。

其实对于导包，完全没必要先导入，先导入你要需要的，其他的，用到缺了再就行。

除此之外还有，其实spark的版本和Hadoop都有要求的，比如截图中的spark2.11就要求Hadoop的版本不能低于2.6.5。这个能在spark官网上看到

如图中Pre-build for Apache Hadoop 2.7 and later 的意思就是需要Hadoop2.7及更高的版本。