haohao914的博客

spark版本2.1.1mongo版本3.6.11使用spark的api读取mongo有NoSuchMethod等此类错误。val spark = SparkSession.builder() .master("local") .appName("MongoSparkConnectorIntro") .config("spark.mongodb.input.uri", "mo...

最近因为现场工程部署需要，需要上传jar包到云盘，结果多个spark的工程的jar包超过了2G的上传上限。就在考虑优化方案，后发现spark的核心公用包是可以被剔除的。由于工程结构为maven项目，所以只是针对maven项目。方法如下：修改代码工程的pom文件，将spark相关的dependency的scope修改为provided例如：一下依赖都可改为修改为provided...