addless的博客

原创 使用greenplum-spark connect出现的问题

网上查找原因，可能是华为的数据生态湖自带的某些依赖与提供的依赖产生冲突。3、指定参数优先加载用户提供的依赖 --conf spark.driver.userClassPathFirst=true --conf spark.executor.userClassPathFirst=true。最近开发了一个maven项目，想使用spark读取/写入greenplum数据，但是由于jdbc的传输速度限制。项目外的依赖，没法通过重定向命名解决依赖冲突问题。但是，由于使用的Spark是华为官方提供的。