weixin_41008393的博客

记录一次在阿里EMR的踩的坑 因为有个需求需要将数据写入到es，采用的方式是通过spark将dataframe写入es进行upsert操作。 使用的版本是 Spark-2.4.3 ElasticSearch-7.4.0 打好包后上传值服务器，调试运行。 代码太多，度娘一搜便是。 使用local模式调试，尽然出现了问题。 好样的，肯定是版本冲突了。 开始查原因，我知道EMR在 /opt/apps/extra_jars/目录下配置几个额外的包，其中包含了es-hadoop-6.3.2的，但我提交但时候并没

压缩算法及其编码/解码器 压缩格式 对应的编码/解码器 DEFLATE org.apache.hadoop.io.compress.DefaultCodec gzip org.apache.hadoop.io.compress.GzipCodec bzip org.apache.hadoop.io.compress.BZip2Codec Snappy org.a...