大数据开发遇坑大杂烩

soaring0121

已于 2022-06-27 21:58:30 修改

阅读量1.8k

点赞数

分类专栏：大数据 SPARK elasticsearch 文章标签： big data hive hadoop

于 2019-12-20 17:04:55 首次发布

本文链接：https://blog.youkuaiyun.com/soaring0121/article/details/103632059

版权

本文用于记录开发过程中遇到得一些坑，可能涉及到得大数据工具包括Hive、Presto、Spark、Flink、ES、Hadoop等，解决方案包括自己研究和网络搬运

PySpark中报错:UnicodeEncodeError: 'ascii' codec can't encode characters in position 8-11: ordinal not in range(128）
在操作dataframe并调用show()时报错(非数据显示操作并不会报错)，解决方案是在调用show()前添加
```
reload(sys)
sys.setdefaultencoding( "utf-8" )
```

Spark并行度无法提高的问题：例如读取hive表某一个分区的数据写入ES或Doris，会发现即使申请了数十个worer，但只会有几个节点处理数据，stage中task并行度也很小。这是因为单个spark task处理128M得数据，根据读取文件的个数和大小拆分并行度。如果恰好读取的是一个500M的文件，那么并行度就会是4。为了提高并行度，有两种方式：

第一种是利用repartition(N)改变并行度，好处是可以根据worker数设置，资源利用率好，缺点是需要shuffle(注意这里不能用coalesce，因为coalesce不会shuffle，只能用于减少分区)

第二种是通过参数调整，好处是在map端改变并行度无需shuffle， 缺点是并行度不固定使部分worker闲置。
具体参数如下：
"mapreduce.input.fileinputformat.split.maxsize":"67108864&#