RShbwq的博客

参考我的简书文章：https://www.jianshu.com/p/28bcfe3fd25c

环境：pycharm-2020.1 + spark-2.3.3（单机默认配置）需求：需要将dataframe 中数据转成json 并写入到s3对象文件中，数据量大小为180.1M。解决方向：在不改变资源参数的情况下，解决GC问题（这只是其中方法之一）出错的核心代码如下：if __name__ == "__main__": """ 1. load the conf of es 2. build spark or sc 3. build

对于大多数学习Python的人来说，经常会安装一些这样，那样的包（或者说是库），但是有时候就不太清楚用什么工具，在哪找相应的包。那今天我想分享下有哪些下载工具以及在哪下载资源包。下载工具：pip install xxx.whl(适用于2.x) ;pip3 install xxx.whl(适用于2.x,3.x);easy_install xxx将相应的资源tar，下载下来解压，然后python