pyspark
关注
分享
扫一扫
Ronney-Hua
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
pyspark与jupyter集成
最简单的一种方式: 修改环境变量vi ~/.bashrc添加export PYSPARK_DRIVER_PYTHON=jupyter export PYSPARK_DRIVER_PYTHON_OPTS=’notebook’source ~/.bashrc原创 2017-09-22 15:56:04 · 1614 阅读 · 0 评论 -
基于YARN集群构建运行PySpark Application
文章转载：https://www.tuicool.com/articles/eaYVN3vSpark Application可以直接运行在YARN集群上，这种运行模式，会将资源的管理与协调统一交给YARN集群去处理，这样能够实现构建于YARN集群之上Application的多样性，比如可以运行MapReduc程序，可以运行HBase集群，也可以运行Storm集群，还可以运行使用Python开发机器学转载 2017-10-20 10:30:14 · 1708 阅读 · 0 评论