a857553315的博客

在yarn上运行使用Python编写的spark的任务代码

过程主要分为五步: 安装 Anaconda 用 Anaconda 安装 Jupyter notebook 用 Anaconda 安装 PySpark 运行 Jupyter notebook 运行测试代码 其中1, 2, 4很简单, 使用python的朋友们应该都是会的, 这里不再赘述 3 用 Anaconda 安装 PySpark pip install -U -i https://pypi.tuna.tsinghua.edu.cn/simple py