Python大数据之PySpark(二)PySpark安装_支持 依赖项 ‘python pyspark‘ 的插件 spark 当前尚未安装。

现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。

分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

文章目录

• • PySpark安装
• • 环境搭建-Standalone
    • 环境搭建StandaloneHA
    • 后记

PySpark安装

• 1-明确PyPi库，Python Package Index 所有的Python包都从这里下载，包括pyspark

• 2-为什么PySpark逐渐成为主流？
• http://spark.apache.org/releases/spark-release-3-0-0.html
• Python is now the most widely used language on Spark. PySpark has more than 5 million monthly downloads on PyPI, the Python Package Index.
• 记住如果安装特定的版本需要使用指定版本，pip install pyspark2.4.5
• 本地安装使用pip install pyspark 默认安装最新版

PySpark Vs Spark

Python作为Spark的主流开发语言

PySpark安装

1-如何安装PySpark？

• 首先安装anconda，基于anaconda安装pyspark
• anaconda是数据科学环境，如果安装了anaconda不需要安装python了，已经集成了180多个数据科学工具
• 注意：anaconda类似于cdh，可以解决安装包的版本依赖的问题

Linux的Anaconda安装

2-如何安装anconda？

• 去anaconda的官网下载linux系统需要文件 Anaconda3-2021.05-Linux-x86_64.sh
• 上传到linux中，执行安装sh Anaconda3-2021.05-Linux-x86_64.sh或bash Anaconda3-2021.05-Linux-x86_64.sh
• 直接Enter下一步到底，完成
• 配置环境变量，参考课件

3-Anaconda有很多软件