qq_43801878的博客

结果

前言：SparkSession对象为用户提供了创建dataframe对象，读取外部数据源并且转化为DataFrame对象以及执行sql的api。还包含用户对spark集群参数调控，是环境运行的基础。##背景因数据量问题，完全无法通过hive加工，通过pyspark对数据二次落表继续通过sh启动脚本...

##学习完W3school中python基本后步入pyspark正式学习DF学习(DataFrame是一种以RDD为基础的分布式数据集，类似于传统数据库中的二维表格。DataFrame与RDD的主要区别在于，前者带有schema元信息)自信满满 python XXX.py 报错 ：ImportError: No module named pyspark 无法启动遂更改为：spark-submit xxx.py ，日志报错。将python脚本通过sh命令启动：保存启动 sh文件。yarn中