spark的学习之路：pyspark的本地运行以及在YARN的运行

一、本地运行

pyspark --master local[N]

local[N] 代表在本地运行，N的值代表同时执行N个程序

（1）查看当前的运行模式：sc.master

 （2）读取本地文件，路径之前加上“file：”

    testFile = sc.textFile('file:/usr/local/spark/README.md')

（3）显示项数

testFile.count()

（4）读取HDFS的文件，路径之前加上“hdfs://master:9000”

二、在Hadoop YARN运行pyspark

HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop/ pyspark --master yarn --deploy-mode client

在可视化界面里面查看

出现的问题以及解决

1、warn：出现没有配置jar的问题

第一步：在hdfs上设置文件夹并且上传本地文件

/usr/local/hadoop/bin/hdfs dfs -put /usr/local/spark/jars/* /user/hadoop/spark_jars/ 

第二步：修改配置文件

cp spark-defaults.conf.template spark-defaults.conf
sudo gedit spark-defaults.conf

加入以下一句话

park.yarn.jars=hdfs://master:9000/usr/local/spark/jars/* /user/hadoop/spark_jars/