spark

最新推荐文章于 2023-09-02 16:01:00 发布

原创最新推荐文章于 2023-09-02 16:01:00 发布 · 243 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#pyspark

hduser@master:~$ spark-submit --driver-memory 512m --master local[4] pythonwork/HelloPyProject/WordCount.py
开始运行RunWordCount
master=local[4]
开始读取文本文件...
文本文件共103行
文字统计共287项数据
开始存储到文本文件...

hduser@master:~$ cd pythonwork/HelloPyProject/
hduser@master:~/pythonwork/HelloPyProject$ ls
WordCount_bak_qq.py  WordCount.py
hduser@master:~/pythonwork/HelloPyProject$ HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop spark-submit --driver-memory 512m --executor-cores 2 --master yarn --deploy-mode client WordCount.py 
开始运行RunWordCount
18/07/09 15:26:49 WARN Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME.
master=yarn
开始读取文本文件...
文本文件共1594行
文字统计共1915项数据
开始存储到文本文件...
hduser@master:~/pythonwork/HelloPyProject$ 
程序