
大数据
文章平均质量分 91
running_ljy
喜欢在操场上大汗淋漓的感觉
展开
-
使用Spark的命令
**在Ipython Notebook界面运行pyspark** 1)默认本机运行sparkPYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" pyspark**2)使用Ipython Notebook在Hadoop YARN-client模式运行 启动Hadoop cluster**...原创 2018-04-22 09:33:20 · 683 阅读 · 0 评论 -
Hadoop集群配置文件说明
自定义配置文件:目录:$HADOOP_HOME/etc/hadoop/core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml配置 hdfs hadoop-env.sh core-site.xml hdfs-site.xml slaves yarn ya...原创 2018-04-19 11:12:51 · 533 阅读 · 0 评论