yijichangkong的专栏

在hadoop集群上搭好spark环境及体验spark shell之后可以重新做做官方的快速上手。运行独立程序（SimpleApp.py）： 首先编写程序（这里用Pytho的API）： from pyspark import SparkContextlogFile = "README.md" #注意这里的文件是在hdfs中的sc = SparkContext("local","Simp

1、复制文件至HDFS：hadoop@Mhadoop:/usr/local/hadoop$ bin/hdfs dfs -mkdir /userhadoop@Mhadoop:/usr/local/hadoop$ bin/hdfs dfs -mkdir /user/hadoophadoop@Mhadoop:/usr/local/hadoop$ bin/hdfs dfs -copyFromL

之前不懂犯了个低级错误，导致datanode只能启动一个；很是奇怪；首先，之前多次将namenode格式化，导致namenode和datanode的clusterID不一致无法启动datanode注：clusterID在/usr/local/hadoop/hdfs/name/current目录下；解决方案：修改Shadoop1 和 Shadoop2 的data/current目录下的V

先记录下安装dk出现的问题：

1、下载spark最新版：http://spark.apache.org/downloads.html下载对应的Scala版本：http://www.scala-lang.org/download/