spark安装和试用入门

1, 下载spark版本:

git clone git://github.com/apache/spark.git -b branch-1.3

2, 编译spark:

 mvn -DskipTests cleanpackage

3，使用spark(python环境下）

pyspark

基于README.cmd 生成RDD:

>>> textFile= sc.textFile("README.md")

 

计算RDD行数：

>>>textFile.count()

126

进一步计算带有"spark" 字符的行数

>>>linesWithSpark=textFile.filter(lambdaline:"Spark"inline)

>>>textFile.filter(lambdaline:"Spark"inline).count()

15

4， 使用self-contained 的应用来调用spark的API接口（以python为例）：

"""SimpleApp.py"""

frompysparkimportSparkContext

logFile="YOUR_SPARK_HOME/README.md"  # Should be some file on your system

sc=SparkContext("local","Simple App")

logData=sc.textFile(logFile).cache()

numAs=logData.filter(lambdas:'a'ins).count()

numBs=logData.filter(lambdas:'b'ins).count()

print"Lines with a: %i, lines with b: %i"%(numAs,numBs)

程序的目的是计算带有"a"和带有"b"字符的行数：

输出结果：

总之，利用spark做数据分析，配置简单，运算快速。