ZenG的博客

SparkContext和SparkSession的区别，如何取用？ SparkContext: 在Spark 2.0.0之前使用 通过资源管理器例如YARN来连接集群 需要传入SparkConf来创建SparkContext对象 如果要使用SQL，HIVE或者Streaming的API, 需要创建单独的Context val conf = new SparkConf() .setA...

之前，RDD语法占主导，但是比较难用难学. 现在，有了DataFrame，更容易操作和使用spark. 文章目录创建DataFrame创建DataFrame(指定Schema) 创建DataFrame from pyspark.sql import SparkSession # 新建一个session spark = SparkSession.builder.appName('Basics')...

文章目录行列操作SQL操作 行列操作 df['age'] # I only get a column object df.select('age').show() # I get a datafram with a column that we could use with show() method # see the first two row elements df.head(2) # r...

文章目录filter写法一filter写法二条件符号获取结果 filter写法一 from pyspark.sql import SparkSession spark = SparkSession.builder.appName('ops').getOrCreate() df = spark.read.csv('appe_stock.csv',inferSchema = True, heade...

文章目录groupBy()AggregationAggregation Function groupBy() from pyspark.sql import SparkSession spark = SparkSession.builder.appName('aggs').getOrCreate() df = spark.read.csv('sales_info.csv', inferSche...

Drop Missing Value from pyspark.sql import SparkSession spark = SparkSession.builder.appName('aggs').getOrCreate() df = spark.read.csv('sales_info.csv', inferSchema = True, header = True) df.printSche...

// 读取文件，压缩文件和路径都可以 val lines = sc.textFile("hdfs://localhost:9000/...") // hdfs val textFile = sc.textFile("file:///usr/local/spark/mycode/wordcount/word.txt") // local // 从driver的内存中读取 val array = Ar...