a1158375969的专栏

scala> val lines = sc.textFile("README.md") scala> lines.count() org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://192.168.32.132:9000/user/walter/README.md at org.apa

Overview 1. Spark SQL用于处理结构化数据. 2. 可以使用SQL shell或者是Dataset api进行交互 3. 除了可以和已存在的文件进行查询, 还能结合Hive或者其他数据库连接(如JDBC和ODBC)Dataset 是一个分布式数据集合. 可以通过JVM Object转换为Dataset然后通过常见的RDD函数进行操作. DataFrame 一个有列名字的

//单个类的导入 import util.Random//导入两个类 import util.Random, util.Properties//导入util包中的两个类 import util.{Random, Properties}//设置导入类的别名 import util.{Random=>Bob, Properties=>Prop}//导入包中所有的类, 类似于java中的* import

DataFrame是什么?是带有模式(Schema)的RDD, 类似于二维表,  有了Schema可以洞察更多的额信息.准备json数据, json数据需要是一行代表一个Row{"id":1, "name":"leo", "age":18} {"id":2, "name":"jack", "age":19} {"id":3, &q

package examples; import org.apache.spark.Accumulator; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apach...

package examples; import constant.Constants; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.ap...