做一个好人

1.lamabda编写spark  package cn.edu360.spark;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api....

<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://

spark中在driver端实例化的类必须继承Serializable，而executor端的类没有此要求（driver端需要通过网络发到executor中）。但在excuter中进行实例化会造成内存浪费（一个task实例化一次）。    解决1：将类继承接口写在driver端中。 （  有不能实现序列化的类）    解决2：写成Object类型，在driver端获取 ，在execut...

1.创建SparkContext2.创建SQLContext3.创建RDD4.创建一个类，并定义类的成员变量5.整理数据并关联class6.将RDD转换成DataFrame（导入隐式转换）7.将DataFrame注册成临时表8.书写SQL（Transformation）9.执行Actionpackage cn.edu360.day6import org.apache.sp...

import org.apache.spark.sqlimport org.apache.spark.sql.{Dataset, SparkSession}object SparkSQL2 { //常规写法// def main(args: Array[String]): Unit = {// val spark = SparkSession.builder().app...

sql查询方式import org.apache.spark.sql.SparkSessionobject IPLocationSQL { def main(args: Array[String]): Unit = { val spark = SparkSession.builder().appName("ipSql").master("local[*]").getOrCre...

package cn.edu360.day7import java.lang.Longimport org.apache.spark.sql.expressions.{MutableAggregationBuffer, UserDefinedAggregateFunction}import org.apache.spark.sql.types.{StructField, _}impo...

1.jdbc文件以及保存到各种格式package cn.edu360.day7import java.util.Propertiesimport org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession}/** * Created by ls on 2018/10/1. */object JdbcDataSo...