qq_42192672的博客

Spark/Scala noteSpark常用代码段创建SparkContext创建SparkSessionSparkSession从csv读取SparkSession执行sql样例SparkSession写入csvSparkSession连接jdbc创建StreamingContextStreamingContext整合KafkaSpark GraphX基本操作Spark GraphX从文件生成图，生成连通图Scala基础List简介快速排序可变listScala Iterator（迭代器）简介Optio

Spark 源码分析基础概念Scala Iterator（迭代器）Scala的Option的类型高级概念Yarn模式运行机制(ing)Master & Worker(ing)作业执行原理(ing)Shuffle详解(ing)数据倾斜(ing)算子mapflatMapfilter案例1:案例2mapPartitions案例1mapPartitionsWithIndexgroupByKeydefaultPartitionerShuffledRDD案例1reduceByKey案例1groupBycogro

Hive 常用指令Hive 常用指令文档hive命令数据类型**数据类型的显示转换**集合数据类型DDLOverviewCreate DatabaseDrop DatabaseAlter DatabaseUse DatabaseCreate Tableexp1exp2exp3HQL--操作数据加载数据导出数据HQL--DQLSelect Syntaxsort by 、order by分区排序(distribute by)/**Cluster By**join函数**日期函数【重要】****字符串函数****