qq_41919284的博客

转自：http://www.cnblogs.com/zlslch/p/6685679.htmlSpark SQL构建在Spark Core之上，专门用来处理结构化数据(不仅仅是SQL)。即Spark SQL是Spark Core封装而来的！　　Spark SQL在Spark Core的基础上针对结构化数据处理进行很多优化和改进，　　简单来讲：　　　　Spark SQL 支持很多种结构化数...

(1)使用Kryo进行序列化。在spark中主要有三个地方涉及到序列化：第一，在算子函数中使用到外部变量时，该变量会被序列化后进行网络传输；第二，将自定义的类型作为RDD的泛型数据时(JavaRDD，Student是自定义类型)，所有自定义类型对象，都会进行序列化。因此这种情况下，也要求自定义的类必须实现serializable借口；第三， 使用可序列化的持久化策略时，spark会将RDD中的每...

*sudo -u hdfs /usr/hdp/2.6.5.0-292/spark2/bin/spark-submit –master yarn –deploy-mode cluster –driver-cores 1 –driver-memory 2g –num-executors 3 –executor-memory 1g –executor-cores 1 –class mai...

$set$set update运算符将字段的值设置为指定的值。set(“quantity”, 11)$setOnInsert$setOnInsert update运算符将字段值设置为给定值，但仅当更新是导致插入文档的upsert时。setOnInsert(“defaultQuantity”, 10)$unset$unset update运算符删除具有给定名称的字段。unset(“q...

https://blog.youkuaiyun.com/opensure/article/details/51452058

http://www.sohu.com/a/217196727_100065429