weixin_43230682的博客

这是最近项目中所遇到的一个比较奇葩的需求，重点是如何快速地实现这个需求。思路一：先考虑实现需求，后面再进行速度和性能上的进一步优化。先是考虑从hive的元数据库中把具有该字段的表信息都找出来，然后扫描这些表的时候只针对目标字段进行过滤和判断，避免直接针对3万张表进行全表扫描。为了方便演示，简化需求为从hive数据仓库中的ods库的几十张表里找出字段sex=“UnKnown”的数据在哪些表中有存储。采用Shell脚本来实现，代码如下：#!/bin/bashdName="ods"resultT

import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}/** * Spark应用：自定义排序 + 二次排序 * 需求：对数据集按照产品价格降序排序，产品价格相同再按照产品数量降序排序 */object sortAPP { def main(args: Array[String...

在Scala中存在样例类case class，它其实就是一个普通的class。但是它又和普通的class有以下区别：1、case class在初始化的时候可以不用new，当然你也可以加上，普通类一定需要加new；2、case class中toString的实现更漂亮；3、case class中默认实现了equals 和hashCode；4、case class中默认是可以序列化的，...