
Spark
zcswl7961
Ezui
展开
-
Apache Griffin核心源码measure之DSL转换SQL
文章目录一 简介二 Apache Girffin DSL准确性(Accuracy)统计分析(Profiling)唯一性【重复性】(Distinctness)完整性(Completeness)时效性(Timeliness)一 简介在measuer源码中,BatchDQApp执行run方法时(这里以batch数据处理hive源数据库为例),创建数据检测job时,实际上是通过客户配置的DSL的语法...原创 2019-10-15 18:31:36 · 3662 阅读 · 0 评论 -
Apache Griffin 开源的数据质量分析工具
文章目录一 简介二 架构Apache Griffin具备的能力Apache Griffin处理数据的方式Apache Griffin架构图Apache Griffin的工作流三 环境部署1,部署jdk版本2,部署mysql版本3,部署hadoop版本4,部署hive版本5,部署Spark版本6,部署Livy版本7,部署Elasticsearch5版本8,部署Zookeeper四 使用实例基于Apa...原创 2019-09-26 22:24:10 · 10119 阅读 · 18 评论 -
Scala学习笔记
文章目录一 约定二 变量定义三 数据类型四 访问修饰符五 运算符六 基本表达式1,if ... else ...表达式2,块表达式{}3,循环七 方法函数定义一 约定scala语法中,每一行代码后面可以不需要以分号结束二 变量定义val 变量名:变量类型 = 初始化值 (不可修改)var 变量名:变量类型 = 初始化值(可修改) 在scala中,val修饰的变量表示不可修改的变量(...原创 2019-10-02 20:14:49 · 542 阅读 · 0 评论