
实用类
文章平均质量分 69
Caron_xcb
但行耕耘,莫问收获
展开
-
大数据——DBT:dbt集成数据质量监控插件elementary(生产环境篇)
elementary数据可以重新生成到数据库中。文件位置在dbt项目的根目录下。安装好dbt相关环境。原创 2022-11-08 15:55:51 · 1757 阅读 · 1 评论 -
大数据——使用prometheus+grafana监控clickhouse集群相关指标
一、准备prometheus下载https://prometheus.io/download/#prometheus原创 2021-09-17 18:52:08 · 1264 阅读 · 0 评论 -
hadoop学习——Hive on Spark的配置
Hive on Spark编译1)从官网下载Spark源码并解压下载地址:https://www.apache.org/dyn/closer.lua/spark/spark-2.4.5/spark-2.4.5.tgz2)上传并解压spark3)进入spark解压后的目录4)执行编译命令[@hadoop101 spark-2.4.5]$ ./dev/make-distribution.sh --name without-hive --tgz -Pyarn -Phadoop-3.1 -Dhadoo原创 2020-06-26 17:49:43 · 2134 阅读 · 1 评论 -
大数据学习Spark——Windows模式(端口号相关)
1 解压缩文件将文件spark-2.4.5-bin-without-hadoop-scala-2.12.tgz解压缩到无中文无空格的路径中,将hadoop3依赖jar包拷贝到jars目录中。2 启动本地环境1) 执行解压缩文件路径下bin目录中的spark-shell.cmd文件,启动Spark本地环境2) 在bin目录中创建input目录,并添加word.txt文件, 在命令行中输入脚本代码sc.textFile("input/word.txt").flatMap(_.spl原创 2020-06-26 16:17:19 · 359 阅读 · 0 评论 -
正则表达式——手机、邮箱案例
案例实操手机号正则表达式验证方法object ScalaRegex { def main(args: Array[String]): Unit = { // 构建正则表达式 println(isMobileNumber("18801234567")) println(isMobileNumber("11111111111")) } def isMobileNumber(number: String): Boolean ={...原创 2020-06-02 20:41:41 · 345 阅读 · 0 评论 -
IDEA基础设置——关于IDEA下载maven依赖速度太慢问题的解决方法
配置全局:找到setting中的maven设置,打开当前使用的maven的setting.xml文件,也可以新建并配置一个setting.xml或者右键项目选中maven选项,然后选择“open settings.xml”或者 “create settings.xml”,然后把如下代码粘贴进去就可以了。重启IDE添加如下代码:...原创 2020-04-14 11:14:56 · 1411 阅读 · 0 评论