- 博客(27)
- 资源 (7)
- 收藏
- 关注
转载 阿里云OneData数据指标体系的一些思考
知其然知其所以然,公司的SaaS系统已沉淀上亿的商户,数仓也经过一年的改造,已基本成型,基于此做个总结。背景随着公司业务的发展,频繁迭代和跨部门的垂直业务单元变得越来越多。但由于缺乏前期规划,导致后期数仓出现了严重的数据质量问题,这给数据治理工作带来了很大的挑战。在数据仓库建设过程中,总结的问题包括如下几点:缺乏统一的业务和技术标准,如:开发规范、指标口径和交付标准不统一。 缺乏有效统一的数据质量监控,如:列值信息不完整和不准确,SLA时效无法保障等。 业务知识体系散乱不集中,导致不同研发人
2022-02-23 17:01:25
1230
转载 ETL工具Kettle,下载与安装部署
来源:微信公众号 -DD程序鹅原文:https://mp.weixin.qq.com/s/VKUy9mvzv28gNwPlU1X1qA版权声明:本文为博主原创文章,转载请附上原文链接!更多系列可以搜索上面公众号,提前查阅。上篇介绍了Kettle是什么、概念模型和核心组件,相信大家已经对Kettle有了初步认识。该篇主要介绍Kettle下载与window中安装部署。下载官方下载地址:https://community.hitachivantara.com/s/art...
2021-03-31 13:52:29
1298
转载 Bean、DTO和实体间互相赋值映射的好工具MapStruct(支持不同名属性)
在开发过程中,实体和DTO直接进行映射或者转换时,的便利工具MapStruct
2021-03-24 13:28:41
651
转载 [Redis深层理解]:Redis中六种数据结构应用
此篇主要对Redis中用到的数据结构做简单的描述,包括:结构定义、组成、应用和一些特性。SDS、链表、字典、跳跃表等
2020-12-07 21:48:50
118
转载 json-yaml-properties互相转换、格式化校验 推荐一个程序员常用的在线工具(www.toxcode.cn)
来源:微信公众号 -DD程序鹅此在线工具比较简洁,F11可以全屏,方便阅读等举实例说明:以下我介绍一个轻松解决json-yaml-properties互转问题的在线工具(www.toxcode.cn),方便高效整洁。举例1:yaml格式化校验举例2:json格式化校验举例3:简介properties格式文件转yaml使用:如图出现转换成功,然后复制转换后的...
2019-02-15 09:43:16
4329
1
原创 JdbcTemplate实现批处理(插入、更新)
针对大数据量的插入推荐使用批量插入以便提高性能,经过实战说明JdbcTemplate批量插入效率高于循环单条插入。 JdbcTemplate继承JdbcAccessor类与JdbcOperations接口;其中JdbcAccessor类设置数据源,JdbcOperations定义方法JdbcTemplate来实现。
2016-12-10 22:35:32
6420
原创 如何在CentOS7上安装Zabbix监控服务
Zabbix是一个企业级开源的分布式监控解决方案,用来监控、跟踪性能、网络服务的可用性,硬件设备和其他信息资源(CPU、内存等使用率)。它支持分布式、WEB界面可视化监控,自动发现等等
2016-12-03 17:48:57
544
原创 SpringBoot之配置文件及自定义参数
SpringBoot配置文件application.properties中部分配置以及profile多环境简单说明。
2016-12-01 22:42:00
4745
转载 Strman 工具类
import strman.Strman; import java.util.Arrays; import java.util.Optional;/** * strman-java包的测试使用类 * Created by blinkfox on 16/7/17. */ public class StrmanTest {public static void main(String
2016-11-01 17:16:36
1559
转载 Crontab的格式
Crontab第1列分钟1~59 第2列小时1~23(0表示子夜) 第3列日1~31 第4列月1~12 第5列星期0~6(0表示星期天) 第6列要运行的命令
2016-09-22 23:37:48
479
原创 任务调度,高性能处理数据框架TbSchedule
任务调度服务框架TBSchedule,是基于Zookeeper的部署使用。…任务调度服务适用行业场景业务,商品订单、物流行业、报表、银行业务等资源
2016-09-22 23:26:47
3607
转载 Linux curl简介
命令:curl 在Linux中curl是一个利用URL规则在命令行下工作的文件传输工具,可以说是一款很强大的http命令行工具。它支持文件的上传和下载,是综合传输工具,但按传统,习惯称url为下载工具。 语法:# curl [option] [url]
2016-07-23 23:34:48
372
原创 最简单的定时任务实现
在实际项目开发中,难免会遇到定时执行任务的场景;比方说,每隔多少时间需要做什么事情;每隔月的几号定时做什么事情;像这样的业务需求,会经常遇到;Spring Boot 定时任务
2016-07-19 23:54:47
2641
原创 自立·爱
满满的一天之尾声,进入写的状态ing….今天 技术没有研究系统,就不发出了。 分享下自己阅读中的一段引文吧。一段落:冷清的源泉,无径的树林, 淡淡的激情喜爱的佳境, 月光下的幽径,这时所有的飞禽, 已安全进窝,仅剩下蝙蝠和猫头鹰, 一声夜半的钟鸣,转瞬即逝的呻吟—– 这才是我们向往的声音。Alan,认为这是作者对自然的善意憧憬,融入进入,有了意识;勾勒出对家的一种幽静的感觉。
2016-07-18 23:57:52
387
原创 Spring Boot 基于Maven 基础Pom.xml文件
Spring Boot 基于Maven 基础Pom.xml文件 org.springframework.boot spring-boot-starter-web 1.0.2.RELEASE <dependency> <groupId>org.springframework.boot</groupId> <
2016-07-16 22:28:49
3815
原创 优快云-开启技术博文
2016-07-16的今天,Alan Liu 决定将自己以往的技术经验知识和后续的新技术研发整理并发布;希望和朋友们分享交流共同进步。 我之前不习惯写技术博客,大都将点滴记录到本本上。心想,在这互联网的时代,分享的时代,我们要利用好网络资源。所以,要想改变自己,于是乎写博客的思想和不想写博客的恶魔开启了战斗模式;最终写博客的思想战胜,束手就擒,乖乖的开启了博客的
2016-07-16 19:12:18
544
转载 欢迎使用优快云-markdown编辑器
Markdown一些常用快捷方式命令本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2016-07-16 19:11:44
283
html设计招生系统
2010-12-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人