
数据仓库
文章平均质量分 91
BackToMeNow
时间记录在2017-01-20............
展开
-
近期在写SQL时得到的一些经验
这阵子写SQL得到的一些经验,有些可能比较实用,有些可能比较笨重,但是总的来说都是减少了资源使用率,加快处理进程 1、在登录日志中拿到近n日日活 想法:当时的想法很简单啦,就是日期锁定在近n天然后采用row_number或者直接distinct进行去重计算uid即可 问题:但是当做的时候发现还是有点小问题,因为给出的模板是要有四列,日期、日活、七日活、三十日活,这四列数据都要围绕其中的日期这一条件进行对应,那怎么把n日活归并到当前日期来呢,也就是说把上周的周活数据放到昨天(T+1)的行中。。 实现:其实这里原创 2020-11-17 18:56:15 · 415 阅读 · 1 评论 -
简单了解一下布隆过滤器
前言 今天碰到个业务,他的 Redis 集群有个大 Value 用途是作为布隆过滤器,但沟通的时候被小怼了一下,意思大概是 “布隆过滤器原理都不懂,还要我优化?” 。技术菜被人怼认了、怪不得别人,自己之前确实只是听说过这个,但是没深入了解过,趁这个机会补充一下知识。 在进入正文之前,之前看到的有句话我觉得说得很好: Data structures are nothing different. T...转载 2019-10-16 20:47:40 · 153 阅读 · 0 评论 -
数仓OLAP|OLTP概念的整理
概述,对比 数据处理大致可以分成两大类:联机事务处理OLTP(on-line transaction processing)、联机分析处理OLAP(On-Line Analytical Processing)。OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。 OLTP...原创 2019-10-16 20:15:30 · 439 阅读 · 0 评论