
数据架构及数据工程
数据架构及工程相关
allen sue
关注:数据从业者,爱好并致力于分析挖掘
邮箱:fish-work@163.com
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
算法的时间复杂度与空间复杂度
主要材料来源算法的时间与空间复杂度(一看就懂)算法的时间复杂度和空间复杂度时间复杂度概念执行当前算法所消耗的时间(最坏情况的运行时间)推导O阶的方法用常数1取代运行时间中的所有加法常数在修改后的运行次数函数中,只保留最高阶项。如果最高阶项存在且不是1,则去掉该最高阶项系数。得到的最后结果就是O阶常用的时间复杂度所耗费的时间从小到大依次是O(1)<O(logn)<O(n)<O(nlogn)<O(n2)<O(n3)<O(2n)<原创 2020-06-05 18:34:56 · 195 阅读 · 0 评论 -
如何构建指标体系--笔记
声明以下内容来源于互联网,算是个人梳理笔记。如有侵权请告知,及时删除以下图片来源于互联网,如有侵权请告知,及时删除参考数据源https://www.jianshu.com/p/7ade451b06c9https://www.jianshu.com/p/47f701e70fe8指标特点业务层面有价值可衡量业务真实情况简单可执行大家共同认可特征结果性指...原创 2020-04-29 17:18:24 · 3887 阅读 · 1 评论 -
实时数据同步
log解析=>数据同步Oracle:oggMySQL:binlog解析SQL查询=>数据同步flume方案flume-ng-sql-source读取数据:DB,file, hdfs…flume写入DB,hdfsflume写入kafka后期再消费实施安装flume[, kafka, zookepper]下载并生成flume-ng-sql-sour...原创 2020-04-21 14:02:59 · 1276 阅读 · 0 评论 -
AirFlow之安装
Docker安装docker-compose直接安装准备数据库设置基础环境# 直接安装会报错,需要导入如下设置export SLUGIFY_USES_TEXT_UNIDECODE=yesinstallpip install apache-airflow生成airflow.cfg文件设置airflow的HOME目录,并将其写入当前用户的环境变量中expor...原创 2020-04-03 16:12:43 · 443 阅读 · 0 评论 -
DW及建模
DW的数据模型范式建模RDB建模方法的三大范式设计1NF:属性的原子性,不可再分(json字段可有下属数组的形式)2NF:每个非主属性由整个主键函数决定,不能由主键的部分决定(基本信息–主键决定 与 衍生信息 主键不能决定)3NF:每列都和主键列直接相关,而不是间接相关,其它字段间无依赖(业务表拆分为多维度关系表)EDW中3NF建模,基于一些其它的原因,并非完全3NF建模,甚...原创 2020-03-20 16:19:11 · 2089 阅读 · 0 评论