数据架构及数据工程
数据架构及工程相关
allen sue
关注:数据从业者,爱好并致力于分析挖掘
邮箱:fish-work@163.com
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
算法的时间复杂度与空间复杂度
主要材料来源 算法的时间与空间复杂度(一看就懂) 算法的时间复杂度和空间复杂度 时间复杂度 概念 执行当前算法所消耗的时间(最坏情况的运行时间) 推导O阶的方法 用常数1取代运行时间中的所有加法常数 在修改后的运行次数函数中,只保留最高阶项。 如果最高阶项存在且不是1,则去掉该最高阶项系数。 得到的最后结果就是O阶 常用的时间复杂度所耗费的时间从小到大依次是 O(1)<O(logn)<O(n)<O(nlogn)<O(n2)<O(n3)<O(2n)<原创 2020-06-05 18:34:56 · 214 阅读 · 0 评论 -
如何构建指标体系--笔记
声明 以下内容来源于互联网,算是个人梳理笔记。如有侵权请告知,及时删除 以下图片来源于互联网,如有侵权请告知,及时删除 参考数据源 https://www.jianshu.com/p/7ade451b06c9 https://www.jianshu.com/p/47f701e70fe8 指标 特点 业务层面有价值 可衡量业务真实情况 简单可执行 大家共同认可 特征 结果性指...原创 2020-04-29 17:18:24 · 3919 阅读 · 1 评论 -
实时数据同步
log解析=>数据同步 Oracle:ogg MySQL:binlog解析 SQL查询=>数据同步 flume 方案 flume-ng-sql-source读取数据:DB,file, hdfs… flume写入DB,hdfs flume写入kafka后期再消费 实施 安装flume[, kafka, zookepper] 下载并生成flume-ng-sql-sour...原创 2020-04-21 14:02:59 · 1307 阅读 · 0 评论 -
AirFlow之安装
Docker安装 docker-compose 直接安装 准备数据库 设置基础环境 # 直接安装会报错,需要导入如下设置 export SLUGIFY_USES_TEXT_UNIDECODE=yes install pip install apache-airflow 生成airflow.cfg文件 设置airflow的HOME目录,并将其写入当前用户的环境变量中 expor...原创 2020-04-03 16:12:43 · 464 阅读 · 0 评论 -
DW及建模
DW的数据模型 范式建模 RDB建模方法的三大范式设计 1NF:属性的原子性,不可再分(json字段可有下属数组的形式) 2NF:每个非主属性由整个主键函数决定,不能由主键的部分决定(基本信息–主键决定 与 衍生信息 主键不能决定) 3NF:每列都和主键列直接相关,而不是间接相关,其它字段间无依赖(业务表拆分为多维度关系表) EDW中3NF建模,基于一些其它的原因,并非完全3NF建模,甚...原创 2020-03-20 16:19:11 · 2139 阅读 · 0 评论
分享