- 博客(4)
- 收藏
- 关注
RSS订阅原创 数据仓库笔记
一、高层建模：深入并抽象业务 数据模型来源于业务，我们应该首先深入了解业务的逻辑，再抽象业务横向的主题域。例如短视频可以抽象为视频、用户、音乐、道具、行为、社交、电商等等，主题域依赖业务实体而存在，而又因为业务不同可以区分出边界。 二、中层建模：明确主题域之间和之内关系 首先应该明确每个主题域的唯一主键，并由此得到主题域之间主键的连接关系。再明确主题域内的层次结构，例如视频日志明细信息、视频明细信息、视频统计信息、视频维度属性等等明细和统计层结构。 三、底层建模：明确表关系和字段 针对..
2021-05-15 16:47:42
165
原创 数据架构 Inmon
第一章 企业数据 1.1 企业数据 1.1.1 企业的全体数据 全体数据划分为结构化数据和非结构化数据，结构刷数据是可预见、经常出现的数据结构。通常包括记录、属性、键、索引，可通过DBMS进行管理。非结构化数据是不可预见，没有可以被计算机识别的结构 ...
2021-05-01 16:42:14
750
1
原创 数据仓库 Inmon
第一章 决策支持系统的发展 1.1 演化 1.1.1 直接存取储存设备的出现 磁盘储存器/DBMS/OLTP 1.1.2 个人计算器/第四代编程语言技术 PC/4GL 1.1.3 进入抽取时代 搜索文件或数据库，将符合标准的数据抽取到指定位置 1.1.4 蜘蛛网 数据源/口径/算法/数据 ...
2021-05-01 15:17:27
3160
原创 Spark优化
大数据优化 数据输入输出 上游文件合并： set spark.merge.files.enabled=true; set spark.merge.files.number=500; 合并小文件，拆大文件： set spark.sql.files.maxPartitionBytes=1073741824; set spark.sql.files.openCostInBytes=16777216; 合理的压缩格式（zstd vs gzip） 尽量不读区冗余列 数据倾斜 倾斜总揽 数据倾斜首先应该从业务上入
2021-03-16 20:29:09
887
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人