- 博客(4)
- 收藏
- 关注
RSS订阅原创 数据仓库笔记
一、高层建模：深入并抽象业务数据模型来源于业务，我们应该首先深入了解业务的逻辑，再抽象业务横向的主题域。例如短视频可以抽象为视频、用户、音乐、道具、行为、社交、电商等等，主题域依赖业务实体而存在，而又因为业务不同可以区分出边界。二、中层建模：明确主题域之间和之内关系首先应该明确每个主题域的唯一主键，并由此得到主题域之间主键的连接关系。再明确主题域内的层次结构，例如视频日志明细信息、视频明细信息、视频统计信息、视频维度属性等等明细和统计层结构。三、底层建模：明确表关系和字段针对..
2021-05-15 16:47:42
155
原创 数据架构 Inmon
第一章 企业数据1.1 企业数据1.1.1 企业的全体数据全体数据划分为结构化数据和非结构化数据，结构刷数据是可预见、经常出现的数据结构。通常包括记录、属性、键、索引，可通过DBMS进行管理。非结构化数据是不可预见，没有可以被计算机识别的结构...
2021-05-01 16:42:14
731
1
原创 数据仓库 Inmon
第一章 决策支持系统的发展1.1 演化1.1.1 直接存取储存设备的出现磁盘储存器/DBMS/OLTP1.1.2 个人计算器/第四代编程语言技术PC/4GL1.1.3 进入抽取时代搜索文件或数据库，将符合标准的数据抽取到指定位置1.1.4 蜘蛛网数据源/口径/算法/数据...
2021-05-01 15:17:27
2994
原创 Spark优化
大数据优化数据输入输出上游文件合并：set spark.merge.files.enabled=true;set spark.merge.files.number=500;合并小文件，拆大文件：set spark.sql.files.maxPartitionBytes=1073741824;set spark.sql.files.openCostInBytes=16777216;合理的压缩格式（zstd vs gzip）尽量不读区冗余列数据倾斜倾斜总揽数据倾斜首先应该从业务上入
2021-03-16 20:29:09
869
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人