读数据工程之道：设计和构建健壮的数据系统34读后总结与感想兼导读

1. 基本信息

数据工程之道：设计和构建健壮的数据系统

• [美]乔·里斯(Joe Reis),[美]马特·豪斯利(Matt Housley)著

• 机械工业出版社,2024年2月出版

1.1. 读薄率

书籍总字数473千字，笔记总字数109584字。

读薄率109584÷473000≈23.17%

1.2. 读厚方向

1. Data Mesh权威指南

2. 数据的边界：隐私与个人数据保护

3. 数据保护：工作负载的可恢复性

4. 数据质量管理：数据可靠性与数据质量问题解决之道

5. Julia数据科学应用

6. MLOps权威指南

7. 数据自助服务实践指南：数据开放与洞察提效

8. 商战数据挖掘：你需要了解的数据科学与分析思维

9. Spark快速大数据分析（第2版）

1.3. 笔记--章节对应关系

笔记	章节	字数	发布日期 2024年
读数据工程之道：设计和构建健壮的数据系统01数据工程概述	第1章　数据工程概述	4170	10月7日
读数据工程之道：设计和构建健壮的数据系统02数据工程师	第1章　数据工程概述	5096	10月8日
读数据工程之道：设计和构建健壮的数据系统03数据工程生命周期（上）	第2章　数据工程生命周期	2423	10月9日
读数据工程之道：设计和构建健壮的数据系统04数据工程生命周期（下）	第2章　数据工程生命周期	3962	10月10日
读数据工程之道：设计和构建健壮的数据系统05底层设计（上）	第2章　数据工程生命周期	3867	10月11日
读数据工程之道：设计和构建健壮的数据系统06底层设计（下）	第2章　数据工程生命周期	2921	10月12日
读数据工程之道：设计和构建健壮的数据系统07数据架构的原则	第3章　设计好的数据架构	4915	10月13日
读数据工程之道：设计和构建健壮的数据系统08主要架构概念	第3章　设计好的数据架构	2410	10月14日
读数据工程之道：设计和构建健壮的数据系统09示例和类型	第3章　设计好的数据架构	2597	10月15日
读数据工程之道：设计和构建健壮的数据系统10技术选择	第4章　根据数据生命周期选择技术	3041	10月16日
读数据工程之道：设计和构建健壮的数据系统11云经济学	第4章　根据数据生命周期选择技术	3470	10月17日
读数据工程之道：设计和构建健壮的数据系统12开源软件	第4章　根据数据生命周期选择技术	3056	10月18日
读数据工程之道：设计和构建健壮的数据系统13无服务器	第4章　根据数据生命周期选择技术	2518	10月19日
读数据工程之道：设计和构建健壮的数据系统14源系统	第5章　源系统中的数据生成	3031	10月20日
读数据工程之道：设计和构建健壮的数据系统15源系统实际细节（上）	第5章　源系统中的数据生成	2697	10月21日
读数据工程之道：设计和构建健壮的数据系统16源系统实际细节（下）	第5章　源系统中的数据生成	3109	10月22日
读数据工程之道：设计和构建健壮的数据系统17存储的原材料	第6章　存储	3762	10月23日
读数据工程之道：设计和构建健壮的数据系统18数据存储系统(上）	第6章　存储	2806	10月24日
读数据工程之道：设计和构建健壮的数据系统19数据存储系统 (下）	第6章　存储	2674	10月25日
读数据工程之道：设计和构建健壮的数据系统20数据工程存储抽象	第6章　存储	3988	10月26日
读数据工程之道：设计和构建健壮的数据系统21数据获取	第7章　获取	2665	10月27日
读数据工程之道：设计和构建健壮的数据系统22获取阶段考虑因素	第7章　获取	2777	10月28日
读数据工程之道：设计和构建健壮的数据系统23批量获取的考虑因素	第7章　获取	2268	10月29日
读数据工程之道：设计和构建健壮的数据系统24获取数据的方式	第7章　获取	3446	10月30日
读数据工程之道：设计和构建健壮的数据系统25查询	第8章　查询、建模和转换	3767	11月2日
读数据工程之道：设计和构建健壮的数据系统26数据建模	第8章　查询、建模和转换	3448	11月3日
读数据工程之道：设计和构建健壮的数据系统27转换	第8章　查询、建模和转换	4842	11月4日
读数据工程之道：设计和构建健壮的数据系统28数据服务常见关注点	第9章　为分析、机器学习和反向ETL提供数据服务	2712	11月5日
读数据工程之道：设计和构建健壮的数据系统29分析	第9章　为分析、机器学习和反向ETL提供数据服务	4110	11月6日
读数据工程之道：设计和构建健壮的数据系统30机器学习	第9章　为分析、机器学习和反向ETL提供数据服务	3848	11月7日
读数据工程之道：设计和构建健壮的数据系统31安全和隐私	第10章　安全和隐私	3900	11月8日
读数据工程之道：设计和构建健壮的数据系统32序列化和云网络	附录A 序列化和压缩技术的细节 附录B 云网络	2344	11月9日
读数据工程之道：设计和构建健壮的数据系统33未来	第11章　数据工程的未来	2944	11月10日
$	总计	109584	$

---

2. 亮点

2.1 详述什么叫数据工程

• 数据工程不同于软件工程

• 有自己的特色、特点

2.2 流和批处理的比较

• 批处理源远流长
• 但是流技术的发展，渐渐有取代之势
• 还有微批处理

2.3 数据分层和冷热

• 根据数据冷热不同进行数据分层
• 不同温度的数据处于不同的层次
• 说到底，就是具体数据具体分析

2.4 数据工程师和其他角色的关系和区别

• 描述了数据工程师的主要工程

• 同时也指出了不同角色和数据工程师之间的关系和区别

  • 尤其是数据科学家和软件工程师

---

3. 感想

3.1 这个笔记好长啊

• 如果没有记错的话，这个更新时长和字数，应该是除了学中项、高项之外的最多的笔记了

3.2 随着数据的不断增长，数据工程出现了

• 事物的发展都是有一个过程的

• 数据不到一定的级别，一定的量级，数据工程不会出现

• 数据工程有自己的规律和规则，需要根据自身的情况实施

3.3 既要适应现实需求，又要有一定的前瞻性

• 在进行数据工程时，既要根据该工程的实际情况选择合适的工具和架构以及系统构建

• 同时，也要有一定的前瞻性，用于适应未来的变化

• 但是，也不同太超前了，太超前了也往往意味着失败，过犹不及

3.4 好书，推荐阅读

---