16、数据工程：从传统商业智能到现代数据处理

数据工程：从传统商业智能到现代数据处理

1. 数据驱动决策与团队分工

在企业中，数据科学团队发挥着关键作用。他们生成机器学习模型，进行临时分析，并创建可视化图表，将数据转化为可供企业高管“消费”的信息，以支持数据驱动的决策。

2. 商业智能的历史演变

数据工程是从各种来源收集原始数据、进行处理并以易于获取见解的格式存储数据的实践。虽然数据工程自2010年以来备受关注，但它早在金融、银行和保险行业就已存在，当时被称为“商业智能”（BI）。BI团队帮助企业高管做出数据驱动的决策，进行定量分析，以创建定价、风险、交易等方面的预测模型。他们从多个来源获取数据，使其可用于决策和分析。在2010年之前，数据分析需要像SAS和Informatica这样的昂贵产品，其他资金较少的行业难以承受。但自2010年以来，这些行业使用的技术变得更加普及和经济实惠。

商业智能最好通过在线事务处理（OLTP）系统和在线分析处理（OLAP）系统这两个数据处理系统之间的关系来理解。BI系统主要关注这种关系中的OLAP方面。

3. OLTP系统

OLTP系统是一种数据处理系统，旨在由许多人实时执行大量数据库事务，通常通过互联网进行，因此称为“在线”。这些系统由软件工程师设计和管理，而不是商业智能团队（或数据工程师）。事务在这里指的是数据库事务，代表企业状态的原子性变化，如订单交付、员工收到工资、将产品添加到在线购物车等。事务原子性确保“多个状态变化”要么全部发生，要么都不发生，以防止出现一个账户扣款但另一个账户未入账的问题。

我们日常使用的大多数应用程序，如酒店预订系统、航空公司订票系统、自动取款机等，都使用了某种形式的OLTP