Data+AI下的数据湖和湖仓一体发展史
前言
数据湖?湖仓一体?这是什么高科技新名词?
别急,我们慢慢聊。想象一下,你正在厨房里准备一顿丰盛的晚餐,结果发现冰箱里食材乱七八糟,什么都有,就是不知道怎么组合做出一道像样的菜。这个场景其实和企业处理数据的现状很像——他们积累了海量数据,但要把这些数据变成有价值的信息,困难重重。
这时候,“数据湖”和“湖仓一体”就登场了。数据湖,听起来有点浪漫,像是个宽广的湖泊,储存着各种各样的数据。而“湖仓一体”呢?顾名思义,就是让数据湖和数据仓库结合在一起,统一处理,既能灵活存储数据,又能高效分析。这就好比你不仅有个大冰箱能存各种食材,还有个自动厨师能把这些食材变成美味佳肴。
数据湖的“前世今生”
最早提到数据湖这个概念的时候,大家都觉得它是个解决大数据存储的“救世主”。数据湖,顾名思义,就像湖泊一样能容纳各种各样的数据,不管是结构化的还是非结构化的,都能统统往里面丢。企业们欣喜若狂,以为找到了存储所有数据的完美解决方案。