4、大数据数据库：从扁平文件到新兴解决方案的演变

大数据数据库：从扁平文件到新兴解决方案的演变

1. 大数据的正反馈循环

大数据如今正处于一个正反馈循环之中。以美国机动车拥有量和郊区发展为例，自20世纪初以来，机动车拥有量大幅增长，这推动了郊区的发展。郊区低密度的特点使得公共交通难以盈利，汽车成为必需品，而汽车的普及又进一步促进了郊区的扩张，形成了正反馈循环。

数据的捕获和处理之间也存在类似的自我强化过程。数据量的增长和处理能力的提升相互促进，形成正反馈机制。随着可处理数据的增加，数据变得更加复杂和混乱，这就需要更复杂的工具来处理。而数据管理和处理的每一次创新，短期内简化了大型复杂数据集的使用，长期来看则为从数据中更深入地提取价值创造了机会，进而推动了数据管理系统的进一步发展。

2. 扁平文件

扁平文件是一种简单的二维表格，以网格格式排列，常见的如Excel电子表格。它具有以下特点：

2.1 优点

• 适用于同质少量数据 ：当数据同质且数量有限时，扁平文件表现良好。例如，简单记录学生姓名、年级、课程等信息的数据库，使用扁平文件是可以接受的。
• 无需外部程序即可理解 ：可以直接查看和理解，无需借助数据库。即使是更复杂的扁平文件，也能通过简单的查看操作来获取信息。

2.2 缺点

• 数据异质性问题 ：随着公司的发展，需要收集更多关于司机、车辆、供应商和客户的数据，数据不再同质，扁平文件的效率会大幅下降。
• 数据冗余