大数据量下的数据操作

在数据仓库中，数据量是很大的。一张表的大小可能有1TB。那么对整张表进行更新或插入的时候，很有可能数据库无法支持那么大的数据量的操作。所以，想要一次性一条INSERT INTO搞定这个全表操作很有可能会得到出错的信息。

 

那么，对于这么样的情况我们该怎么做呢？解决方案其实也是很简单的——分而治之。

 

把1TB的数据表划分成10个子数据段，然后对着10个子数据段分别进行插入操作。但是要注意每个子数据段的边界问题。在边界上不能重复插入。

 

划分的方法或标准是按照不同的情况而定的。比如，按照时间来分段。