大数据技术派

数据迁移使用场景 冷热集群数据分类存储,详见上述描述. 集群数据整体搬迁.当公司的业务迅速的发展,导致当前的服务器数量资源出现临时紧张的时候,为了更高效的利用资源,会将原A机房数据整体迁移到B机房的,原因可能是B机房机器多,而且B机房本身开销较A机房成本低些等. 数据的准实时同步.数据的准实时同步与上一点的不同在于第二点可以一次性操作解决,而准实时同步需要定期同步,而且要做到周期内数据基本完全一......

hbase是个比较吃内存的大数据组件，虽然数据存在hdfs中，但是不像mysql或者elasearch那样有索引的优势，只能用内存缓存数据来实现快速存取。 hbase安装时候，通常都需要修改配置文件，默认配置通常是8G内存的配置。 配置文件有问题的话，后果是：hbase集群启动，直接报错，启动失败。所以说，一个好的hbase内存配置，很重要。 数据组hbase好端端的，老是不够，然后非常协调...

没有预分区缺点 首先是热点写，我们总是会往最大的start-key所在的region写东西，因为我们的rowkey总是会比之前的大，并且hbase的是按升序方式排序的。所以写操作总是被定位到无上界的那个region中。 其次，由于写热点，我们总是往最大start-key的region写记录，之前分裂出来的region不会再被写数据，有点被打进冷宫的赶脚，它们都处于半满状态，这样的分布也是不利的...