
笔记
文章平均质量分 92
笔记
IMZwens
这个作者很懒,什么都没留下…
展开
-
记录「 Hbase的数据迁移与bulkload流程与实践」
hbase数据迁移,DistCp(分布式拷贝)是用于大规模集群内部和集群之间拷贝的工具。它使用Map/Reduce实现文件分发,错误处理和恢复,以及报告生成。它把文件和目录的列表作为map任务的输入,每个任务会完成源列表中部分文件的拷贝。我们知道MR程序适合用来处理大批量数据, 其拷贝本质过程是启动一个MR作业,不过DisctCp只有map,没有reducer。在拷贝时,由于要保证文件块的有序性,转换的最小粒度是一个文件,而不像其它MR作业一样可以把文件拆分成多个块启动多个map并行处理。原创 2023-12-21 16:16:45 · 1278 阅读 · 0 评论 -
MySQL数据库Innodb如何在RR级别下解决幻读?
Innodb在可重复读隔离级别下,基于伪MVCC机制实现的快照读(即非阻塞读)来避免让我们看到幻行。读取数据时的非阻塞就是MVCC机制,MVCC代表着多版本并发控制,读不加锁,读写不冲突,极大地增大了系统的并发性能。原创 2024-05-11 00:17:09 · 667 阅读 · 0 评论