愚夫

用hadoop0.20版本做hbase的bulk load测试，发现importtsv的过程出现些问题，关于importtsv网上有很多资料，这里不待言表。先大概表述出现的问题，当使用两步的方式导入数据时，第一步，生成hfile[code="script"]hadoop jar hbase-version.jar importtsv -Dimporttsv.columns=HBAS...

[b]背景[/b] 在这个项目之前，也做过一个准实时的项目，大约延时10分钟左右，但是对业务单位的数据有要求，需要提供数据变化表，采用批量方式抽取，通过仓库调度系统控制任务顺序和数据流向。存在的问题：需要业务方做配合，提供数据变化表（删除，修改，新增）；数据准实时，有10分钟延时；任务有异常的时候，从错误时间补数据需要耗费大量时间且找到数据偏移不容易。所以开始寻求一种通用的实时数据服务平...