Profile_Day03:企业级360°全方位用户画像

第一节内容:业务数据迁移
如何将用户相关业务数据从MySQL数据表迁移到HBASE数据库中

• 方式一SQOOP直接导入数据,简单,并行导入
• 方式二:MapReduce程序
  • 1.hbase数据库提供工具类: ImportTsv
  • 2,自己编写MapReduce程序,灵活性大,难度较大
• 方式三:Spark程序
  针对海量数据批量数据加载至HBase表时,推荐使用Bulkload方式加载,比较Put方式:
  • 1,put方式插入数据:put --> WAL(预写日志) -->memstore(内存) --> storeFile, 当数量较多时,此种方式给HBase集群带来性能压力.
  • Bulkload方式插入数据:data -> HFile文件中,HFile是HBase数据库底层数据存储文件,直接放入Region数据目录即可
    • 批量Bulkload加载数据至HBase表时,首先要将MySql表的数据daoruHDFS(Hive表中)

第二方面内容:标签模型应用调度
使用Oozie提供java Client API 调度模型执行每一个workFlow,调度器Coore调度器

• oozie job类型: 工作流WorkFlow,调度Coordinator,批任务集Bundle
  
• Oozie核心组件工作流WorkFlow组成:工作流中每个Action Node运行,需要启动MapReduce任务组成.