yycc

内部分享过几次技术，这次是大数据概要性的一些分享，一些PPT制作得比较简单，有纰漏的可以指出下。

flume+kafka+spark stream+hbase做日志收集前言 flume+kafka+spark stream 是目前比较常用的一套大数据消息日志收集管理框架，至于最后是入到Hive或者者Hbase需看不同业务场景，下面以HBase为场景简述下整个配置与搭建流程以及这些框架如此搭配的优点。flume+kafka+spark stream+hbase做日志收集...

前言：Oozie是Hadoop平台上开源的工作流调度引擎，通过hue集成的oozie管理界面，可以清晰地发布/查看/管理相关调度任务，基于此可以完成整个BI中间表，结果表的存储与计算。整体流程如下：文章目录1.oozie资源调度1.1 oozie概览1.2 oozie与spark2整合1.2.1 oozie添加spark2依赖库1.2.2 打包与提交spark2 jar, 创建spark...

一些大数据框架使用，维护，优化经验

BI报表是大数据的一种比较直观的呈现，如何在维护相关BI看板的同时，解耦看板与看板之间在代码上的关联，尽量做到一个基础工程，人人可维护，人人可开发。不多说了，一图胜千言，下图是自己的一点总结。...