
Hadoop
Wenren_Huang
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
简单的日志分析流程
简单的日志分析流程 使用Flume采集数据到HDFS上 对数据进行清洗(可以使用MapReduce程序来清洗) 在Hive上创建相应的表加载清洗后的数据,然后使用Hive对清洗后的数据进行多维分析 把Hive分析得出的结果通过Sqoop导出到Mysql中 提供视图工具供用户使用(可以自己写Web程序来访问Mysql) 备注:这边的日志分析最好通过写shell程序结合定时器crontab来完成。不可能原创 2016-09-16 12:50:15 · 1484 阅读 · 0 评论 -
Hadoop生态圈概要
ZooKeeper ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。 ZooKeeper不仅仅是在Hadoop生态圈中使用,也在其他地方使用,例如阿里的Dubbo。只要是需要分布式应用程序协调服务的地原创 2016-09-16 19:41:09 · 1156 阅读 · 0 评论