- 博客(2)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 kafka与storm集成
====什么是storm Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。Storm也可被用于“连续计算”（continuous computation），对数据流做连续查询，在计算时就将结果以流的形式输出给用户。它还可被用于“分布式RPC”，以并行的方式运行昂贵的运算。Storm可以方便地在一个...
2020-02-07 18:00:45
1324
原创 flume采集日志数据到kafka缓存数据
===============一 前言在一个完整的大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一...
2020-02-07 17:14:23
1626
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人