- 博客(4)
- 收藏
- 关注
RSS订阅原创 动态改变storm的并发度
How to change the parallelism of a running topology, 动态的改变并发度Storm支持在不restart topology的情况下, 动态的改变(增减)worker processes的数目和executors的数目, 称为rebalancing.通过Storm web UI, 或者通过storm rebalance命令, 见下面的例子A n...
2019-01-08 10:27:33
168
原创 在跑mr程序时 出现map未跑完就开始跑reduce情况
今天在跑一个mr程序时出现map未跑完就开始跑reduce情况，本来一直以为reduce会在map跑完之后才会跑，后来查看相关资料之后从才知道reduce不一定要在map跑完之后再跑链接：https://blog.youkuaiyun.com/cloudeagle_bupt/article/details/8983435...
2018-12-27 16:55:47
867
转载 高并发大流量系统之限流技术
高并发大流量系统之限流技术[转载]在如今的互联网已经作为社会基础设施的大环境下，层出不穷的营销玩法，一个接着一个的社会热点，以及互联网冰山之下的黑产、刷子的蓬勃发展，更加使得这个场景变的那么的需要去考虑、去顾忌。因为随时都有可能会涌入超出你预期的流量，然后压垮你的系统。那么限流的作用就很显而易见了：只要系统没宕机，系统只是因为资源不够，而无法应对大量的请求，为了保证有限的系统资源能够提供最大化...
2018-12-10 17:14:21
1195
1
原创 使用flume对FTP服务器进行文件的获取解析入库mysql数据库
使用flume对FTP服务器进行文件的获取解析入库mysql数据库flume的基本介绍flume的搭建和启动FTP做source的插件使用自定义sink将数据导入mysql中flume的基本介绍系统描述： Flume是一个分布式的、可靠的、高可用的海量日志采集、聚合和传输的系统。 数据流模型：Source-Channel-Sink。 当 Flume 来源收到事件后，...
2018-09-05 19:15:04
5892
13
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人