kafka
文章平均质量分 88
mtchy
计算机领域的小菜鸟
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Kafka源码解析(一)core.kafka.server.KafkaServer
简单讲讲kafka的broker启动相关代码。原创 2017-07-19 15:38:33 · 2247 阅读 · 2 评论 -
分布式爬虫架构设计
分布式爬虫架构设计最近又和爬虫干上了,有3000万个搜索关键词,1个关键词搜索结果有多个,每个结果对应一个ID,每个ID的对应的目标页面由多个请求接口返回的json组合而成。1.在架构上使用kafka分发搜索关键词,利用了kafka同一消费组只消费一次的特性。2.利用redis进行id去重。3.在扩展性上利用kafka的consumer balance,实现爬虫进程的可以随时增加减少(当然进程数不应原创 2017-07-10 13:33:01 · 2837 阅读 · 0 评论
分享