
实时计算
boyideyt
这个作者很懒,什么都没留下…
展开
-
hadoop离线计算与storm实时计算的细分对比
一、资源调度对比Hadoop MapReduceV2(Yarn) 框架 Hadoop从 0.23.0 版本开始,Hadoop 的 MapReduce 框架完全重构,发生了根本的变化。新的 Hadoop MapReduce 框架命名为 MapReduceV2 或者叫 Yarn。新旧Hadoop计算框架变化参考链接:https://www.ibm.com/developer...原创 2018-08-30 20:48:45 · 1556 阅读 · 0 评论 -
kafka为什么那么快
Kafka 为什么那么快Broker 不同于 Redis 和 MemcacheQ 等内存消息队列,Kafka 的设计是把所有的 Message 都要写入速度低容 量大的硬盘,以此来换取更强的存储能力。实际上,Kafka 使用硬盘并没有带来过多的性能损失,“规规矩矩”的抄了一条“近道”。 首先,说“规规矩矩”是因为 Kafka 在磁盘上只做 Sequence I/O,由于消...转载 2018-08-30 11:19:09 · 1486 阅读 · 0 评论 -
实时计算的消息不丢失机制
目录 Storm消息不丢失 ack 机制如何使用Ack机制如何关闭Ack机制Ack机制基本实现kafka消息不丢失生产者(producer)消费者(consumer)服务器(broker)Storm消息不丢失 ack 机制 Ack机制是storm整个技术体系中非常闪亮的一个创新点。通过Ack机制,spo...转载 2018-09-02 21:39:47 · 436 阅读 · 0 评论 -
Apache Flink自学踩坑
问题1:找不到参数证据$2:typeinformation[(string,string,string)]Flink error: No implicits found for parameter evidence$2: TypeInformation[(String, String, String)]问题1解决:import org.apache.flink.api.sc...原创 2019-08-07 09:27:04 · 9475 阅读 · 9 评论