
大数据
Like-BC
coding my dream
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
一篇文章搞懂bitmap算法(待更新)
BitMap算法热点什么是BitMap算法问题解法BitMap算法BitMap算法举例简单的排序问题海量数据的查找问题针对第二个问题 热点 BitMap算法,一直是面试的热点问题,当然它也是在海量数据进行快速查找,判重,删除的基本方法。 什么是BitMap算法 问题 在介绍bitmap算法之前,先来看下面几个与bitmap有关的问题 1. 给40亿个不重复的int的整数,没排过序的,然后在给一个...原创 2019-01-31 12:49:11 · 916 阅读 · 0 评论 -
kafka:如何保证消息不丢失不重复
首先要考虑这么几个问题: 消息丢失是什么造成的?(从生产端和消费端两个角度来考虑) 消息重复是什么造成的?(从生产端和消费端两个角度来考虑) 如何保证消息有序? 如果保证消息不重不漏,损失的是什么? 下面是文章详情,这里先简单总结一下: 消费端重复消费:很容易解决,建立去重表。 消费端丢失数据:也容易解决,关闭自动提交offset,处理完之后受到移位。 生产端重复发送:这个不...转载 2019-02-02 22:13:32 · 5096 阅读 · 0 评论