weixin_44039270的博客

system design之大数据前言有一个无限的整数数据流，如何从中随机地抽取k个整数出来？如何计算数据流中不同元素的个数？寻找数据流中出现最多次数的k个元素给定一个无限的整数数据流，如何查询在某个范围内的元素出现的总次数？更正 前言 为了应对微软的面试，然后看了其他老哥整理的博客，自己也整理一遍，当做是理解，侵删。 有一个无限的整数数据流，如何从中随机地抽取k个整数出来？ 这个问题其实还是有点数学的意思在里面的。我们先考虑当k=1的时候，那么如果来一个，咱们就抽这个。如果来俩，那么就有50%的概率，要么

system design之网络爬虫的设计前言大概的实现思路一些考虑去重并发下载网络瓶颈流水线设计IP封禁 前言 之前写过简单的爬虫，现在回过头来看看，那简直是不能更low，许多问题我都没有考虑过。 大概的实现思路 其实实现一个网络爬虫还是很简单的（当然如果你用的是python的话那么会更加简单）。对于算法这一块，主要是使用dfs或者是bfs就能完成操作，然后自己写一下http请求的实现，包括获取网页源码，利用正则表达式解析源码，解析得到想要的网页链接类型等。 我目前就是实现了这么一个完整的流程，只能说，打

system design之key-value存储引擎前言题目描述分析sstable主要结构Data blockFilter blockIndexBlockcompaction操作LevelDB主要结构 前言 最近在准备微软的面试，各位朋友可能有的人不清楚，微软面试是需要考察system design的，基本上是给你一个挺大的设计问题，考察你对这一块的理解程度。 这里我基本上是参考了github上一位老哥的总结：soulmachine，侵删。 题目描述 请设计一个Key-Value存储引擎(Design a