一个懒虫的博客

最近在做爬虫项目，在浏览器下获取到可以返回json数据的连接，但是使用java.net自带的请求，请求的只有网页源代码，没有json数据，但是在浏览器上可以直接返回json数据。String urlpath = "http://www.xxxx.xxx/xxx?status=2&xxx=xxxx&xxxx=2&xxxx=120"URL url = new URL(urlpath);Buf

（1）InputFormat输入格式：里面定义了getSplits方法，主要将输入的文件分割成逻辑上的多个分片InputSplit，这里面的分片不是真正意义上的分片，只是逻辑上的分片，每个分片同伙输入文件的路径、开始时为止和偏移量三个信息来唯一标识。使用createRecordReader方法去创建一个RecorReader记录读取器，分别读取输入分片中的键值对，交给Map处理：在MapR

缓存是将数据在整个程序生命周期中存储的内存；作用：（1）能够提升获取数据的效率，避免IO读取耗时操作；（2）被大量的读取，更新频率低；（3）经常变化，但是不会被持久化的；方式：使用static关键字开辟内存与搜索时间复杂度为O(1)的HashMap来存储数据提高读取效率；然后实现相应的缓存写入、更新、读取、删除等逻辑；问题：（1）上述提到缓存存活在程序应用的生命周期...

今天有幸听同事讲到蓄水池算法：题目描述：在M个元素的队列中，随机选取k个元素，队列中每个元素的选取是等概率的；证明过程：略https://blog.youkuaiyun.com/alicelmx/article/details/95880727 （在这里转载的其他人的文章，如有侵犯请私聊）使用方向：对数据进行等概率采样；该题目并不是为了证明这个算法，是利用这个算法进行采样；根源分析：此算...