纸上得来终觉浅,绝知此事要躬行

之前做的一个功能里有一个耗时操作：处理数据库里对应的记录，然后将每个处理后的结果做个排序。 　　 恕本人小白，刚开始直接用单线程处理！你敢信？！然后60多万条记录，跑了三分钟才出结果！当时我就震惊了，这尼玛要被“刁”的节奏啊。但我并没有什么好的解决方案，便去咨询老大，然后老大直接丢过来一段代码附带几个字

最近一直在优化海量数据(几千万)处理这一块。我使用的是java提供的ExecuterPool线程池来实现的，这几天在研究如何使用生产者和消费者模式去解决类似处理数据的问题，下面是思考与实现的过程与思考。

VW-Crawler背景自己一直对爬虫比较感兴趣，大学的毕业论文也是一个爬虫项目(爬教务处信息，然后做了个Android版教务管理系统，还获得了优秀毕业设计的称号)，自那以后遇到自己感兴趣的网站就会去抓一下。前段时间工作上需要一些JD信息，我就从网上找了个开源的爬虫框架WebMagic，使用简单，易配置，功能也很强大，当然了也有些网站的数据不适合使用。前前后后写了不下十几个，慢慢的就想...

自己在大学的时候就想把学的一些东西整合在一个项目里，对自己也好对别人也好，能用的直接复制过去用，一是对知识点的总结，二是为了不重复造轮子。但是苦于自己懒，慢慢的就忘掉了，前段时间不知道什么原因，突然想起了这件事，就在平时的业余时间整理了一下放在了Github上

使用springboot+vw-crawler轻松抓取优快云的文章有关VW-Cralwer的介绍可以看这里,简单轻便开源的一款Java爬虫框架。下面结合比较流行的框架SpringBoot抓取优快云的数据(有关的Spingboot的使用可以参考这里)配置POM使用Springboot做架构，redis做数据存储，vw-crawler做爬虫模块，最终的pom如下<...