
兴趣!
IceStormSpirit
当你还不能写出自己满意的程序时,你就不要去睡觉。
展开
-
知乎爬虫(一)
JAVA爬虫--httpClient模拟发送请求1.项目背景使用JAVA编写的知乎爬虫,根据“轮带逛”这一原理,搜索轮子哥的所有动态,根据关键字来筛选感兴趣的问题。2. Cookie原理HTTP是无状态的面向连接的协议, 为了保持连接状态, 引入了Cookie机制Cookie是http消息头中的一种属性,包括:Cookie名字(N原创 2015-11-13 19:20:48 · 1139 阅读 · 0 评论 -
知乎爬虫(二)
JAVA爬虫--增加多线程爬取1.项目更新由于工作原因,博主从上海飞到了遥远的呼和浩特→_→,继续上一篇文章之后,其实项目一直在更新,但是博客却没有跟上,过了好几个月才更新~我们的项目目前增加了多线程爬取功能,在Initial.java里配置的dayCount和threadNum,来控制爬取的天数和线程数目,比如目前配置的是从当前天数往前爬取100天,分给10个原创 2016-01-12 22:41:27 · 562 阅读 · 0 评论