qq_33134761-优快云博客

原创网络爬虫项目开发日志（七）: 基于MD5去重树的爬虫设计与优化

--注--本文仅做研究交流用，非工业化标准，各位大神不喜勿喷哈--引言--爬虫系统在面对海量网页数据时，会因为DNS解析以及URL去重而消耗大量的时间，为了更好的改进爬虫的效率，让爬虫在大数据处理时依然拥有良好的性能，我打算使用哈希链表缓存DNS，效率提升2.5~3倍，再将MD5双发以及树结合设计出一种基于MD5的url去重树，理论上使得url去重的空间复杂度相对于普通哈希表缩小60倍

2016-11-22 09:20:19 2243

原创网络爬虫项目开发日志（六）: 基于余弦向量法的Web数据并行爬取

--前言--随着项目的不断进展，爬虫项目所需要爬取的数据种类越来越多，爬取的体量也越来越大，而且更新频率也更快，单机爬取机制肯定是不适用了，日前，偶然从学术领域得知了基于余弦向量法的多机并发爬取策略，在主流的工业界的分布式策略之外，也算是一泓清流了，特此分享一二。--概述-- 本文利用并行计算模型计算节点并行工作以提高处理能力的特点，通过余弦向量将抓取任务分配到适合的计算节

2016-11-17 15:43:46 697

原创网络爬虫项目开发日志（五）: 爬虫协议初探

--前言--常在河边走，哪有不湿鞋有的时候，网络爬取就像串门一样，如果守规矩的话，是需要先打个电话给主人预约一下，或是进门的时候先敲门看看主人是否在家，如果主人允许咱进去，咱再进去，进去后，也不要东摸摸西看看，否则主人是会发飙了，搞不好就会逐客了。--概念--网络爬取领域，也是一样的，也有着通用的规范，称之为机器人协议，这是一个面向计算机网络搜索引擎的，以Robots命名的

2016-11-16 14:26:25 1282

转载网络爬虫项目开发日志（四）：接口篇

一、接口安全问题1. 接口暴露用户隐私信息就相当于在光天化日下裸奔，被看光了描述：程序猿在做业务接口的时候往往没有保护用户隐私的意识，把用户的隐私信息暴露在外面，一旦被人利用起来会给用户带来麻烦，同时被发现会降低平台的信任度；防：用户隐私数据加密，加*号，如用户的相关数据的JSON中有用户手机号，用户邮箱，支付账号，邮寄地址等隐私数据；用户请求接口时需要对其

2016-11-09 09:16:52 1004

原创网络爬虫项目开发日志（三）：爬虫上线准备

经过这段时间的开发，尽管路途不顺畅，但我们还是顺利的上线了爬虫项目的初版，上线的过程也是一波三折，特总结如下：1、技术选型千万要慎重，尤其是在第三方框架的跨平台支持性上需要做好充分的评估，开发人员当初只是在windows平台做的开发，没有在linux平台上验证同样一个技术的可用性，导致到了上线前忍痛割爱，换备选技术方案。例如：我们在开发阶段，开发哥哥选用谷歌的chr

2016-08-28 17:48:44 1368

转载 JDK动态代理 & CgLib 学习总结

今天闲来无事，研究了一下JDK动态代理和CgLib，现总结如下：一、JDK动态代理机制JDK主要会做以下工作：我们查看底层代码实现获悉如下 1、获取target object上所有的接口列表2、确定要生成的代理类的类名，默认为：com.sun.proxy.$ProxyXXXX3、根据需要实现的接口信息，在代码中动态创建该Proxy类的字节码4、将对应的字节码转换为对

2016-07-27 17:10:03 392

原创网络爬虫项目开发日志（二）：爬虫架构设计

网络爬虫项目开发日志（二）：爬虫架构设计本系列的文章纯粹是闲暇中我用来记录开发过程中的点滴，用作以后消遣用的，大神们不喜勿喷

2016-07-26 13:38:40 1942

原创网络爬虫项目开发日志（一）：关于爬虫项目所涉及的领域知识

最近，公司刚刚开启了网络爬虫项目，对于这一陌生领域，我是好奇又惶恐，为了记录爬虫项目开发过程中的点滴，特立此系列微薄。项目已经开启2个月，经过2个月的摸爬滚打，初步总结出了爬虫所涉及的知识领域，1、爬虫机制我们项目大致把爬虫的整个过程做到模块化划分，采用的是开源的webmajic框架，先从负责爬取网页的downloader，到解析网页的processer，到持久化的p

2016-07-14 07:25:38 3636