5年整理 爬虫资料

爬虫学习过程中收集的资料
理性使用技术，远离非法业务。

文章中链接是浏览器直接导出，5年的经验积累
适合爬虫入门者能力提升，包含多种数据采集思路

*[

爬虫收藏夹

无头浏览器异闻录 | 岚光 Burp Suite Python网页信息采集：使用PhantomJS采集淘宝天猫商品内容 - 华天清 - 博客园 Selenium WebDriver 处理cookie - to be crazy - 博客园 Selenium WebDriver Tutorial WebElement commands py爬虫 - 专题 - 简书 SeimiCrawler首页、文档和下载 - Java爬虫框架 - 开源中国社区 初窥Scrapy — Scrapy 0.24.1 文档 找高手破解用Encrypt HTML Pro加密的JS文件。急！ WebKit on Windows | WebKit 使用httpclient模拟登录京东帐户并抓取帐户信息 - lonter的爬虫博客 - 博客频道 - youkuaiyun.com Detecting PhantomJS Based Visitors Amazon.com: webkit - Amazon Device Accessories: Kindle Store 全网代理IP_免费代理IP_代理服务器IP_代理IP测试_API接口_高匿代理IP /packer/ 接口测试-browsermob-proxy - D.Q的专栏 - 博客频道 - youkuaiyun.com GitHub - lightbody/browsermob-proxy: A free utility to help web developers watch and manipulate network traffic from their AJAX applications. SeimiCrawler一个敏捷强大的Java爬虫框架 — SeimiCrawler 1.1.0 文档 Sikuli Script - Home Scrapy入门教程 — Scrapy 0.24.1 文档 Scrapyd — Scrapy 1.0.5 documentation Python爬虫入门（1）：综述 - Python - 伯乐在线 Python 爬虫的工具列表 附Github代码下载链接 | 36大数据 scrapy与scrapyd安装_Java123社区 JRex Releases 爬虫 js,flash,ajax网页（JREX） - - ITeye技术网站 loadrunuer破解验证码 - - 博客频道 - youkuaiyun.com 介绍 JDesktop Integration Components 用python分布式地爬虫豆瓣/Twitter - - 博客频道 - youkuaiyun.com PhantomJS | PhantomJS 支付宝钱宝、QQ等Android应用手势密码可被SwipeBack滑动取消_安全_cnBeta.COM Appium小试 - oscarxie - 博客园 Apifier - Documentation 《知网》中文版

爬虫

Bloom Filters by Example 查询利器-bloom-filter详解 | 我自然 Bloom Filter 原理和源码讲解 - hadooper - 博客园 走进搜索引擎（第2版） - 图书 - 当当网 HTML　Parser　2.0　API　文档--JavaEE开源博客－阿Q 互联网信息自动获取与智能分析技术在新媒体..._百度文库 Java网页数据采集器[上篇-数据采集] - SilverSky(SoFlash) - 博客园 单例模式_百度百科 开源网络爬虫介绍及其比较_h4ckseven的空间_百度空间 Heritrix: Internet Archive Web Crawler - Browse /archive-crawler (heritrix 1.x)/1.14.4 at SourceForge.net heritrix 下载、安装、配置、以及简单开发 - Tonny - ITeye技术网站 Heritrix的安装与配置 （最新版 已测试通过）_刘启元_百度空间 33款可用来抓数据的开源爬虫软件工具 | 36大数据 amir20/phantomjs-node: PhantomJS integration module for NodeJS Java Socket 编写的 HTTP 服务器应用_逍遥乡--过儿的空间_百度空间 deduplication-detecting - 文档去重功能是为了解决搜索引擎的文档语义重复的问题，方法是多重哈希下的语义指纹算法。 - Google Project Hosting httpclient的cookie问题-优快云论坛-youkuaiyun.com-中国最大的IT技术社区 Cola：一个分布式爬虫框架 - 残阳似血的博客 HttpClient的基础应用 - Red Star of Sleep's Blog - ITeye技术网站 HttpClient模拟登陆的简单例子 - NealCai - ITeye技术网站 使用httpclient模拟登录 - 开源中国社区 如何使用HttpClient认证机制 - 浙林龙哥 - 博客园 Java 实现程序运行状态监控 之我的思路（守护进程） - 编程小记 - BlogJava 网络爬虫类HttpHelper-苏飞工作室作品专区-苏飞论坛 花瓣网_发现、采集你喜欢的一切 HttpClient的基础应用 - Red Star of Sleep's Blog - ITeye技术网站 利用httpclient 模拟登录，获取登录后信息数据 - chenzenan的专栏 - 博客频道 - youkuaiyun.com Beautiful Soup: We called him Tortoise because he taught us. 服务器中shell调用java类 - arsenic的专栏 - 博客频道 - youkuaiyun.com Majestic-12 : Projects : C# HTML parser (.NET) Installation — CasperJS 1.1.0-DEV documentation htmlunit入门 - liangtee的个人页面 - 开源中国社区 和我一起学 Selenium WebDriver（1）——入门篇 - zTree Blog - ITeye技术网站 CyberNeko HTML Parser download | SourceForge.net 在http上遇到了些问题，对于下拉框的内容该怎么设置访问参数才能模拟登陆？ - 开源中国社区 hadoop使用（三） - skyme - 博客园 HttpWebRequest通过代理如何下载没有后缀的图片-优快云论坛-youkuaiyun.com-中国最大的IT技术社区 Related Projects | PhantomJS 如何让 htmlunit 执行 javascript 时，不下载整个页面，而只返回url - YiQiang Zhang's BLOG - 博客频道 - youkuaiyun.com JAVA中几种读取文件字符串的效率哪个比较高？-优快云论坛-优快云 python之scrapy入门教程 - 南宁-小六子 - 博客园 专栏：Python爬虫入门教程 - 博客频道 - youkuaiyun.com Training Kit (Exam 70-462) Administering Microsoft SQL Server 2012 Databases - Free Download eBook - pdf Source Checkout - deduplication-detecting - 文档去重功能是为了解决搜索引擎的文档语义重复的问题，方法是多重哈希下的语义指纹算法。 - Google Project Hosting 如何利用socket进行HTTP访问 - wbczyh的专栏 - 博客频道 - 优快云 Consulting | ScraperWiki 相似文档查找算法之 simHash 简介及其 java 实现 - leejun_2005的个人页面 - 开源中国社区 模拟ajax实现网络爬虫——HtmlUnit - MiniBu - 开源中国社区 83款网络爬虫开源软件 - 好工具站长分享平台 WebMagic 海量数据相似度计算之simhash短文本查找 - Lanceyan - 博客频道 - youkuaiyun.com Elasticsearch.org Overview | Elasticsearch 83款 网络爬虫开源软件 - cy163 - 博客园 Java网络爬虫多线程实现_非标准IT女_新浪博客 多正则表达式匹配的应用 | 奇简软件（北京）有限公司 HTTP协议详解（真的很经典） - Hundre - 博客园 如何设计一个定向Web爬虫？ - 知乎 Heritrix1.14源码分析（12） Heritrix的控制中心(大脑)CrawlController - 梁江江 - 博客频道 - youkuaiyun.com htmlcleaner使用及xpath语法初探 - reesun的专栏 - 博客频道 - youkuaiyun.com Majestic-12 : Projects : C# HTML parser (.NET) 01_爬虫_crawler - 随笔分类 - cphmvp - 博客园

net爬虫

WebBrowser控件使用详解 - 柠檬隐士 - 博客园 WebBrowser控件使用技巧分享 - 斯克迪亚 - 博客园 C# WinForm WebBrowser 资料_百度文库 WebBrowser页面与WinForm交互技巧 - wonsoft的专栏 - 博客频道 - youkuaiyun.com c# WebBrowser获取cookie - 宁静.致远 - 博客园

Socket

TCP-IP、Http、Socket的区别_百度经验

网页解析

HTMLParser使用 - loveyakamoz - 博客园 使用HTMLParser提取新闻的例子 - 开源中国社区

The NTLM Authentication Protocol and Security Support Provider spray | Introduction » What is spray?

] ]

附件：