KobeHoo的博客

1.爬虫的概念　　通过编写程序模拟浏览器操作,让其在互联网爬取/获取数据的过程2.爬虫的分类　　通用爬虫:获取一整张页面的数据(是浏览器"抓取系统"的一个重要组成部分)　　聚焦爬虫:爬取页面中指定的内容(必须建立在通用爬虫的基础上)　　增量式爬虫:通过监测网站数据的更新情况,只怕取最新的数据3.反爬机制　　通过技术手段阻止爬虫程序进行数据的爬取4.反反爬策略　　破解反爬机制的过程- connection:closed 每当访问完数据之后就立即断开...

以下将从处理cookie的两种方式来分析爬取雪球网的新闻数据,一个是手动处理cookie,到源码去抓包,找到他的request header里面的cookie,复制出来封装到headers内;另一个是自动处理cookie,引入模块requests的session,这个方法和requests一样可以发送get和post请求,但是他在发送请求的时候自动携带cookie那么什么情况下我们爬取数据需要用到cookie呢?首先我们要知道cookie他是服务器记录客户端的一种状态,有一些网站的爬取,需要

最近做了一些爬虫的工作，并涉及到了工程的部署和自动化，借此机会整理一下，工程结构如图：image.png工程主要包含4个部分：获取有效代理ip 数据管理 不同任务的spider spider在线调度和管理1.获取有效代理ip代理IP可从国内的几个网站爬取，如西刺。可以肯定免费的代理IP大部分都是不能用的，不然别人为什么还提供付费的(不过事实是很多代理商的付费IP也不稳定，也有很多是不能用)。所以采集回来的代理IP不能直接使用，需要写一个过滤程序去用这些代理访问目标网站，看是.

需要安装的库比较多，可以按照步骤，参看上图理解环境准备scrapy:https://github.com/scrapy/scrapyscrapyd:https://github.com/scrapy/scrapydscrapyd-client:https://github.com/scrapy/scrapyd-clientSpiderKeeper:https://github.com/DormyMo/SpiderKeeper安装pip install scrapy scr...

前言大多数企业都离不开爬虫，爬虫是获取数据的一种有效方式。对搜索引擎来说，爬虫不可或缺；对舆情公司来说，爬虫是基础；对 NLP来说，爬虫可以获取语料；对初创公司来说，爬虫可以获取初始内容。但是爬虫技术纷繁复杂，不同类型的抓取场景会运用到不同的技术。例如，简单的静态页面可以用 HTTP 请求＋HTML 解析器直接搞定；一个动态页面需要用 Puppeteer 或 Selenium等自动化测试工具；有反爬的网站需要用到代理、打码等技术；等等。因此，对爬虫有规模量级要求的企业或个人需要同时处理不同类别的爬虫，这

前言大多数企业都离不开爬虫，爬虫是获取数据的一种有效方式。对搜索引擎来说，爬虫不可或缺；对舆情公司来说，爬虫是基础；对 NLP来说，爬虫可以获取语料；对初创公司来说，爬虫可以获取初始内容。但是爬虫技术纷繁复杂，不同类型的抓取场景会运用到不同的技术。例如，简单的静态页面可以用 HTTP 请求＋HTML 解析器直接搞定；一个动态页面需要用 Puppeteer 或 Selenium等自动化测试工具；有反爬的网站需要用到代理、打码等技术；等等。因此，对爬虫有规模量级要求的企业或个人需要同时处理不同类别的爬虫，这