zhang_Ming_lu的博客

基本组成爬虫通常分为数据采集（网页下载）、数据处理（网页解析）和数据存储（有用的信息持久化）三个部分。工作流程：设定抓取目标（种子页面/起始页面）并获取网页。当服务器无法访问时，按照指定的重试次数尝试重新下载页面。在需要的时候设置用户代理或隐藏真实IP，否则可能无法访问页面。对获取的页面进行必要的解码操作然后抓取出需要的信息。在获取的页面中通过某种方式（如正则表达式）抽取出页面中的链接信息。对链接...

beautifulSoup安装包pip install beautifulsoup4导入包form bs4 import BeautifulSoup1. 基本用法beautifulSoup得到的是一个 bsObj 我们可以在它的基础上进行获取我们需要的信息 ​ ​ from urllib.request import urlopen from bs4 import Beaut...

分布式爬虫的要点   核心配置： 将调度器的类和去重列表的类替换为 Scrapy-redis 提供的类，在settings.py添加如下设置 # 配置连接Redis REDIS_HOST = REDIS_PORT = REDIS_PASSWORD = ​ # 连接mongodb MONGO_URI = 'mongodb://user:password@127...

通用爬虫 主要时通过继承 CrawlSpider, 定义一些爬去的规则来实现页面的提取 CrawlSpider 它继承自 Spider 类，除了spider的所有方法和属性之外，它还提供了几个特殊的属性 rules 爬取的规则，包含一个或者多个Rule的对象的列表，每个 Rule 对爬取网站的动作都做了定义 parse_start_url 它时一个可以重写的方法，当s...