what_to的博客

网络爬虫之爬虫框架【Scrapy】获取下一页的超链接先下载Scrapy(注意网络)接下俩创建项目scrapy startproject 项目名 抓取的小说名字scrapy crawl xs项目名和路径class XsSpider(scrapy.Spider): name = 'xs' allowed_domains = ['qidian.com'] s...

@[toc](# Python之解析网页(XPath))

网络爬虫之解析网页BeautifulSoupBeautifulSoup的基本用法BeautifulSoup综合案例：爬取“猫眼电影的排行榜”爬取"最好大学网"排行BeautifulSoup的基本用法安装bs4 和 lxmlbs4里面含有 BeautifulSoupfrom bs4 import BeautifulSoup把官网的列子复制过来做案例html_doc = """&l...

Python 网络爬虫之解析网页【正则表达式-re模块】使用re模块进行正则表达式进行验证match单个标签多个标签起别名match 和search()区别贪婪和非贪婪模式用综合案例使用re模块进行正则表达式进行验证match# match("者则表达式","匹配值")（从第一个开始匹配，若第一个不对则不匹配）str = "X_lady@163.com"result = re.match...

Python网络爬虫之动态网页爬取及使用selenium模块爬取使用requests模块爬取动态网页数据使用selenium爬取今日头条新闻评论综合案例使用requests模块爬取动态网页数据"""使用requests模块爬取动态网页数据今日头条：某条新闻的评论信息"""import requests#路径url = "https://www.toutiao.com/api/co...

Python网络爬虫【requests模块】一网络爬虫的概念抓包工具获取静态网页数据网络爬虫的概念网络爬虫（web crawler）又称为网络蜘蛛（web spider）或网络机器人（web robot），另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或蠕虫，同时它也是“物联网”概念的核心之一。网络爬虫本质上是一段计算机程序或脚本，其按照一定的逻辑和算法规则自动地抓取和下载万维网的网页，是...