【Python笔记】爬虫连续多页爬取数据

原创

已于 2022-07-16 12:42:48 修改 · 3.5k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫

于 2022-07-16 11:24:51 首次发布

本文详细介绍了使用Python进行网络爬虫的步骤，包括获取网页、解析文本、提取所需信息和存储数据，特别关注了如何实现连续多页的数据爬取，为读者提供了一份全面的爬虫教程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬虫四部曲：

1、获取网页；

2、解析网页文本；

3、提取需要的信息；

4、存储信息。

import requests
from lxml import etree
import xlsxwriter
url = 'https://...'
header = {'user-agent': '...'}
flag = True
workbook = xlsxwriter.Workbook('taoche_spider.xlsx')
worksheet = workbook.add_worksheet()
headings = ['**','**','**']
# worksheet.write(0,0,'**')
# worksheet.write(0, 1, '**')
# worksheet.write(0, 2, '**')
worksheet.write_row('A1',headings)
k = 1
while flag:
    html = requests.get(url, headers=header).text
    list = etree.HTML(html)
    lis = list.xpath('//ul[@class="gongge_ul"]/li')
    for selector in lis:
        name = selector.xpath('//div[@class="gongge_main"]/a/span/text()')
        originalprice = selector.xpath('//i[@class="Total brand_col"]/text()')
        unit = selector.xpath('//i[@class="Total brand_col"]/em/text()')
        for i in