08python 主函数调用子函数

最新推荐文章于 2025-09-28 01:07:08 发布

原创最新推荐文章于 2025-09-28 01:07:08 发布 · 4.9k 阅读

1 ·

CC 4.0 BY-SA版权

本文介绍了一个简单的Python网页爬虫程序，使用requests库进行网络请求，lxml库解析HTML，以及csv库存储数据。通过循环遍历页面，抓取并打印每页的商品信息。此爬虫适用于初学者理解网页爬虫的基本流程。

import requests
from lxml import etree
import time
import csv
from urllib.request import urlopen, Request
from lxml import etree


def crow_first(n):
    print(n)
    # 定义函数抓取每页前30条商品信息
    # 构造每一页的url变化



if __name__ == '__main__':
    for i in range(1, 10):
        # 下面的print函数主要是为了方便查看当前抓到第几页了
        print('***************************************************')
        try:
            print('   First_Page:   ' + str(i))
            crow_first(i)
            print('   Finish')
        except Exception as e:
            print(e)