爬虫脚本参考

在使用过程中会出现库或者模块不存在的时候，需要自己在dos窗口下载即可

import requests,re,time,random,json
from setting import *
from lxml import etree
from openpyxl import workbook

# 1. JD的女装搜索页面地址
url = ''   #请输入url地址

# 2. 保存文件名称
excel_name = "你的最爱.xlsx"

# 准备接受文件
wb = workbook.Workbook()
wb.create_sheet("JD",0)
sheet = wb["JD"]

#访问第一次查找网页
response = get_gen_info(url=url, headers=headers)
tree = etree.HTML(response)

url_list = tree.xpath(tree_path)

if True:
    response = get_info(url=base_url.format(url_list[2]), headers=headers2)
    tree = etree.HTML(response)
    sss = tree.xpath('//ul[@class="parameter2 p-parameter-list"]/li/text()')