python爬虫爬取京东网页

最新推荐文章于 2024-08-29 23:23:42 发布

原创

最新推荐文章于 2024-08-29 23:23:42 发布 · 5k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫

本文详细介绍了如何利用Python进行京东网站的数据爬取，包括设置请求头、解析HTML、处理反爬策略等关键步骤，旨在帮助读者掌握网络爬虫的基本技能。

import json
import requests
from bs4 import BeautifulSoup

input_name = input('请输入搜索关键字：')

# 获取京东商品前50页的信息，包括名称，价格，图片，商店

def get_jd():
    #循环获得网页url
    for i in range(1, 51):
        #定义请求头
        headers = {
            'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) '
                          'AppleWebKit/537.36 (KHTML, like Gecko) '
                          'Chrome/63.0.3239.132 Safari/537.36',
            'upgrade-insecure-requests': '1',
        }
        url = 'https://search.jd.com/Search?keyword={}&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&page={}'.format(input_name, 2*i-1)
        #获取网页
        html = requests.get(url, headers=headers).content.decode('utf-8')
        #分析网页
        soup = BeautifulSoup(html, 'lxml')
        li_list = soup.find_all('li', class_='gl-item')
        detail_list = []
        for li in li_list:
            #提取需要内容
            image = 'https:' + li.find('div', c