python爬取京东手机配置信息（正则）

最新推荐文章于 2024-02-23 13:38:03 发布

很不简单

最新推荐文章于 2024-02-23 13:38:03 发布

阅读量525

点赞数 1

分类专栏： python 文章标签：爬虫

本文链接：https://blog.youkuaiyun.com/qq_41960265/article/details/92766873

版权

本文介绍如何使用Python结合正则表达式爬取京东网站上的手机配置信息，详细解析爬取过程及关键代码实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

正则

import requests
import re
from bs4 import BeautifulSoup
import time

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'}


def main():
    url='https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&wq=%E6%89%8B%E6%9C%BA&pvid=6d9b66b19bd14681a382b642822d3685'
    resl = requests.get(url, headers=headers)
    if resl.status_code == 200:
        resl.encoding = 'utf-8'
        txt = resl.text

        txt = re.findall(r'<div class="p-img">\s+?<a(.*?)></a>', txt, re.S)
        for txt1 in txt:
            urls = re.findall(r'//.+?html', txt1, re.S)
            urls = 'http:' + urls[0]
            info = requests.get(urls, headers=headers)
            info = info.text
            pinfo &#