python 美团 但有问题

该博客展示了如何使用Python爬虫技术,结合`fake_useragent`库来模拟用户代理,以及`requests`和`BeautifulSoup`库进行网页数据抓取。主要针对青岛地区的私密护理服务,通过Meituan平台获取相关页面信息,实现信息的自动化收集。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

import re
import time
import fake_useragent
import requests
from bs4 import BeautifulSoup
from pymysql import *

# '1=>美容2=>美体3=>美颜4=>美疗5=>母婴6=>产后7=>养肤8=>皮肤9=>护理10=>私密11=>月子12=>减肥13=>瘦身14=>小儿推拿15=>医美16=>护肤17=>孕婴18=>女人19=>女子养生20=>SPA',
city     = 'qingdao'
keywords = '私密'
categoryId = 10
url = 'http://i.meituan.com/s/' + city + '-'+ keywords


def getXml(url):
    mark = True
    xml = ''
    i = 1
    while mark:
        ua = fake_useragent.FakeUserAgent()
        header_info = {'User-Agent': ua.random}

        data = requests.get(url, headers=header_info)
        text = data.text
        xml = BeautifulSoup(text, 'html.parser')
        if len(xml)<1:
            print("++++++++休息了:" + str(5 * i) + "分钟")
            time.sleep(300)
            i = i + 1
            mark = True
        else:
            mark = False
    return xml

xml = getXml(url)
print(xml)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值