python+request 京东商品信息爬取

王小葵(●—●)

于 2018-05-22 20:46:19 发布

阅读量1.7k

点赞数

分类专栏： Python 文章标签：爬虫 python+request

本文链接：https://blog.youkuaiyun.com/qq_28048569/article/details/80411513

版权

本文介绍如何利用Python的requests库爬取京东网站上的商品信息，详细讲解请求过程、解析HTML以及处理反爬策略，帮助读者掌握基础的网络爬虫技能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

def get_commodity(keyword,page):
    start_url='https://search.jd.com/Search?keyword={}&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&page={}&click=0'.format(str(keyword),str(page))
    jd_data=requests.get(start_url)
    jd_data.encoding='utf8'
    time.sleep(1)
    soup=BeautifulSoup(jd_data.text,"lxml"

最低0.47元/天解锁文章