建议收藏的爬虫模板-爬取京东商品页面

最新推荐文章于 2024-02-25 12:00:00 发布

IT码头

最新推荐文章于 2024-02-25 12:00:00 发布

阅读量634

点赞数

分类专栏： # 菜鸟学爬虫

本文链接：https://blog.youkuaiyun.com/weixin_42075154/article/details/107964424

版权

菜鸟学爬虫专栏收录该内容

3 篇文章

订阅专栏

本文介绍了一种使用Python爬取京东商品信息的方法，通过requests获取网页内容，BeautifulSoup解析HTML，最后将商品名称和价格保存为Excel文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬取京东商品页面

直接上代码

import pandas as pd
import requests
from bs4 import BeautifulSoup
keyword = '手机'
url = 'https://search.jd.com/Search?keyword={}&enc=utf-8&wq={}&pvid=f726ddcc0f0b4f4b9e9be11d39c76dac'.format(keyword, keyword)

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'

}
response = requests.get(url, headers=headers)
print(response.status_code)

soup = BeautifulSoup(response.text, 'lxml')

# select:标签名不加任何修饰，类名前加点，id名前加 #
bodys = soup.select('div#J_goodsList div.gl-i-wrap')
dict = {
    'name': [],
    'price': []
}
for body in bodys:
    dict['name'].append(body.select('div.p-name a em')[0].text)
    dict['price'].append(body.select('div.p-price strong i')[0].text)


pd.DataFrame([dict['name'],dict['price']],index=['name','price']).T.to_excel('./京东商品信息.xlsx', index=False)
# print(pd.DataFrame([dict]))