Python Requests库入门——应用实例-京东商品页面爬取+模拟浏览器爬取信息

最新推荐文章于 2023-09-22 19:30:00 发布

weixin_30363817

最新推荐文章于 2023-09-22 19:30:00 发布

阅读量336

点赞数

CC 4.0 BY-SA版权

文章标签： python

原文链接：http://www.cnblogs.com/wkfvawl/p/9495347.html

本文通过Python爬虫技术抓取京东与亚马逊的商品页面信息，展示了如何使用requests库完成基本的网页请求，并通过设置User-Agent头部信息模拟浏览器访问。

京东商品页面爬取

选择了一款荣耀手机的页面(给华为打广告了，荣耀play真心不错)

1 import requests
2 url = "https://item.jd.com/7479912.html"
3 try:
4      r = requests.get(url)
5      r.raise_for_status()
6      r.encoding = r.apparent_encoding
7      print(r.text[:1000])
8 except:
9      print("爬取失败")

这里给出更改发送信息的头部来模拟浏览器爬取网站信息

import requests
url = "https://www.amazon.cn/gp/product/B01M8L5Z3Y"
try:
     kv={'User-Agent':'Mozilla/5.0'}
     r = requests.get(url,headers=kv)
     r.raise_for_status()
     r.encoding = r.apparent_encoding
     print(r.text[1000:2000])
except:
     print("爬取失败")