网络爬虫学记(一)Requests库

最新推荐文章于 2023-02-09 13:42:00 发布

Infinity343

最新推荐文章于 2023-02-09 13:42:00 发布

阅读量257

点赞数

CC 4.0 BY-SA版权

分类专栏： Python

本文链接：https://blog.youkuaiyun.com/qq_44638724/article/details/97545367

Python 专栏收录该内容

24 篇文章

订阅专栏

Requests库入门

实例：京东商品信息爬取

import requests
try:	
	r = requests.get('https://item.jd.com/100003717483.html')
	r.encoding = r.apparent_encoding
	r.status_code
	print(r.text[:1000])
except :
	print("Error")

爬取亚马逊商品信息

import requests
kv = {"user-agent":"Mozilla/5.0"}
url = "https://www.amazon.cn/gp/product/B01M9A3F2Q/ref=s9_acsd_al_bw_c_x_1_w?pf_rd_m=A1U5RCOVU0NYF2&pf_rd_s=merchandised-search-3&pf_rd_r=PZQ606Z7K5ZSXK47XJ9H&pf_rd_t=101&pf_rd_p=9bfb9c6a-eb8a-43a2-b26d-0939fc900d8e&pf_rd_i=1882011071"
r = requests.get(url, headers = kv)
r.encoding = r.apparent_encoding
print(r.text)

百度搜索关键词提交

在这里插入图片描述

import requests
try:
	kv = {"wd":"python"}
	r = requests.get("http://www.baidu.com/s", params = kv)
	print(r.status_code)
except:
	print('ERROR')

网络图片的爬取和存储

在这里插入图片描述

import requests
url = "http://img0.dili360.com/ga/M00/02/AB/wKgBzFQ26i2AWujSAA_-xvEYLbU441.jpg@!rw9"
path = "word"
r = requests.get(url)
print(r.status_code)
with open(path, "wb") as f:
	f.write(r.content)
f.close()

在这里插入图片描述

IP地址归属地自动查询

在这里插入图片描述

import requests
url = "http://m.ip138.com/ip.asp?ip="
try:
	r = requests.get(url + "202.205.174.122")
	r.encoding = r.apparent_encoding
	print(r.text[-500:])
except:
	print("爬取失败")