爬虫入门代码简易封装

最新推荐文章于 2023-03-31 12:36:12 发布

尼古拉斯王老五

最新推荐文章于 2023-03-31 12:36:12 发布

阅读量353

点赞数

CC 4.0 BY-SA版权

文章标签：爬虫代码封装

本文链接：https://blog.youkuaiyun.com/youanzuozhaun/article/details/81635860

本文介绍了Python爬虫的基本操作，包括传入URL、设置User-Agent、定义请求头、使用urlopen进行HTTP请求，并封装了一个简单的get和post函数。通过示例代码展示了如何处理请求及错误捕获，返回响应的byte数组。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

from urllib import request,parse
from urllib.error import HTTPError,URLError

def get (url,headers=None):
return urlrequests(url,headers=headers)

def post(url,form,headers=None)
return urlrequests(url,form,headers=headers)

1传入url

2user_agent

3headers

4定义rquest

5urlopen

6返回byte数组

def urlrequests(url,form=None,headers=None):
user_agent=’Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36’
if headers==None:
headers{
‘User_Agent’:user_agent
}
html_bytes=b”
try:
if form:
forms_str=parse.urlencode(form)
form_bytes=form_str.encode(”utf-8)
req=request.Request(url,data=form_bytes,headers=headers)
else:
req=request.Request(url,headers=headers)
response=request.urlopen(req)
html_bayes=response.read()
except HTTPError as e:
print(e)
except URLError as e:
print(e)
return html_bytes

if name==’main’

url='http://baidu.com'
html_bytes=get(url)
print (html_byte)