python爬取需要登陆的页面

最新推荐文章于 2024-04-17 22:30:51 发布

原创最新推荐文章于 2024-04-17 22:30:51 发布 · 1.1k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#python

Python 专栏收录该内容

6 篇文章

订阅专栏

1、登陆后查看如下信息：
在这里插入图片描述

import urllib.request
import http.cookiejar
import urllib.parse
from urllib.request import urlopen

url="http://xxx.xx.xx.x:8380/xxx/login"
agent='Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'

cookie=http.cookiejar.CookieJar()
opener=urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookie))

headers = {'User-Agent':agent}
postdata=urllib.parse.urlencode({'username':'admin','password':'admin'})
postdata=postdata.encode('UTF-8')

request=urllib.request.Request(url,postdata,headers)
result=opener.open(request)#登陆后的页面
result=opener.open('http://xxx.xx.xx.x:8380/xxxx/xxxx/list')#想要爬取的页面
print(result.read().decode('UTF-8'))