python 带账号密码的爬取

最新推荐文章于 2025-06-12 15:41:28 发布

原创

最新推荐文章于 2025-06-12 15:41:28 发布 · 2w 阅读

55 ·

CC 4.0 BY-SA版权

某些网页需要输入账号密码才能进入到特定的页面，比如cdsn登陆之后才能进入自己的博客管理页面。
博客页面url：https://mp.youkuaiyun.com/postlist
登陆的方式有几种，如下具体描述。
假如没有输入用户名密码的原始爬取，代码

import urllib.request

url = "https://mp.youkuaiyun.com/postlist"
headers = {
  
  'User-Agent:': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'}
req = urllib.request.Request(url=url, headers=headers)
content = urllib.request.urlopen(req)

with open('a.html', 'w', encoding='utf-8') as f:
    f.write(content.read()