爬虫基础——示例：登陆github

最新推荐文章于 2025-06-06 10:09:16 发布

weixin_30697239

最新推荐文章于 2025-06-06 10:09:16 发布

阅读量71

点赞数

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/gaosy-math/p/9389540.html

本文介绍了一种使用Python的requests库和BeautifulSoup库实现GitHub自动化登录的方法。首先通过GET请求获取登录页面并解析得到csrf令牌，然后使用POST请求携带用户名、密码及csrf令牌完成登录过程，最后利用获取的cookie访问个人页面。

原理

1. 登陆github，获取csrf，cookie (c1)；

2. 发用post请求登陆，携带用户密码和csrf，cookie（c1），进行授权，并获取cookie（c2）；

3. 把c2更新到c1；

4. 携带c1可以访问后台

方法

import requests
from bs4 import BeautifulSoup

# 第一步  获取 csrf
r1 = requests.get(url="https://github.com/login")
soup = BeautifulSoup(r1.text, features="html.parser")
token= soup.find(name="input", attrs={"name": "authenticity_token"}).attrs.get("value")

r1_cookie = r1.cookies.get_dict()


# 第二步 发送post请求，携带用户和密码，携带cookie，后台进行授权
r2 = requests.post(
    url="https://github.com/session",
    cookies=r1_cookie,
    data={
        'commit': 'Sign in',
        'utf8': '✓',
        'authenticity_token': token,
        'login': 'xxxxxxxxx',
        'password': 'xxxxxxxx',
    }
)
# 根据状态码
# 响应头 location
# 错误提示  判断是否登陆成功

print(r2.status_code)
r2_cookie = r2.cookies.get_dict()
r1_cookie.update(r2_cookie)


# 第三步：范文个人页面，携带cookie

r3 = requests.get(
    url="https://github.com/gaoshao52/SamCRM",
    cookies=r1_cookie
)

print(r3.text)