python request版模拟登陆appAnnie

最新推荐文章于 2023-06-23 00:31:03 发布

转载最新推荐文章于 2023-06-23 00:31:03 发布 · 459 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/vinzen/p/10181342.html

文章标签：

#python #爬虫 #操作系统

本文介绍了一种使用Python的requests和BeautifulSoup库实现对AppAnnie网站的自动化登录流程，并通过正则表达式从网页中抓取所需数据的方法。详细展示了如何获取并设置csrftoken，构造请求头和数据参数，完成登录操作，以及如何发送GET请求获取特定页面内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# coding: utf-8
import requests
import re
from bs4 import BeautifulSoup
url = 'https://www.appannie.com/account/login/?_ref=header'

session = requests.Session()
session.headers['user-agent'] = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36'
session.get(url)
token = session.cookies.get('csrftoken')
print(token)
header = {
           "User-Agent": 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36',
           "Host": "www.appannie.com",
           'Connection': 'keep-alive',
           'Accept': 'application/json, text/plain,*/*',
           'Accept-Encoding': 'gzip, deflate, sdch',
           'Accept-Language': 'zh-CN,zh;q=0.8',
           'X-NewRelic-ID': 'VwcPUFJXGwEBUlJSDgc=',
           'X-Requested-With': 'XMLHttpRequest',
           }
data = {
    'csrfmiddlewaretoken': token,
    'next': '/dashboard/home/',
    'username': '1@qq.com',
    'password': '1'
}
cookies = session.cookies
r = session.post(url, data)
#url_1 = "https://www.appannie.com/ajax/top-chart/table/?market=google-play&country_code=US&category=1&date=2018-12-26&rank_sorting_type=rank&page_size=100&order_type=desc"
req_1 = session.get(url_1, headers=header, cookies=cookies)

req_1.encoding = 'utf-8'
content = req_1.text
p1 = "apps/google-play/app/(.*?)/details/"
pattern1 = re.compile(p1)
print(pattern1.findall(content))

下面数据是我自己想要的数据，你可以根据正则提取你自己想要的数据