爬虫 AJAX加载数据（JSON）

最新推荐文章于 2020-11-24 09:53:48 发布

转载最新推荐文章于 2020-11-24 09:53:48 发布 · 326 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/u/3646781/blog/1592629

文章标签：

#json #爬虫 #python

本文介绍了一种通过Python脚本抓取豆瓣网站上热门影视的JSON数据的方法。使用了urllib2和ssl库来发送请求并忽略了SSL验证，最终获取到了所需的JSON数据。

2019独角兽企业重金招聘Python工程师标准>>>

获取JSON是最简单的，直接输入URL就行了不需要写爬虫。O(∩_∩)O哈哈~
豆瓣电影

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import ssl
import urllib
import urllib2

url = "https://movie.douban.com/j/search_subjects?type=tv&tag=%E7%83%AD%E9%97%A8&sort=recommend"
headers = {
    "Accept": "application/json, text/javascript, */*; q=0.01",
    "X-Requested-With": "XMLHttpRequest",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36",
    "Content-Type": "application/x-www-form-urlencoded; charset=UTF-8",
}
formdate = {"page_limit": "20", "page_start": "0"}
data = urllib.urlencode(formdate)
request = urllib2.Request(url, data=data, headers=headers)
context = ssl._create_unverified_context()  # 忽略SSL安全认证
reponse = urllib2.urlopen(request, context=context)
print reponse.read()

Chrome浏览器按F12