抓取当当网app数据

对于手机app数据的抓取，首先要明白，手机app的数据是怎么传送到app上的，大多现在都是通过json的数据格式从服务器传给客户端。所以我们只需要借助一些抓包工具，是手机与抓包工具连接，手机---》抓包工具---》服务器。这样我们就可以在这个过程中抓取数据。

1.抓包工具的配置请参考

https://mp.youkuaiyun.com/postedit/86756034

2.抓取当当网app

环境配置好之后，接下来的操作和平时的抓取就一样，最主要的就是找到数据的 接口

# -*- coding: utf-8 -*-
"""
Created on Fri Feb  1 08:00:08 2019

@author: Administrator
"""
import requests
import pymongo
client = pymongo.MongoClient('localhost',27017)
db = client.dangbook
dbCount = db.source

headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'
        }

url = 'http://mapi.dangdang.com/index.php?access-token=&time_code=7cadaa4411f16c812490f952ebebefb1&img_size=b&client_version=9.1.3&action=bang_tushu&union_id=537-100475&timestamp=1549170061&bang_name=newhotsell&permanent_id