python爬取微信小程序数据,python爬取小程序数据

这篇文章主要介绍了python爬取微信小程序数据，具有一定借鉴价值，需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获，下面让小编带着大家一起了解一下。

Source code download: 本文相关源码

大家好，小编来为大家解答以下问题，python爬取微信小程序数据，如何爬取小程序数据，现在让我们一起来看看吧！

Source code download: 本文相关源码

之前打算做个微信小程序的社区，所以写了爬虫去爬取微信小程序，后面发现做微信小程序没有前途，就把原来的项目废弃了做了现在的网站观点,不过代码放着也是放着，还不如公开让大家用，所以我把代码贴出来，有需要的复制了使用就是了。

#coding:utf-8

__author__ = 'haoning'

#!/usr/bin/env python

import time

import urllib2

import datetime

import requests

import json

import random

import sys

import platform

import uuid

reload(sys)

sys.setdefaultencoding( "utf-8" )

import re

import os

import MySQLdb as mdb

from bs4 import BeautifulSoup

DB_HOST = '127.0.0.1'

DB_USER = 'root'

DB_PASS = 'root'

#init database

conn = mdb.connect(DB_HOST, DB_USER, DB_PASS, 'pybbs-springboot', charset='utf8')

conn.autocommit(False)

curr = conn.cursor()

count=0

how_many=0

base_url='http://www.wechat-cloud.com'

url=base_url+"/index.php?s=/home/article/ajax_get_list.html&category_id={category_id}&page={page}&size={size}"

user_agents = [

'Mozilla/5.0 (Wi