网络爬虫获取地铁人流量数据

任务

学院的C语言课程设计选题为地铁模拟系统，除了实现购票和充值，题目还要求实现车辆调度功能，原本没有想到好的实现形式一直搁置，验收关头发现必要性。
经学长点拨，将其所做的公交车的调度方式进行移植。只需绘制发车时间与抵达终点站时间的线性图即可体现调度功能，并加入真实数据处理更具逼真性。

已有

• 学长传给的公交车运行数据（excel表格）##
• 微博官方账号每日公布昨日流量

过程

分别

1. 用c语言读入数据

C语言读入数据
C语言读入数据（优化版）

• 计划任务

2. 用爬虫爬取微博数据

在多次尝试调用API均失败后，怀一线希望在网上搜寻，一个脚本可以成功运行。
可运行脚本

可通过此文章了解爬取新浪微博网站相关知识。

基础设置

# -*- coding: utf-8 -*-
import  random
import urllib.request
import json
import re

import requests
import time


#定义要爬取的微博ID为武汉地铁运营
id= str(3186945861)#(input("请输入要抓的微博uid:"))

na='a'
#设置代理IP

iplist=['112.228.161.57:8118','125.126.164.21:34592','122.72.18.35:80','163.125.151.124:9999','114.250.25.19:80']

proxy_addr="125.126.164.21:34592"

#定义页面打开函数
def use_proxy(url,proxy_addr):
    req=urllib.request.Request(url)
    req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0")
    proxy=urllib.request.ProxyHandler({
   
   'http':random.choice(iplist)})
    opener=urllib.request.build_opener(proxy,urllib.request.HTTPHandler)
    urllib.request.install_opener(opener)
    data=urllib.request.urlopen(req).read().decode('utf-8','ignore')
    return data
#获取微博主页的containerid，爬取微博内容时需要此id
def get_containerid(