从国家统计局获取最新国家省市区乡村5级行政区域代码名称数据

最新推荐文章于 2022-09-03 14:45:53 发布

原创

最新推荐文章于 2022-09-03 14:45:53 发布 · 1.4k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#1024程序员节

这段代码实现了一个爬虫，从国家统计局网站抓取并存储中国的省、市、县、乡、村五级行政区域数据。通过遍历网页，解析HTML，最终将数据存储到SQLite数据库中。程序处理了异常情况，支持断点续爬，适配了编码问题。

#coding=utf-8
import requests
from bs4 import BeautifulSoup
#import pymysql
import time
import sqlite3
import os 
import _thread
import traceback

class Administrative(object):
    def __init__(self):
        self.db = sqlite3.connect('sqlite3.db',check_same_thread=False)
        sql='DROP TABLE IF EXISTS china;'
        sql2='CREATE TABLE china  (cid INTEGER PRIMARY KEY ,province_name varchar(255),city_code varchar(255),city_name varchar(255),county_code varchar(255),county_name varchar(255),xiang_code varchar(255),xiang_name varchar(255),cun_code varchar(255),cun_name varchar(255) )'
        self.db.execute(sql)
        self.db.execute(sql2)
        
        self.main()
        self.db.close()


    def main(self):
        base_url='http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2019/'
        trs=self.get_response(base_url,'provincetr')
        for tr in trs:#循环每一行
            #datas=[]


            for td in tr:#循环每个省

                if