【Python】爬虫-获取五级行政区划(2018)

更新于2019-07-07，不足之处还望批评指正

目前尚存在的问题：

(1)连接重置后尝试重连的问题

(2)字符集为GBK

最终效果（注意字符集）

以下是源码：

# -*- coding: UTF-8 -*-
"""
获取统计用区划代码和城乡划分代码
2018年度
http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2018/
"""
import re
import requests
import time
from bs4 import BeautifulSoup

headers = {
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"
}
f = open('getArea_sql.txt', 'r+')

def getItem(itemData, dataArray, parentRequestUrl, type):
    item = {}
    if(type == 5):
        item['name'] = str(dataArray[2].get_text())
    else:
        item['name'] = str(dataArray[1].get_text())
    # 下一级请求url
    href = re.findall('(