获取全国统计用区划代码和城乡划分代码并写入数据库

原创 已于 2023-03-22 14:16:29 修改 · 1.7k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库 #mysql

于 2022-11-23 22:14:59 首次发布

背景：业务需要全国省市区的划分以及3级级联，正好想起2018年曾经抓取过国家统计局网站的去全国统计用区划代码和城乡划分代码，原资源的地址：2018年全国统计用区划代码和城乡划分代码.sql-MySQL文档类资源-优快云下载

看到2021年已经更新，正好拿原来的代码看看是否还能跑。

代码测试：1、网站由原来的gbk转换为utf-8

                   2、抓取过程中会经常连接失败导致

                   3、失败后无法从失败处继续

那为了能顺利完成任务，需要对原有代码进行改造优化。

步骤如下： 

1、目标url：2021年统计用区划代码和城乡划分代码

据粉丝反馈最新的url：2022年统计用区划代码和城乡划分代码 

2、mysql 表结构

 SET FOREIGN_KEY_CHECKS=0;

-- ----------------------------
-- Table structure for tab_citys
-- ----------------------------
DROP TABLE IF EXISTS `tab_citys`;
CREATE TABLE `tab_citys` (
  `id` int(11) NOT NULL AUTO_INCREMENT comment '自动id',
  `parent_id` int(11) DEFAULT NULL comment '父id',
  `city_name_zh` varchar(20) NOT NULL comment '名称',
  `vcode` varchar(20) DEFAULT NULL  comment '城乡划分代码',
  `city_level` int(11) NOT NULL comment '级别，共五级，1省2城市3区4街道5居委会',
  `city_code` char(12) NOT NULL comment '区划代码',
  `next_url` char(200) NOT NULL comment '下一级的url',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

3、原则：

   1）从第一级开始，依次抓取直到第五级，依次往复迭代，直接完成。

   2）如果中途失败，从mysql中读取上次写入最后一条记录处，继续开始

   3）防止多次连接导致，服务器判断为爬虫，ip禁用。

4、python 核心代码

import importlib
import sys
import time
import random
import MySQLdb
importlib.reload(sys)
import requests
import lxml.etree as etree

import os


UA_LIST = [
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
    "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
    "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
    "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
    "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
    "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
    "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
    "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
    "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
]
class chinese_city():
    # 初始化函数
    def __init__(self):
        self.baseUrl = 'http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2021/index.html'
        self.base = 'http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2021/'
        self.conn = MySQLdb.connect(host="127.0.0.1", port=3306, user="root", passwd="***", db="test", charset='utf8')
        self.cur = self.conn.cursor()
        self.trdic = {
            1: '//tr[@class="provincetr"]',
            2: '//tr[@class="citytr"]',
            3: '//tr[@class="countytr"]',
            4: '//tr[@class="towntr"]',
            5: '//tr[@class="villagetr"]'
        }
    def __del__(self):
        if self.cur:
            self.cur.close()
        if self.conn:
            self.conn.close()

    @staticmethod
    def log(log_str):
        t = time.strftime(r"%Y-%m-%d %H:%M:%S", time.localtime())
        print("[%s]%s" % (t, log_str))

    def get_now_time(self):
        """
        获取当前日期时间
        :return:当前日期时间
        """
        now = time.localtime()
        now_time = time.strftime("%Y-%m-%d %H:%M:%S", now)
        return now_time

    def crawl_page(self,url):
        ''' 爬行政区划代码公布页 '''
        self.log(f"crawling...{url}")
        headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:71.0) Gecko/20100101 Firefox/71.0',
                   'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'}
        flag = True

        response = requests.get(url, headers=headers)
        response.encoding = 'utf-8'  # 这里添加一行
        text = response.text
        time.sleep(2)
        return text

    #解析省页，返回list
    def parseProvince(self):
        html = self.crawl_page(self.baseUrl)
        tree = etree.HTML(html, parser=etree.HTMLParser(encoding='utf-8'))
        nodes = tree.xpath('//tr[@class="provincetr"]')
        id = 1
        values = []
        for node in nodes:
            items = node.xpath('./td')
            for item in items:
                value = {}
                nexturl = item.xpath('./a/@href')
                province = item.xpath('./a/text()')
                self.log(province)
                value['url'] = self.base + "".join(nexturl)
                value['name'] = "".join(province)
                value['vcode'] = ""
                value['code'] = 0
                value['pid'] = 0
                value['id'] = id
                value['level'] = 1
                self.log(repr(value['name']))
                id = id + 1
                last_id = self.insert_to_db(value)
                value['id'] = last_id
                values.append(value)
                self.log(value)
        return values

    #根据trid 解析子页
    def parse(self,trid, pid, url):
        if url.strip() == '':
            return None
        # url_prefix+url
        html = self.crawl_page(url)
        tree = etree.HTML(html, parser=etree.HTMLParser(encoding='utf-8'))
        nodes = tree.xpath(self.trdic.get(trid))
        path = os.path.basename(url)
        base_url = url.replace(path, '')
        id = 1
        values = []
        # 多个城市
        for node in nodes:
            value = {}
            nexturl = node.xpath('./td[1]/a/@href')
            if len(nexturl) == 0:
                nexturl = ''
            code = node.xpath('./td[1]/a/text()')
            if len(code) == 0:
                code = node.xpath('./td[1]/text()')
            name = node.xpath('./td[2]/a/text()')
            if len(name) == 0:
                name = node.xpath('./td[2]/text()')
            value['code'] = "".join(code)
            urltemp = "".join(nexturl)
            if len(urltemp) != 0:
                value['url'] = base_url + "".join(nexturl)
            else:
                value['url'] = ''
            value['name'] = "".join(name)
            value['vcode'] = ""
            self.log(repr(value['name']))
            self.log(value['url'])
            value['id'] = id
            value['pid'] = pid
            value['level'] = trid
            id = id + 1
            last_id = self.insert_to_db(value)
            value['id'] = last_id
            values.append(value)
            self.log(value)
        return values

    #解析社区页
    def parseVillager(self,trid, pid, url):
        html = self.crawl_page(url)
        tree = etree.HTML(html, parser=etree.HTMLParser(encoding='utf-8'))
        nodes = tree.xpath(self.trdic.get(trid))
        id = 1
        values = []
        # 多个城市
        for node in nodes:
            value = {}
            nexturl = node.xpath('./td[1]/a/@href')
            code = node.xpath('./td[1]/text()')
            vcode = node.xpath('./td[2]/text()')
            name = node.xpath('./td[3]/text()')
            value['code'] = "".join(code)
            value['url'] = "".join(nexturl)
            value['name'] = "".join(name)
            value['vcode'] = "".join(vcode)
            self.log(repr(value['name']))
            value['id'] = id
            value['pid'] = pid
            value['level'] = trid
            values.append(value)
            id = id + 1
            last_id = self.insert_to_db(value)
            value['id'] = last_id
            values.append(value)
            self.log(value)

        return values

    #插入数据库
    def insert_to_db(self,taobao):
        # return 0
        param = []
        lastid = 0
        try:
            sql = 'INSERT INTO tab_china_citys values(%s,%s,%s,%s,%s, %s,%s)'
            param = (0, taobao.get("pid"), taobao.get("name"), taobao.get("vcode"), taobao.get("level"), taobao.get("code"), taobao.get("url"))
            self.cur.execute(sql, param)
            lastid = self.cur.lastrowid
            self.conn.commit()
        except Exception as e:
            self.log(e)
            self.conn.rollback()
        return lastid

    #从头执行解析
    def parseChineseCity(self):
        flag = 1
        city_flag = 0;
        count_flag = 0
        town_flag = 0
        #先从数据库中获取省份数据
        values = self.parseProvince()
        略

if __name__ == '__main__':
    chinese_city = chinese_city()
    chinese_city.parseChineseCity()

若有需要完整代码或者mysql 导入脚本，请私我。

附上mysql 下载地址：

链接：https://pan.baidu.com/s/1JX0sd6Gq2bivp2wXNYeJSA?pwd=YYDS 
提取码：YYDS

朋友们可以自由下载

80行Python代码搞定全国区划代码
k15778864599的博客
09-23 1812
在网站建设中一般会用到全国行政区域划分，以便于做区域数据分析。下面我们用 Python 来爬取行政区域数据，数据来源为比较权威的国家统计局。爬取的页面为2020年统计用区划代码和城乡划分代码。这里有个疑问，为啥统计局只提供了网页版呢？提供文件版岂不是更方便大众。欢迎了解的小伙伴给我留言。
2016年统计用区划代码和城乡划分代码(最新，5级，截止2016年07月31日) sql/excel
03-06
国家统计局 2017-05-16 发布的最新2016年统计用区划代码和城乡划分代码(截止2016年07月31日) ； 基于国家统计局http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2016/index.html的全国行政区域划分（省、市、县、乡、村），附件中包含了完整数据的MySQL脚本和各省的详细数据（xlsx）。如有需要可根据具体需求处理相关数据。
2019年全国统计用区划代码和城乡划分代码.sql
04-01
关于更新全国统计用区划代码和城乡划分代码的公告 　　为更好满足2020年常规统计调查和专项调查的需要，国家统计局组织开展了2019年度统计用区划代码和城乡划分代码更新维护工作，调查时点为2019年10月31日。目前，已完成更新维护工作,现予公布。 　　2019年统计用区划代码和城乡划分代码依据国务院批复同意的《关于统计上划分城乡的规定》（国函〔2008〕60号）及国家统计局印发的《统计用区划代码和城乡划分代码编制规则》（国统字〔2009〕91号）编制。 　　此次发布内容为2019年全国统计用区划代码（12位）和城乡分类代码（3位），地域范围为国家统计局开展统计调查的全国31个省、自治区、直辖市，未包括我国台湾省、香港特别行政区、澳门特别行政区。 　　《关于统计上划分城乡的规定》指出：“本规定作为统计上划分城乡的依据，不改变现有的行政区划、隶属关系、管理权限和机构编制，以及土地规划、城乡规划等有关规定”。统计用区划代码和城乡划分代码，在统计工作中应当使用，需要在其他工作中使用时，请务必结合有关实际情况。
2019年全国统计用区划代码和城乡划分代码.db
04-01
关于更新全国统计用区划代码和城乡划分代码的公告 　　为更好满足2020年常规统计调查和专项调查的需要，国家统计局组织开展了2019年度统计用区划代码和城乡划分代码更新维护工作，调查时点为2019年10月31日。目前，已完成更新维护工作,现予公布。 　　2019年统计用区划代码和城乡划分代码依据国务院批复同意的《关于统计上划分城乡的规定》（国函〔2008〕60号）及国家统计局印发的《统计用区划代码和城乡划分代码编制规则》（国统字〔2009〕91号）编制。 　　此次发布内容为2019年全国统计用区划代码（12位）和城乡分类代码（3位），地域范围为国家统计局开展统计调查的全国31个省、自治区、直辖市，未包括我国台湾省、香港特别行政区、澳门特别行政区。 　　《关于统计上划分城乡的规定》指出：“本规定作为统计上划分城乡的依据，不改变现有的行政区划、隶属关系、管理权限和机构编制，以及土地规划、城乡规划等有关规定”。统计用区划代码和城乡划分代码，在统计工作中应当使用，需要在其他工作中使用时，请务必结合有关实际情况。
areacode:中国国家统计局地址数据
03-08
区号简介 地区代码是用于抓取国家统计局地址数据的爬虫程序，日常项目中很多地方都需要用到地址数据，目前全国地址数据由国家统计局发布，包含：省，市/州，区县，乡镇，村等5个等级数据，共计约70万条。 程序由Python编写，推荐使用Python3 配置与运行 安装依赖 pip3 install requests pip3 install bs4 配置数据库表名 默认表称为areacode2020，如果需要改成其他表名，替换spiders.py文件中的areacode2020改成你的表名。 保存的文件 最后生成SQL插入语句保存的文件名和路径位于当前目录下的数据目录中，替代文件包为：areacode2020-all.sql，如需修改，位于31行： saveFileName = "data/areacode2020-all.sql" 运行 python3 spiders.py 数据库表一级信息
区划代码和城乡划分代码
liu201liu的专栏
01-29 2550
区划代码和城乡划分代码的数据，包含省直辖市、地级市、区县、城镇街道、乡村社区的信息
python 爬取全国统计用区划代码和城乡划分代码
qq_36947168的博客
12-28 1450
感谢大佬的爬虫代码，稍微修改了一下，目前只爬取了2019年的数据，不知道什么原因，总共运行了4天左右才爬取完毕。 有能力的可以自己修改代码自己运行，想省事的可以直接下载本人爬取好的数据。 链接：https://pan.baidu.com/s/1x4AfITEVaYPp2CRIyLG0jg 提取码：rauu ...
我要实现数据库// 省 自治区 直辖市 // 地州市 // 县 市 // 乡 镇 // 社区、村委会， 现获取到每一条数据是struct CXHFCODE { //行政区划代码 CString xzqhdm; // 行政区划名称 CString xzqhmc; // 行政区划全称 CString xzqhqc; // 行政区划级别 CString xzqhjb; // 省直辖市代码 CString szxsdm; // 省直辖市名称 CString szxsmc; // 市级代码 CString sjdm; // 市级名称 CString sjmc; // 区级代码 CString qjdm; // 区级名称 CString qjmc; // 镇街道代码 CString zjddm; // 镇街道名称 CString zjdmc; // 村居委会代码 CString cjwhdm; // 村居委会名称 CString cjwhmc; // 城乡划分代码 CString cxhfdm; }; 请问用 std::vector<CXHFCODE> cxhfcodeVec_;还是用std::map<CString, std::map<CString, std::map<CString, std::map<CString, std::map<CString, std:: vector<CXHFCODE>>>>>> regions_;更方便读写数据库进行管理
07-12
它适合一次性批量写入数据库，尤其是在数据量大、操作以插入和遍历为主的情况下。 然而，如果需要根据层级关系快速检索和管理数据（如通过省名查找其下属所有市，再由市名查找区县等），则嵌套的 `std::map` 更具...
现在我是要初始化读取数据 写入到数据库当中，然后方便增删改查
07-11
### 写入数据库 若需将数据持久化到数据库，可使用 SQL 插入语句将 `std::map` 中的数据写入关系型数据库。以 SQLite 为例，可使用如下方式插入记录： ```cpp #include void writeToDatabase(const std::map, ...
void CRuoHaiUrbanRuralDivisionCode::CreateTable() { const char* path = DbFilePath_; sqlite3* db = NULL; // 数据库的指针 CHECKZERO(sqlite3_open(path, &db)); CHECKZERO(sqlite3_exec(db, "PRAGMA synchronous = OFF", 0, 0, 0)); char* ErrorrMsg = NULL; // 错误信息 // PRIMARY KEY(X坐标, Y坐标,Z坐标)设置联合主键只要XYZ相同就不会写入 CString createStr = _T("CREATE TABLE IF NOT EXISTS ") + TableName_ + _T("行政区划代码 TEXT,行政区划名称 TEXT,行政区划全称 TEXT,行政区划级别 TEXT,省直辖市代码 TEXT,省直辖市名称 TEXT,市级代码 TEXT,市级名称 TEXT,区级代码 TEXT,区级名称 TEXT,镇街道代码 TEXT,镇街道名称 TEXT,村居委会代码 TEXT,村居委会名称 TEXT,城乡划分代码 TEXT);"); char* createChStr = CStringToUtf8(createStr); int ret = sqlite3_exec(db, createChStr, 0, 0, &ErrorrMsg); if (ret == SQLITE_ERROR) { printf("ret:%d %s\n", ret, ErrorrMsg); // 基类里面关闭了 sqlite3_free(ErrorrMsg); sqlite3_free(createChStr); CHECKZERO(sqlite3_close(db)); } // 执行准备 sqlite3_stmt* pPrepare = NULL; // 不存在就插入OR IGNORE 不存在就更新OR REPLACE CString InsertStr = _T("INSERT OR IGNORE INTO ") + TableName_ + _T("(行政区划代码, 行政区划名称, 行政区划全称, 行政区划级别, 省直辖市代码, 省直辖市名称, 市级代码, 市级名称, 区级代码, 区级名称, 镇街道代码, 镇街道名称, 村居委会代码, 村居委会名称, 城乡划分代码) VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?);"); DWORD startTime, endTime; startTime = GetTickCount(); char* InsertChStr = CStringToUtf8(InsertStr); const char* sql = InsertChStr; CHECKZERO(sqlite3_prepare_v2(db, sql, strlen(sql), &pPrepare, 0)); CHECKZERO(sqlite3_exec(db, "BEGIN", 0, 0, 0)); for (int i = 0; i < cxhfcodeVec_.size(); i++) { CHECKZERO(sqlite3_reset(pPrepare)); //CHECKZERO(sqlite3_bind_int(pPrepare, 1, 0)); //CHECKZERO(sqlite3_bind_int(pPrepare, 2, 1)); CXHFCODE cxhfcode = cxhfcodeVec_.at(i); // 将值绑定到相应的参数上 //行政区划代码 CHECKZERO(sqlite3_bind_text(pPrepare, 1, CStringToUtf8(cxhfcode.xzqhdm), -1, SQLITE_STATIC)); // 行政区划名称 CHECKZERO(sqlite3_bind_text(pPrepare, 2, CStringToUtf8(cxhfcode.xzqhmc), -1, SQLITE_STATIC)); // 行政区划全称 CHECKZERO(sqlite3_bind_text(pPrepare, 3, CStringToUtf8(cxhfcode.xzqhqc), -1, SQLITE_STATIC)); // 行政区划级别 CHECKZERO(sqlite3_bind_text(pPrepare, 4,CStringToUtf8(cxhfcode.xzqhjb), -1, SQLITE_STATIC)); // 省直辖市代码 CHECKZERO(sqlite3_bind_text(pPrepare, 5, CStringToUtf8(cxhfcode.szxsdm), -1, SQLITE_STATIC)); // 省直辖市名称 CHECKZERO(sqlite3_bind_text(pPrepare, 6, CStringToUtf8(cxhfcode.szxsmc), -1, SQLITE_STATIC)); // 市级代码 CHECKZERO(sqlite3_bind_text(pPrepare, 7, CStringToUtf8(cxhfcode.sjdm), -1, SQLITE_STATIC)); // 市级名称 CHECKZERO(sqlite3_bind_text(pPrepare, 8, CStringToUtf8(cxhfcode.sjmc), -1, SQLITE_STATIC)); // 区级代码 CHECKZERO(sqlite3_bind_text(pPrepare, 9, CStringToUtf8(cxhfcode.qjdm), -1, SQLITE_STATIC)); // 区级名称 CHECKZERO(sqlite3_bind_text(pPrepare, 10, CStringToUtf8(cxhfcode.qjmc), -1, SQLITE_STATIC)); // 镇街道代码 CHECKZERO(sqlite3_bind_text(pPrepare, 11, CStringToUtf8(cxhfcode.zjddm), -1, SQLITE_STATIC)); // 镇街道名称 CHECKZERO(sqlite3_bind_text(pPrepare, 12, CStringToUtf8(cxhfcode.zjdmc), -1, SQLITE_STATIC)); // 村居委会代码 CHECKZERO(sqlite3_bind_text(pPrepare, 13, CStringToUtf8(cxhfcode.cjwhdm), -1, SQLITE_STATIC)); // 村居委会名称 CHECKZERO(sqlite3_bind_text(pPrepare, 14, CStringToUtf8(cxhfcode.cjwhmc), -1, SQLITE_STATIC)); // 城乡划分代码 CHECKZERO(sqlite3_bind_text(pPrepare, 15, CStringToUtf8(cxhfcode.cxhfdm), -1, SQLITE_STATIC)); int err = sqlite3_step(pPrepare); assert(SQLITE_DONE == err); } CHECKZERO(sqlite3_exec(db, "COMMIT", 0, 0, 0)); CHECKZERO(sqlite3_finalize(pPrepare)); // 释放 // 导出 //CHECKZERO(sqlite3_exec(db, "VACUUM INTO 'out.db3';", 0, 0, 0)); sqlite3_free(ErrorrMsg); sqlite3_free(createChStr); CHECKZERO(sqlite3_close(db)); endTime = GetTickCount() - startTime; acutPrintf(_T("\n 写入数据库用时 : %d 毫秒"), endTime); } 能否把这个函数改成 CREATE TABLE Province ( id INT PRIMARY KEY, name VARCHAR(255) NOT NULL ); CREATE TABLE City ( id INT PRIMARY KEY, name VARCHAR(255) NOT NULL, province_id INT, FOREIGN KEY (province_id) REFERENCES Province(id) ); CREATE TABLE District ( id INT PRIMARY KEY, name VARCHAR(255) NOT NULL, city_id INT, FOREIGN KEY (city_id) REFERENCES City(id) ); CREATE TABLE Street ( id INT PRIMARY KEY, name VARCHAR(255) NOT NULL, district_id INT, FOREIGN KEY (district_id) REFERENCES District(id) ); CREATE TABLE Community ( id INT PRIMARY KEY, name VARCHAR(255) NOT NULL, street_id INT, FOREIGN KEY (street_id) REFERENCES Street(id) ); 这几种关系型数据库
07-11
为了将现有行政区划代码的存储方式从单一表结构改为使用 Province、City、District、Street 和 Community 的关系型数据库结构，需要进行如下设计： - **Province 表**：用于存储省份信息。包含字段 `id`（主键）和 ...
struct CXHFCODE { //行政区划代码 CString xzqhdm; // 行政区划名称 CString xzqhmc; // 行政区划全称 CString xzqhqc; // 行政区划级别 CString xzqhjb; // 省直辖市代码 CString szxsdm; // 省直辖市名称 CString szxsmc; // 市级代码 CString sjdm; // 市级名称 CString sjmc; // 区级代码 CString qjdm; // 区级名称 CString qjmc; // 镇街道代码 CString zjddm; // 镇街道名称 CString zjdmc; // 村居委会代码 CString cjwhdm; // 村居委会名称 CString cjwhmc; // 城乡划分代码 CString cxhfdm; }; 我的想法是读取文件获取到 std::vector<CXHFCODE> 或者 std::map<CString, std::map<CString, std::map<CString, std::map<CString, std::map<CString, std:: vector<CXHFCODE>>>>>> regions_; 我读取文件是这样写的， void CRuoHaiAdministrativeDivisionDB::readExcelTable() { // 获取工作表 libxl::Sheet* sheet = libxlbook_->getSheet(0);// 读取第一个工作表 if (!sheet) { std::cerr << "无法获取工作表" << std::endl; libxlbook_->release(); return; } // 读取数据并插入到数据库 for (int row = 1; row <= sheet->lastRow(); ++row) { CXHFCODE data; // 读取A-O列（索引从0开始） for (int col = 0; col < 15; ++col) { // 0-A到14-O CString value = sheet->readStr(row, col); if (value) { // 在这里根据需求解析A-O列内容 switch (col) { case 0: { //行政区划代码 data.xzqhdm = value; }break; case 1: { // 行政区划名称 data.xzqhmc = value; }break; case 2: { // 行政区划全称 data.xzqhqc = value; }break; case 3: { // 行政区划级别 data.xzqhjb = value; }break; case 4: { // 省直辖市代码 data.szxsdm = value; }break; case 5: { // 省直辖市名称 data.szxsmc = value; }break; case 6: { // 市级代码 data.sjdm = value; }break; case 7: { // 市级名称 data.sjmc = value; }break; case 8: { // 区级代码 data.qjdm = value; }break; case 9: { // 区级名称 data.qjmc = value; }break; case 10: { // 镇街道代码 data.zjddm = value; }break; case 11: { // 镇街道名称 data.zjdmc = value; }break; case 12: { // 村居委会代码 data.cjwhdm = value; }break; case 13: { // 村居委会名称 data.cjwhmc = value; }break; case 14: { // 城乡划分代码 data.cxhfdm = value; }break; default: break; } } } cxhfcodeVec_.push_back(data); //xzqhjb 行政区划级别 if (data.xzqhjb == _T("1") && data.sjdm == _T("") && data.sjmc == _T("") && data.qjdm == _T("") && data.qjmc == _T("") && data.zjddm == _T("") && data.zjdmc == _T("") && data.cjwhdm == _T("") && data.cjwhmc == _T("") && data.cxhfdm == _T("")) { // 插入省份 regions_[data.szxsmc][data.sjmc] = {}; } else if (data.xzqhjb == _T("2") && data.qjdm == _T("") && data.qjmc == _T("") && data.zjddm == _T("") && data.zjdmc == _T("") && data.cjwhdm == _T("") && data.cjwhmc == _T("") && data.cxhfdm == _T("")) { // 地州市 regions_[data.szxsmc][data.sjmc][data.qjmc] = {}; } else if (data.xzqhjb == _T("3") && data.zjddm == _T("") && data.zjdmc == _T("") && data.cjwhdm == _T("") && data.cjwhmc == _T("") && data.cxhfdm == _T("")) { // 插入区 县 市 regions_[data.szxsmc][data.sjmc][data.qjmc][data.zjdmc] = {}; } else if (data.xzqhjb == _T("4") && data.cjwhdm == _T("") && data.cjwhmc == _T("") && data.cxhfdm == _T("")) { // 插入 乡 镇 街道 regions_[data.szxsmc][data.sjmc][data.qjmc][data.zjdmc][data.cjwhmc] = {}; } else if (data.xzqhjb == _T("5") && data.xzqhdm != _T("") && data.xzqhmc != _T("") && data.xzqhqc != _T("") && data.szxsdm != _T("") && data.szxsmc != _T("") && data.sjdm != _T("") && data.sjmc != _T("") && data.qjdm != _T("") && data.qjmc != _T("") && data.zjddm != _T("") && data.zjdmc != _T("") && data.cjwhdm != _T("") && data.cjwhmc != _T("") && data.cxhfdm != _T("")) { // 插入社区 、村委会 regions_[data.szxsmc][data.sjmc][data.qjmc][data.zjdmc][data.cjwhmc].push_back(data); } } } 请帮我看看如何来实现一对多并且使用事务写入数据库
最新发布
07-14
### 从Excel读取行政区划数据并写入数据库的实现方案 使用 `libxl` 库可以高效地读取 Excel 文件中的数据，该库支持 `.xls` 和 `.xlsx` 格式，并具备高性能的数据处理能力，例如每秒可写入约 210,000 个数字单元或 ...
2013年统计用区划代码和城乡划分代码，精确到街道，直接导入数据库就可以使用了
12-14
精心收集的国家统计局区划代码和城乡划分代码，做了一个爬虫花了两天抓的，当前只抓到了街道，数据就有近5W条了，也够用了 详细参考了京东、淘宝的数据也是从这里收集来的，一般精确到街道就可以了，如果要到居委会，就有近30W条数据了，这整理会特别耗时咯 数据为Excel格式，直接导入数据库就能使用咯，采用三级关联，在做购物车下单环节时通过这种编码方式是最合理最方便的 具体如果有不明白，或者想了解怎么实现这个环节的可以加我
2019年全国统计用区划代码和城乡划分代码.csv
04-01
关于更新全国统计用区划代码和城乡划分代码的公告 为更好满足2020年常规统计调查和专项调查的需要，国家统计局组织开展了2019年度统计用区划代码和城乡划分代码更新维护工作，调查时点为2019年10月31日。目前，已完成更新维护工作,现予公布。 　　2019年统计用区划代码和城乡划分代码依据国务院批复同意的《关于统计上划分城乡的规定》（国函〔2008〕60号）及国家统计局印发的《统计用区划代码和城乡划分代码编制规则》（国统字〔2009〕91号）编制。 　　此次发布内容为2019年全国统计用区划代码（12位）和城乡分类代码（3位），地域范围为国家统计局开展统计调查的全国31个省、自治区、直辖市，未包括我国台湾省、香港特别行政区、澳门特别行政区。 　　《关于统计上划分城乡的规定》指出：“本规定作为统计上划分城乡的依据，不改变现有的行政区划、隶属关系、管理权限和机构编制，以及土地规划、城乡规划等有关规定”。统计用区划代码和城乡划分代码，在统计工作中应当使用，需要在其他工作中使用时，请务必结合有关实际情况。
统计用区划和城乡划分代码2016
06-05
整理为SQL语句 INSERT INTO `area` VALUES ('110000000000', '北京市', '110000000000', '1', '0', '11'); INSERT INTO `area` VALUES ('110100000000', '市辖区', '110100000000', '2', '11', '1101'); INSERT INTO `area` VALUES ('110101000000', '东城区', '110101000000', '3', '110100000000', '110101'); INSERT INTO `area` VALUES ('110101001000', '东华门街道办事处', '110101001000', '4', '110101000000', '110101001'); INSERT INTO `area` VALUES ('110101002000', '景山街道办事处', '110101002000', '4', '110101000000', '110101002');
最新全国行政区域编码及mysql数据库（省/市/区县/街道）
06-21
1.全国行政区域代码代码，更新维护至2021-12-30 2.包括省份(直辖市)、城市、区县、乡镇四级的行政区划代码 3.网站地址：https://www.stats.gov.cn/sj/tjbz/tjyqhdmhcxhfdm/2023/index.html 4.城乡划分代码说明：mysql数据库，树结构存储。包括：编码；名称；全称；所属省，市，区县，街道；拼音首字母；城市类型（直辖市，省会）；同级下排序；深度；城乡分类代码及经纬度。 5.三级地址：https://download.youkuaiyun.com/download/i466834553/85720758 6.五级地址：https://download.youkuaiyun.com/download/i466834553/85721019
Python爬虫爬取国家统计局网站【统计用区划和城乡划分代码】并存入MySQL数据库...
在职后端开发工程师的学习笔记
11-07 386
国家统计局网站相关分级页面截图 基本思路 爬取每个页面的a标签内容，生成省市两级数据字典，最后合成区县对应的链接，爬取第三层区划代码和名字，结合省市两级名字生成最后的标准。 代码 1 import pymysql 2 from bs4 import BeautifulSoup 3 import re 4 import requests 5 import lxml...
全国统计用区划代码和城乡划分代码(2023版)
热门推荐
qq_39165879的博客
12-26 3万+
全国统计用区划代码和城乡划分代码(2023版),一些特殊的行政区划需要特殊处理,比如东莞市、中山市、儋州市等没有区级行政导致爬取不到下级数据,有些名称中包含生僻字等导致插入数据库报错,调整MYSQL表结构编码为utf8mb4得以解决。最近工作中有需要区分城市乡村,网上没有找到城乡分类代码最新20230630的汇总数据,只能自己去统计局官网爬。爬虫本人也是第一次学习使用到工作中,最后整理好完整的数据也是有满满的成就感,有需要数据的可以私信我!
国家统计局全国统计用区划代码和城乡划分代码Python爬虫样例
独行侠的守望の博客
09-10 6869
为了项目后续数据需要做准备，开始渐进深入去学习爬虫，最近做了一个实战样例demo，写了一个爬虫，获取全国统计用区划代码。数据来源，国家统计局：http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2019/ 整体分析一下，这个网站的布局样式简直不忍直视，可以说是一览无遗，基本上啥都没有，突出了政府网站一贯的简洁高效风格。 我将按照代码顺序，差穿插着说明开发思路过程。 代码目录： 先介绍下用到的基础python文件。 Bean包下两个类，NbsRegi
全国统计用区划代码和城乡划分代码-70w数据
wanlong1003的专栏
04-08 2947
https://download.youkuaiyun.com/download/wanlong1003/12293356 https://download.youkuaiyun.com/download/wanlong1003/12293360 https://download.youkuaiyun.com/download/wanlong1003/12293361
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

冰帆<

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值