python 爬取中国邮政编码

原创

已于 2023-07-30 14:46:27 修改 · 1.7k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#python #xpath

于 2020-09-19 00:41:05 首次发布

本文介绍了如何使用Python进行网络爬虫，从指定网站抓取中国各地的邮政编码信息，详细提供了源代码链接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

中国邮政编码

http://www.yb21.cn

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import json
from lxml import etree
from multiprocessing import Manager, cpu_count, Pool
import requests
from urllib.parse import urljoin
import pandas as pd
from datetime import datetime
import time

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'
}


class PostSpider(object):
    url = "http://www.yb21.cn"

    def index_page(self, url_queue):
        res = requests.get(self.url, headers=headers)
        res.encoding = "gbk"
        html = etree.HTML(res.text)
        city_href = html.xpath("//a/@href")
        for href in city_href:
            url_queue.put(urljoin(self.url, href))

    def spider(self, url_queue, dumps_queue):
        while True:
            main = {}
            url