3 | 爬取银行信息

已于 2023-07-23 15:45:06 修改
阅读量1.5k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 玩转Python爬虫 文章标签： python 爬虫
于 2019-05-28 16:39:50 首次发布
liurunsen
本文链接：https://blog.youkuaiyun.com/weixin_44510615/article/details/90642261
本文介绍了如何使用Python爬虫从指定网页抓取2023年全国联行号开户行的名称和联行号信息，并将其存储到Excel文件中，以供后续分析使用。主要涉及requests、BeautifulSoup和openpyxl库的使用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

需求分析

根据链接 https://chakahao.com/lhh/index_1.html ，我们将爬取的信息内容为2023全国联行号开户行数据列表。

具体来说，该页面显示了开户行名称和联行号（也称为行号、网点号、支行号等）的列表。我们的爬虫将获取每一页的数据，并将这些数据保存到Excel文件中，以便进一步使用和分析。

步骤1：导入所需的库

首先，我们需要导入所需的库，包括requests用于发起HTTP请求，BeautifulSoup用于解析HTML页面，以及openpyxl用于创建和保存Excel文件。

import requests
from bs4 import BeautifulSoup
from openpyxl import Workbook

步骤2：设置HTTP

了解本专栏 订阅专栏 解锁全文 超级会员免费看
python爬虫 爬取银行信息
2201_76125393的博客
10-05 1411
我们的爬虫将获取每一页的数据，并将这些数据保存到Excel文件中，以便进一步使用和分析。首先，我们需要导入所需的库，包括requests用于发起HTTP请求，BeautifulSoup用于解析HTML页面，以及openpyxl用于创建和保存Excel文件。这样，完成了爬取2023全国联行号开户行数据列表的教程。运行以上完整的代码，您将得到一个名为"data.xlsx"的Excel文件，其中包含了2023全国联行号开户行数据列表。现在，我们已经获取了需要的数据，接下来，我们将把数据保存到Excel文件中。
12 | 爬取信用中国，里面的行政许可内容，行政处罚，守信激励的内容
微信号：RunsenLiu
08-25 4190
第一个作业就是信用中国里面能够输入一个公司，输出里面的行政许可内容，行政处罚，守信激励，失信惩戒，重点关注，资质资格，风险提示，其他。里面的内容，并以excel形式显示。最近爬取了信用中国，输出里面的行政许可内容，行政处罚，守信激励的内容，并以excel形式显示。网址：https://www.creditchina.gov.cn/就比如查询：国网江苏省电力有限公司江阴市供电分公司。下面是我写的爬代码，逻辑不写了。爬取 的结果如下所示。
实操练习：爬取平安银行所有网点的名称、所在城市、具体地址
weixin_43140437的博客
08-02 791
import requests from urllib.request import quote from json import dumps import openpyxl wb=openpyxl.Workbook() sheet=wb.active sheet.title='平安银行网点分部表' row=['网点名称','城市','具体地址'] sheet.append(ro...
Python网络爬虫 - 爬取中证网银行相关信息
cmdos的专栏
03-28 727
最终版：07_中证网（Plus -Pro）.py# coding=utf-8import requestsfrom bs4 import BeautifulSoupimport ioimport sysimport ossys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='gb18030') # 改变标准输出的默认编码for qq in range(8): # query = input("【中证网】请输入你想搜索的内容：") q
【爬虫案例】python爬取XX银行在每个地区的数量
qq_32139191的博客
07-04 1189
python爬取某银行在每个地区的数量
爬取金融数据的一个详细教程（结尾附完整代码）
lihaojiayou的博客
04-02 1820
金融相关数据获取的详细教程，以及代码分享。
Python-中国各地区各银行支行爬虫数据来源微信商户平台
08-12
中国各地区各银行支行爬虫，数据来源微信商户平台，已经整理可直接导入的sql文件
Python练习【爬取银行网站信息】
weixin_34408624的博客
02-10 1029
功能实现 爬取所有银行的银行名称和官网地址(如果没有官网就忽略)，并写入数据库； 银行链接: http://www.cbrc.gov.cn/chinese/jrjg/index.html 编程思路 1.利用url访问页面并获取页面信息 2.利用正则表达式对页面信息进行筛选，获取我们需要的信息 3.保存至Mysql数据库中 1.获取网页信息并保存至文件 from urllib.request i...
反爬虫模拟浏览器——实现银行信息爬取
dodobibibi的博客
02-20 1851
1. 什么是爬虫? 就是在互联网上一直爬行的蜘蛛，如果遇到需要的资源，那么它就会抓取下来(html内容)； 模拟浏览器快速访问页面的内容。 2. 浏览网页的过程中发生了什么? 浏览器输入http://www.baidu.com/bbs/； 1). 根据配置的DNS获取www.baidu.com对应的主机IP； 2). 根据端口号知道跟服务器的那个软件进行交互； 3). 百度的服务器接收客户端请求...
python工商银行流水_python爬取银行名称和官网地址
weixin_39953356的博客
12-11 855
话不多说直接上代码：import refrom urllib import requestfrom urllib.request import urlopenimport pymysql as mysqlu = 'root'p = 'root'd = 'python'sql = 'insert into bank_info values(%s,%s)'url = 'http://www.cbrc....
南尘银行+爬虫.zip
01-28
银行系统功能概述。 不要随意删除文件里的东西，或更改文件位置。 个人开发，没有安全机制申请。所以如果发现缺少爬虫和银行管理系统这两个软件，查询电脑是否开启了杀毒软件如电脑管家拦截了这两个文件。 用open等函数创建了一个账户文本，并记录了交易时间和交易金额。 密码输错三次就会锁卡，可申诉解锁，名字，卡号，电话号码三者一致则申诉成功，系统会自动生成新密码告知申诉用户。 注册用户时，用正则表达式规定手机号应为大陆有效手机号，密码长度不能低于三且不能为纯数字，身份证号我是以我的家乡菏泽的规则规定的。 注销账户是，会弹出一个判断对话框，这是为了避免用户误点导致注销账户。 使用了pygame模块添加音乐播放暂停功能，imagetk和image模块添加背景图片 使用web协议爬取网站表情包存到output目录里（福利） 使用datetime和time模块获取本地时间，并显示在主界面上。 涉及到金额交易的比如取款转账等都存到了一个自动生成的账户文档里，并且会记录具体时间。 银行系统的所有用户都存在了一个数据库中，其文件名为user2。 爬虫功能概述: 双击运行爬虫可执行文件，点击下载即可。 程序会自动生成output文件夹，解析完成后会下载表情包到该目录。
银行支行 总行 联行号 14万数据
09-12
银行支行 总行 联行号 14万数据银行支行 总行 联行号 14万数据
全国联行号2018年
12-16
最新的联行号清单，只有行号+行名，其他信息没有。行号由12位组成：3位银行代码+4位城市代码+4位银行编号+1位校验位。
全网最全联行号包含地区近15万条数据
10-23
全网最全联行号数据 149000+的数据整合做多个资源后的结果 希望能帮助到你的开发
使用REQUESTS和BS4 爬取全国银行的联行号，物理地址，电话，swiftcode
LY的博客
09-10 863
from bs4 import BeautifulSoup import requests n=1 url='http://www.5cm.cn/bank/'+str(n) header={'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.X...
【第9篇】Python爬虫实战-银行卡归属地查询
猿小白的博客
04-19 2649
目录 一、查询网址 二、程序代码 一、查询网址 查询网址： http://www.guabu.com/bank/ 二、程序代码 #!/usr/bin/env python # -*- coding:utf-8 -*- import requests from lxml import etree def bank_attribution(bank_card): cookies = { 't': 'e420c094c3217063efa8aca17b7...
爬虫——获取联行行号
weixin_30666753的博客
09-12 565
先来吐槽一下，突然接到一个任务，要我收集所有的联行行号，由于网络的原因，我开始访问页面都很慢，我就想着去网上找找现成的，结果优快云上果然有好多人上传的，但是由于很早以前优快云升级以后，账号全都要解封，我这个人记性不好，密码什么的都忘记了，连账号都模糊了，所以就让朋友帮忙下载，结果需要C币，我朋友的刚好还不够，我就很无奈了。再次想要写博客的时候，那时候我曾在优快云和博客园犹豫过，后来选择博客园...
「原创」如何快速获取银行、联行号的数据？
不一样的科技宅
05-29 3483
经过一段时间的加班，终于是把项目熬上线了。本以为可以轻松一点，但往往事与愿违，出现了各种各样的问题。由于做的是POS前置交易系统，涉及到和商户进件以及交易相关的业务，需要向上游支付机构上送“联行号”，但是由于系统内的数据不全，经常出现找不到银行或者联行号有误等情况，导致无法进件。
爬虫解析银行卡号归属地 python 实现
Cincinnati_De的博客
10-20 1334
# -*- coding: utf-8 -*- # @Time : 2020/10/19 17:02 # @Author : zmj # @File : card_demo02.py # @Software: PyCharm import requests from lxml import etree from utpsycopg2 import PostgreClient import random import time pg_conn_master = { "host": "192.168.
招商银行外汇数据爬取
最新发布
04-28
### 如何使用 Python 爬取招商银行的外汇数据 为了实现对招商银行外汇数据的爬取，可以采用 `requests` 库获取 HTML 数据，并结合 `BeautifulSoup` 进行解析。以下是具体的技术细节和代码示例： #### 1. 获取目标页面的数据 首先需要确认招商银行提供外汇数据的具体网址。假设其外汇数据位于某个公开访问的网页上，则可以通过以下方式请求该页面的内容。 ```python import requests url = &#39;https://example.bankofchina.com/forex&#39; # 替换为目标实际URL headers = { &#39;User-Agent&#39;: &#39;Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36&#39; } response = requests.get(url, headers=headers) if response.status_code == 200: html_content = response.text else: raise Exception(f"Failed to retrieve data: {response.status_code}") ``` 此处需要注意的是，某些网站可能具有反爬虫机制，因此设置合适的 User-Agent 是必要的[^4]。 #### 2. 解析 HTML 页面 一旦成功获取到 HTML 内容，就可以使用 `BeautifulSoup` 来提取所需的外汇数据。 ```python from bs4 import BeautifulSoup soup = BeautifulSoup(html_content, &#39;html.parser&#39;) tables = soup.find_all(&#39;table&#39;) # 假设外汇数据存储在一个表格中 for table in tables: rows = table.find_all(&#39;tr&#39;) for row in rows: columns = row.find_all(&#39;td&#39;) if len(columns) >= 2: # 至少有两列：货币名称和汇率 currency = columns[0].text.strip() rate = columns[1].text.strip() print(f"{currency}: {rate}") ``` 这段代码会遍历所有的 `<table>` 标签，并进一步查找其中的每一行 (`<tr>`) 和单元格 (`<td>`)，从而提取出每种货币及其对应的汇率信息[^5]。 #### 3. 存储数据至 CSV 文件 最后一步是将抓取下来的数据保存成易于后续处理的形式，比如 CSV 文件。 ```python import csv with open(&#39;exchange_rates.csv&#39;, mode=&#39;w&#39;, newline=&#39;&#39;, encoding=&#39;utf-8&#39;) as file: writer = csv.writer(file) writer.writerow([&#39;Currency&#39;, &#39;Rate&#39;]) # 写入表头 for table in tables: rows = table.find_all(&#39;tr&#39;) for row in rows: columns = row.find_all(&#39;td&#39;) if len(columns) >= 2: currency = columns[0].text.strip() rate = columns[1].text.strip() writer.writerow([currency, rate]) ``` 这样就完成了从网页抓取数据并将其写入本地文件的过程[^5]。 #### 注意事项 如果遇到动态加载内容的情况（即部分数据并非直接嵌入静态HTML而是通过JavaScript异步请求填充），那么单纯依靠 `requests` 可能无法满足需求。此时可考虑引入 Selenium 或 Pyppeteer 等支持模拟浏览器行为的工具来解决这一问题[^1]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小刘要努力。

顺便点一个赞

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值