用python读取pg数据库中的blob类型图片数据,转换存成jpg格式存到本地文件夹

本文介绍了一种使用Python从数据库批量导出图像的方法,通过连接PostgreSQL数据库并执行SQL查询,将图像数据转换为jpg格式文件存储到本地。适用于大规模人口图像数据的快速导出,提高工作效率。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

先啰嗦一下,热热身


在工作中,我们常见到数据库中的数据类型主要为char,varchar,text等,但是有时我们也会用blob格式来存储语音文件或者图像文件,在网上找了很多,都没找到合适的办法,只好自己开发一个。

存入数据库中的图像,我们要读取出来,有两种方式:
1、数据库管理工具navicat。使用这个工具时简单方便,不需要懂编程,入门难度较低,但是当需要导出1000个人的图像时,如果一个个导出,需要花费很大的时间成本,如果懂得写SQL 语句,那就方便许多。
2、python。python这个工具确实很方便,可以处理很多事情。

有这么一个场景,我的数据库中保存有整个市的人口图像数据,现在A单位因业务需要,要导出指定的10000个人的图像数据用于办理证件。A单位提供了一份名字、身份证号的清单给我,我需要帮他们导出这些人的图像。

来真的了,盘它


针对以上需求,我写了一个python程序导出部分数据库中的前10个人是图像,存成jpg格式到本地文件夹,指定对象的部分程序不是很难,不打算写了。

NO BB,show me the code

import psycopg2
import matplotlib.pyplot as plt

conn=psycopg2.connect(database='db',user='postgres',password='pw',host='10.120.10.11',port='5432')
cursor=conn.cursor()

cursor.execute("select gmsfhm,picture from gg_gaj_rk_picture limit 10")

data=cursor.fetchall()
conn.commit()

数据量比较大,处理要很长时间,读出来的数据有两列:
gmsfhm:身份证号码
picture:图像数据

读完数据后,我们接下来就开始写程序写到本地文件夹了
show the code again

for  i  in range(len(data)):
    f=open(r'C:\Users\lenovo\Desktop\piture\%s.jpg'%data[i][0],'wb')
    f.write(data[i][1].tobytes())

好了,又学会了一种处理数据的办法,觉得OK的点个赞吧!!!

### 文件类型数据从 MySQL 到 PostgreSQL 的迁移 在将文件类型数据从 MySQL 迁移到 PostgreSQL 时,主要涉及的是处理 BLOB 或者其他二进制大对象类型的字段。以下是详细的说明以及解决方案: #### 方法一:使用 `pgloader` 工具 `pgloader` 是一种高效的数据库迁移工具,能够自动识别并转换多种复杂的数据类型,包括文件类型BLOB)。它可以通过简单的命令完整个迁移流程[^3]。 示例命令如下: ```bash pgloader mysql://username:password@localhost/source_db postgresql://username:password@localhost/destination_db ``` 此命令会自动检测表结构,并尝试将 MySQL 中的 BLOB 类型映射到 PostgreSQL 的 BYTEA 类型。如果在特殊需求,则可通过配置文件进一步调整迁移行为。 --- #### 方法二:手动导出和导入 SQL 文件 另一种方式是利用 `mysqldump` 和 `psql` 命令组合来实现迁移。具体步骤如下: 1. **导出 MySQL 数据** 使用 `mysqldump` 导出包含 BLOB 字段在内的所有数据。 ```bash mysqldump --hex-blob -u username -p source_db > dump.sql ``` 参数解释: - `--hex-blob`: 将 BLOB 和 TEXT 列转储为十六进制表示形式,以便于兼容性[^4]。 2. **修改导出文件中的语法差异** 如果发现某些语句不被 PostgreSQL 支持,则需编辑生的 `.sql` 文件,替换掉特定的关键字或者函数调用。例如,MySQL 的 `AUTO_INCREMENT` 应改为 PostgreSQL 的序列定义。 3. **导入到 PostgreSQL** 执行以下命令加载已修正后的脚本: ```bash psql -U username -d destination_db -f dump.sql ``` 需要注意的是,在实际执行过程中可能遇到字符集编码问题或其他潜在冲突,因此建议提前测试一小部分数据以验证可行性。 --- #### 方法三:编程接口辅助迁移 当面对非常规情况或需要高度定制化逻辑时,可借助程序代码逐条读取原始记录再写入目标储位置。下面给出 Python 实现的一个简单例子: ```python import pymysql import psycopg2 # Connect to the MySQL database mysql_conn = pymysql.connect( host="localhost", user="root", password="your_password", db="source_db" ) # Connect to the PostgreSQL database postgres_conn = psycopg2.connect( dbname="destination_db", user="postgres_user", password="your_password", host="localhost" ) try: with mysql_conn.cursor() as mysql_cursor, postgres_conn.cursor() as pg_cursor: # Fetch binary data from MySQL table sql_select_mysql = "SELECT id, file_data FROM files_table LIMIT 10;" mysql_cursor.execute(sql_select_mysql) rows = mysql_cursor.fetchall() for row in rows: insert_query = """ INSERT INTO files_table (id, file_data) VALUES (%s, %s); """ pg_cursor.execute(insert_query, (row[0], row[1])) postgres_conn.commit() finally: mysql_conn.close() postgres_conn.close() ``` 上述片段展示了如何通过连接两个不同的 RDBMS 来传输带有文件内容的信息流。当然这仅适用于小型项目;对于大规模生产环境而言效率较低,推荐优先考虑前两种方案之一[^5]。 ---
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值