PreparedStatement操作Blob类型的变量报错

最新推荐文章于 2022-10-17 12:12:11 发布
原创 最新推荐文章于 2022-10-17 12:12:11 发布 · 350 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #mysql

本文介绍了在Java中处理MySQL Blob类型数据时遇到'xxxtoolarge'错误的解决方案，涉及调整MySQL的my.ini配置，设置max_allowed_packet为16M，并提示重启服务。

项目场景：

MySQL中，BLOB是一个二进制大型对象，是一个可以存储大量数据的容器，它能容纳不同大小的数据。
插入BLOB类型的数据必须使用PreparedStatement，因为BLOB类型的数据无法使用字符串拼接写的。

问题描述：

Java操作数据库时，PreparedStatement操作Blob类型的变量，如果在指定了相关的Blob类型以后，还报错：xxx too large。

解决方案：

在MySQL的安装目录下，找my.ini文件加上如下的配置参数：max_allowed_packet=16M。
同时注意：修改了my.ini文件之后，需要重新启动mysql服务。

在这里插入图片描述

jesse66666
关注
【微服务】mybatis typehandler使用详解
congge
02-25 7126
mybatis typehandler 使用详解
PreparedStatement查询结果错误
tj_sa的博客
06-27 705
在使用PreparedStatement对Oracle数据库进行查询时，出现了错误的结果。关键sql语句如下where t.stateID  ? stateid 为char(2)类型字段，调用 pstmt.setString(1, "1");发现stateid为1的数据仍可查出，相关sql在数据库中执行查询却返回了正确的结果。问题原因：Oracle char字...
jdbc PreparedStatement中“？”报错
优快云86363160的博客
07-19 1133
报错场景：用jdbc连接mysql，用PreparedStatement时候报了sql语句的错误。 com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '?' at line 1
PreparedStatement连接MySQL数据库，导错包导致的错误
Oweowee的博客
03-17 257
一开始一直报错，反复排查了工具类，方法，MySQL查询语句，User类，都没有错误。 然后开始Ctrl+B进入类，发现导入的User类有错误 最后换回正确的User类，错误解决。
java PreparedStatement 中文异常
qq_21161439的博客
11-13 663
String sql="insert into `student` (`studentNo`,`loginPwd`,`studentName`,`sex`)" + "values (?,?,?,?);"; 通过setString加入中文是就遇见中文变为？？ ，并报sql语法错误的异常，而使用字母和数字的字符串则正常。 百度后发现有朋友说在 Connection的url后面
使用PrepareStatement实现操作Blob类型的数据（库里图片）
有上进心的阿龙
12-07 346
使用PrepareStatement实现操作Blob类型的数据（库里图片） 1、向数据库中添加一条记录（包含blob类型的字段） 添加之前的数据库的数据 数据表customer结构 这里的photo使用的是mediumBlob数据类型 代码： public void testInsertCustomPhoto() { Connection connection = null; PreparedStatement ps = null; try {
JDBC（使用PreparedStatement操作BLOB类型字段和批量插入）
qingmenghan的博客
11-04 567
目录 四操作BLOB类型字段 4.1 MySQL BLOB类型 4.2 向数据表中插入大数据类型 4.3 修改数据表中的Blob类型字段 4.4 从数据表中读取大数据类型 五批量插入 5.1 批量执行SQL语句 5.2 高效的批量插入 前言：接着上次的知识，继续学习。 四操作BLOB类型字段 4.1 MySQL BLOB类型 MySQL中，BLOB是一个二进制大型对象，是一个可以存储大量数据的容器，它能容纳不同大小的数据。 插入BLOB类型的数据必须使用Pr...
操作BLOB类型的字段及高效的批量插入操作
m0_61961937的博客
09-20 2276
操作BLOB类型的字段及高效的批量插入操作
JDBC之Blob数据类型
iphuoob的博客
10-08 902
文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import warnings warnings.filterwarning
Java实现SQLite数据库中Blob数据的读写
Andy_Lew的博客
06-04 3887
最近老师要求做一个数据库备份的程序，然后给了一个sqlite-jdbc-3.7.2.jar包作为工具。 因为要求必须用Java实现，所以dump或者命令行之类的骚操作就不提了，这里也不谈怎么备份数据库的细节，实现方法有很多种，大家随意。 但是这个包似乎有一个Bug，就是当你使用ResultSet.getBlob()时它就会报错： 看一下源码，原来是这个方法没实现。 这就很头疼，因为Blob没法通过ResultSet来读取了，更别谈写入了。 所以我换了个方法，通过Statement来读取Blob数据，并用b
Host variables
weixin_30535913的博客
06-30 281
Host variables are data items declared in a host application program and used in bothhost language statements and embedded SQL statements. They providecommunication between SQL statements and the ho...
第5章 批量插入
仰望与追逐的博客
06-15 394
第5章 批量插入5.1 批量执行SQL语句5.2 高效的批量插入5.2.1 实现层次一：使用Statement5.2.2 实现层次二：使用PreparedStatement5.2.3 实现层次三5.2.4 实现层次四 5.1 批量执行SQL语句 当需要成批插入或者更新记录时，可以采用Java的批量更新机制，这一机制允许多条语句一次性提交给数据库批量处理。通常情况下比单独提交处理更有效率 JDBC的批量处理语句包括下面三个方法： addBatch(String)：添加需要批量处理的SQL语句或是参数； ex
jdbc中PreparedStatement替换Statement实现CRUD与Blob类型的操作
qq_45554909的博客
12-19 627
1.PreparedStatement的理解： ① PreparedStatement 是Statement的子接口 ② An object that represents a precompiled SQL statement. ③ 可以解决Statement的sql注入问题，拼串问题 package loey.java1; import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatemen
JDBC学习4：preparedStatement可以插入blob数据和批量处理
qq_44724899的博客
10-17 479
学习
PreparedStatement操作Blob类型的数据
MYang_zj的博客
11-12 293
JDBC 使用PreparedStatement操作Blob类型的数据 /** * * @Description 测试使用PreparedStatement操作Blob类型的数据 * @author muYang Email:786885864@qq.com * @version * @date 2020年11月11日下午5:29:31 * */ public class BlobTest { @Test public void testInsert() throws Exc
JDBC—操作Blob数据
冯瑞姣
10-26 248
一、引入 除了解决Statement的拼串、sql问题之外，PreparedStatement还有什么好处？ 1、PreparedStatement操作Blob的数据，而Statement做不到。 2、PreparedStatement可以实现更高效的批量操作。 什么是Blob数据 — Mysql中，Blob是一个二进制大型对象，是一个可以存储大量数据的容器，它能容纳不同大小的数据，例如图片、视频等。 — 插入Blob类型的数据必须使用PreparedStatement，因为Blob类型的数据无
PreparedStatement.setObject(int i,Object obj) 无效的列类型
dingjun1
10-26 1656
当往下面的方法传递参数时，传入了java.util.Date类型，因此报错 “无效的列类型”，需要把java.util.Date转换为java.sql.Date [code="java"] query("select distinct bm.n_bh BH,bm.c_mc MC,bm.n_zgbmbh PARENT,bm.n_zgjcybh,bm.n_xssx from v_ywzc_ws...
PreparedStatement存储BLOB属性字段
liang100k的专栏
07-15 2265
严重: Servlet.service() for servlet [springMVC] in context with path [/artemis] threw exception [Handler processing failed; nested exception is java.lang.AbstractMethodError: org.apache.commons.dbcp.Del
PreparedStatement模糊查询问题
shengruxiahua2571的博客
10-22 377
在使用PreparedStatement进行MySql模糊查询时，遇到一个问题 SELECT COUNT(*) FROM TABLE WHERE BLOG LIKE ? 是可以查询成功的，但是加入了模糊匹配后 SELECT COUNT(*) FROM TABLE WHERE BLOG LIKE "%?%" 却总是查询报错，后来发现sql语句还是需要写为SELECT COUNT(*) FROM TA...
mysql中BLOB插入是什么
最新发布
05-08
<think>好的，我现在需要回答用户关于MySQL插入BLOB数据的机制和方法的问题。首先，我需要回顾用户之前的问题和我的回答，确保内容一致。用户之前询问了Leaf Page X锁，但现在转向了BLOB数据的插入，所以需要切换主题。 用户提供的引用中有四个来源，其中引用1和2讨论了BLOB和CLOB的基本概念及操作，引用3和4涉及JDBC批量插入和具体代码示例。用户现在想知道插入BLOB的具体机制和方法，我需要结合这些引用，但也要注意用户可能更关注MySQL本身的机制，而不仅仅是JDBC操作。 首先，我应该解释BLOB是什么，以及它在MySQL中的存储机制。比如，BLOB类型的数据如何存储，InnoDB如何处理大对象，是否存储在行内或行外。然后，插入BLOB的方法，包括SQL语句和通过应用程序（如JDBC）的方法。引用3提到了JDBC的setBlob()和批量插入，引用4展示了使用Statement插入数据的例子，但用户可能更关注MySQL内部机制，而不仅仅是应用层代码。 需要注意区分MySQL服务器端的处理机制和客户端（如JDBC）的操作方法。用户的问题可能包括两者，所以需要分别说明。例如，在MySQL中，插入BLOB数据时，数据是如何存储的，是否有页分裂或锁机制的影响，比如之前的Leaf Page X锁是否在插入BLOB时起作用，因为BLOB可能占用大量空间，导致页分裂，从而需要锁定叶子页。 另外，用户可能关心性能优化，比如如何高效插入大BLOB数据，避免锁竞争或I/O瓶颈。引用中提到批量插入的方法，这可能与JDBC的批量处理有关，但也要结合MySQL的配置，如max_allowed_packet参数，事务处理等。 需要确保回答结构清晰，分点说明机制和方法，可能包括存储机制、插入方法（SQL和程序）、事务处理、性能优化等。同时，要引用提供的引用资料，比如引用1和2关于BLOB的概述，引用3和4的JDBC操作方法，但需要正确关联到MySQL本身的机制，而不仅仅是应用层的实现。 可能的问题点：BLOB数据在InnoDB中的存储方式，是否行内存储或溢出页，如何影响插入性能；插入时的锁机制，比如是否会加X锁在Leaf Page，特别是当BLOB数据导致页分裂时；使用预处理语句和批量插入的优缺点等。 需要验证引用中的信息是否正确，比如引用3提到的setBlob()和getBlob()是否正确，引用4的代码示例是否适用。同时，要确保回答中的LaTeX格式正确，比如变量用$包裹，独立公式用$$，但这个问题可能较少涉及数学公式，更多是技术流程。 最后，生成相关问题，需要围绕BLOB插入机制、性能优化、存储影响等方面提问，确保问题与主题相关且有深度。</think>### MySQL插入BLOB数据的机制与方法详解 #### 一、BLOB数据存储机制 1. **行内存储与行外存储** InnoDB引擎中，BLOB数据默认采用**行外存储**。当BLOB字段大小超过页的可用空间（通常为页大小的1/2，即约8KB）时，会使用**溢出页（Off-page）**存储实际数据，原行记录中仅保留20字节的指针[^1]。这种设计避免了单行数据过大导致页分裂频繁的问题。 - 行内存储条件： $$ \text{BLOB大小} \leq \frac{\text{页大小}}{2} - \text{其他字段总长度} $$ 2. **页结构与锁机制** 插入BLOB数据时，若触发页分裂（Page Split），InnoDB会对涉及到的Leaf Page加**X锁（排他锁）**，确保数据结构的完整性。例如，插入超过页容量的BLOB数据时，原页会被锁定直至完成分裂和新页分配[^2]。 --- #### 二、插入BLOB数据的具体方法 ##### 方法1：直接SQL插入 ```sql -- 使用HEX函数处理二进制数据 INSERT INTO files (id, blob_data) VALUES (1, 0x89504E470D0A1A0A...); ``` - **限制**：需确保数据大小不超过`max_allowed_packet`参数（默认4MB），否则会报错[^1]。 ##### 方法2：通过JDBC编程插入（Java示例） ```java try (Connection conn = DriverManager.getConnection(url, user, password); PreparedStatement pstmt = conn.prepareStatement("INSERT INTO files (id, blob_data) VALUES (?, ?)")) { File file = new File("large_file.bin"); try (FileInputStream fis = new FileInputStream(file)) { pstmt.setInt(1, 1); pstmt.setBlob(2, fis); // 使用流式传输避免内存溢出 pstmt.executeUpdate(); } } ``` - **关键点**： - 使用`PreparedStatement.setBlob()`方法支持流式传输（推荐）[^3] - 设置`useServerPrepStmts=true`启用服务器端预处理，减少网络开销 ##### 方法3：批量插入优化 ```java // 批量插入配置 conn.setAutoCommit(false); // 关闭自动提交 try (PreparedStatement pstmt = conn.prepareStatement("INSERT INTO files (blob_data) VALUES (?)")) { for (int i = 0; i < 1000; i++) { pstmt.setBlob(1, new ByteArrayInputStream(data)); pstmt.addBatch(); // 添加到批处理 if (i % 100 == 0) { pstmt.executeBatch(); // 分批提交 conn.commit(); } } pstmt.executeBatch(); conn.commit(); } ``` - **优势**： - 减少事务提交次数，提升吞吐量 - 通过`rewriteBatchedStatements=true`参数优化批量SQL（MySQL特有）[^4] --- #### 三、性能优化要点 1. **参数调优** - 增大`max_allowed_packet`（建议设置为最大BLOB的1.2倍） - 调整`innodb_log_file_size`以适应大事务（至少4GB） 2. **存储分离策略** - 将超过1MB的BLOB存储在文件系统，数据库中仅保存路径 - 使用分布式存储（如AWS S3）结合CDN加速访问 3. **索引与查询优化** - 避免对BLOB字段进行`WHERE`条件筛选 - 对元数据（如文件哈希、大小）建立辅助索引 --- #### 四、事务与锁的注意事项 - **长事务风险**：插入大BLOB时，长时间持有锁可能导致其他事务等待超时（默认50秒） - **隔离级别影响**：在`REPEATABLE READ`级别下，Undo Log可能因BLOB数据过大而膨胀 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值