关于mysql大批量插入数据 tomcat大批量接收数据

最新推荐文章于 2024-03-07 15:14:20 发布

原创

最新推荐文章于 2024-03-07 15:14:20 发布 · 1.6k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#配置文件 #mysql #tomcat

在处理Excel大量数据导入时，遇到性能问题。原本打算逐条插入数据库，但考虑到效率，改为批量插入。然而，尝试一次性插入5000条数据导致线程栈溢出错误。解决方法是调整MySQL配置文件my.ini中的thread_stack参数，增大线程栈大小。此外，当使用Ajax传递5000条数据（约15万个key-value对）时，Tomcat默认配置无法接收。为了解决这个问题，需修改Tomcat的server.xml文件，将maxPostSize设置为-1，允许不受限制地接收大数据量。

工作中有个需求，客户要求Excel导入数据最多5000行，每行数据大概有十七八列，再加上数据有关的Id要存储起来，这个类也就有近30个字段，导入的数据是放在从表里，还要先保存主表中的几十个字段，然后保存从表5000条数据

也就是说，要保存这些数据，如果要一条一条插入，那就要遍历访问5000次数据库，这样的效率肯定不行的，每次数据库的连接和关闭是耗时的，所以尽量减少与数据库之间的交互，那么就批量插入，insert(),(),().....。这样可以使5000次连接变为1-n 远远小于5000次。笔者通过一次全部插入5000条数据，发现mysql会报错。

Thread stack overrun: 246144 bytes used of a 262144 byte stack, and 16000 bytes needed. Use 'mysqld --thread_stack=#' to specify a bigger stack.; uncategorized SQLException for SQL []; SQL state [HY000]; error code [1436]; Thread stack overrun: 246144 bytes used of a 262144 byte stack, and 16000 bytes needed. Use 'mysqld --thread_stack=#' to specify a bigger stack.; nested exception is java.sql.SQLException: Thread stac

最低0.47元/天解锁文章