PHPExcel导入15M的Excel表到数据库,出现nginx:504 gateway timeout

【异常】一个Excel导入功能竟然会出现了504 Gateway Time-out! 使用导入功能,业务侧已经分两拨都导不进去,恩,又出现了导入失败的问题,这次要彻底优化一下我的导入的问题才行,去年这个功能还可以正常使用,但是当数据量上来之后,需要用一定的优化手段优化,才能够支持到业务导入,好吧,优化下,以下是报错的相关排查!从接口层面来看,确实是因为导入的数据量太大,因此导入时长超过了1分钟,最后导致网关超时中断了导入。 阅读详情

PHPExcel导入15M的Excel表到数据库,出现nginx:504 gateway timeout!

PHPExcel导入数据,太尼玛耗内存了!

看了下官方文档,5M的数据,就得占5G的内存,这不是开玩笑么。。所以,参照官方的文档,使用chunk块上传,内存减少了,但是会消耗更长的时间。

测试了下,3万的数据,每次读去3000行,花费了204s,内存大约130M。

之前出现了:nginx 504 错误,在网上找了下配置,总结下:

php:max_execution_time

php-fpm:request_terminal_timeout

nginx:fastcgi_read_timeout(针对:php请求,在匹配的php的location块中配置)

nginx作为代理,例如:nginx作为apache的代码(不是干运维的,之前只听说过,apache和nginx结合,具体没看过这种架构),在nginx.conf中配置:

  proxy_connect_timeout       600;
  proxy_send_timeout          600;
  proxy_read_timeout          600;
  send_timeout                600;
以上的配置,应该就可以解决 504 的问题!


参考文章:

https://www.scalescale.com/tips/nginx/504-gateway-time-out-using-nginx/#


excel导入大数据失败解决方法 在处理Excel导入数据的时候,出现因为数据量大而导入不成功的情况,解决的办法可以通过转为csv格式导入,性能很好且占用内存少。 立即下载

相关推荐

java web开发中大量数据导出Excel超时(504)问题解决

开发测试时候导入数据遇到大数据导入的问题,整理了下,需要的朋友可以参考下

tp5 PHPExcel导入大数据导致服务端程序不响应 超时

tp5下PHPExcel导入,前端采用ajax方式处理,起初导入一切正常。当数据量变大后只能导入前部分数据,后面直接报服务器500错误,无法找到服务端处理方法,后续数据导入失败。2、php.ini里的 max_execution_time = 300 改 max_execution_time = 0。归根结底还是php超时问题,因为我用的是自己的服务器,可以修改服务器配置文件,下面是解决办法。这里我用的是Apache,如果是Nginxy也是同样的思路。最大执行时间单位为妙,0为不做限制。

bosris的博客 1652

别再为PT100测温发愁了!手把手教你用ADS1247+STM32搞定高精度温度采集(附完整源码)

本文详细介绍了如何利用ADS1247高精度ADC与STM32微控制器构建PT100测温系统,实现±0.1℃的温度测量精度。内容涵盖硬件设计、寄存器配置、SPI通信优化及温度换算算法,特别适合工业自动化和精密仪器领域的嵌入式开发人员参考。

weixin_26897585的博客 428

nginx做负载均衡后导入导出Excel数据报错

遇到问题: 使用nginx做了服务器的负载均衡后,在大数据量的excel导入导出,总是报错 原因: 导出数据报 504 Gateway Time-out 错误,基本都在导出操作1分钟的时候nginx默认设置项 proxy_connect_timeout nginx与upstream服务器用来建立连接的超时时间 proxy_read_timeout nginx从upstream读取数据包的超时时间 proxy_send_timeout ...

RyanDon的博客 7352

dummy机械臂代码学习(六)

CLI-Tool文件夹下又包含四个子文件夹,以及一个gitignore文件、一个run_shell.py的python文件、一个run.bat文件和一个zadig exe文件。库解析命令行参数,并根据不同的命令执行相应的操作。Zadig是一个用于Windows操作系统的开源工具,它的主要功能是安装和配置USB驱动程序。的目的呢就是确保在版本控制过程中,不必要的或自动生成的文件被忽略掉,来保持代码仓库的干净和整洁。,DummyStudio的软件作者已放在GitHub,我们主要看CLI-Tool文件夹就行。

jumaohhh的博客 1436

AIDD机器学习深度学习药物发现与设计教程总结

AIDD(AI Drug Discovery & Design):是近年来非常火热的技术应用,且已经介入到新药设计到研发的大部分环节当中,为新药发现与开发带来了极大的助力。倾向于机器对数据库信息的自我学习,可以对数据进行提取和学习,一定程度上避免了化合物设计过程中的试错路径,同时还会带来很多全新的结构,为药物发现打破常规的结构壁垒。覆盖了机器学习和深度学习,能与新药研发相结合并实质性的应用到靶点预测、高通量筛选、药物设计、药物的ADMET性质预测等;且算力方面,由早期应用于药物发现领域的决策树、随机

wutianlin0723的博客 6821

Nginx提示502和504错误的终极解决方案

一、错误提示说明: Nginx 502 Bad Gateway的含义是请求的PHP-CGI已经执行,但是由于某种原因(一般是读取资源的问题)没有执行完毕而导致PHP-CGI进程终止。 Nginx 504 Gateway Time-out的含义是所请求的网关没有请求到,简单来说就是没有请求到可以执行的PHP-CGI。 二、错误提示原因分析: 解决这两个问题其实是需要综合思考的

nolanchic的博客 8716

第十二节:C#工业控制编程基础--输出正弦波实验

第十二节:基于c#使用开发板输出正弦波实验 文章目录第十二节:基于c#使用开发板输出正弦波实验一、实验目的:了解采集卡DA相关函数的使用。二、实验内容:利用C#生成正弦波,然后用采集卡DA输出。三、实验步骤:1.打开Visual Studio 2013,新建窗体应用程序项目,配置好板卡dll文件。2.在窗体中放入控件,对控件进行布局排版,并修改他们的Name属性和Text属性。3.在Chart控件内选择Spline型图表,如图2。4.进入编程区域,在public partial class Form1 :

weixin_49237052的博客 2298

php导出excel报504,phpExcel导出大量数据出现内存溢出错误的解决方法

phpExcel将读取的单元格信息保存在内存中,我们可以通过复制代码 代码如下:PHPExcel_Settings::setCacheStorageMethod()来设置不同的缓存方式,已达到降低内存消耗的目的!1、将单元格数据序列化后保存在内存中复制代码 代码如下:PHPExcel_CachedObjectStorageFactory::cache_in_memory_serialized;2、...

weixin_36155754的博客 1004

强化学习(Reinforcement Learning)与动态系统控制方法

一个具体的 RBC 的例子是自动驾驶汽车中的交通规则。在训练过程中,代理通过与环境交互获取奖励信号,并学习如何在某个状态下采取最佳的行动,以最大化长期的累积奖励。在化工过程中,通过对生产过程中的温度、压力、流量等参数的控制来实现产品的质量和产量的提高。需要注意的是,以上代码只是一个简单的示例,实际的 MPC 系统可能会更加复杂,并包含更多的模型预测和控制算法来实现更复杂的控制任务。需要注意的是,以上代码只是一个简单的示例,实际的自动驾驶汽车系统可能会更加复杂,并包含更多的规则和条件来确保安全行驶。

AI天才研究院 4065

Ghost卷积原理与构建YOLOv11的GhostNet变体

本文探讨了在边缘设备部署YOLOv11时使用Ghost卷积进行模型轻量化的实践经验。针对Jetson Nano的4GB内存限制,作者通过替换Backbone中的3x3标准卷积为Ghost卷积,实现了参数减少28%、推理速度提升38%,仅损失1.1%mAP的优化效果。文章详细介绍了Ghost卷积的实现原理、在YOLOv11中的具体替换策略,以及训练调参和部署优化的关键技巧。作者强调轻量化是计算效率与模型性能的权衡,建议工程团队保留原模型和Ghost变体两个版本,根据实际需求灵活切换。Ghost卷积的核心价值在

as1225120794的博客 169

解决PHPExcel超时、内存超出的问题

一、PHPExcel 问题 Yii2.0 自带PHPExcel模块,其导出excel简单方便,但是导出数据量大的时候容易超时、内存使用超出限制。 以前都是将PHP内存使用限制不断增大,超时时间不断增大来应对,但即使如此,web端导出时,浏览器依然会超时。 考虑了Jquery+Ajax+table导出,数据量依然会使浏览器卡死,经尝试可以用以下方法,配合数据库游...

I am your sun ❤ 3180

Transformer模型详解

​本文主要介绍Transformer系列,从基础到理论,对注意力机制进行总结并解释《Attention is all you need》,提出解决sequence to sequence问题的transformer模型,用全attention的结构代替了lstm,抛弃了之前传统的encoder-decoder模型必须结合cnn或者rnn的固有模式,只用attention。文章的主要目的是在减少计算量和提高并行效率的同时不损害最终的实验结果。

专注大数据与人工智能技术分享,欢迎私信加群互相学习! 5326

php读超大excel,PHPExcel如何读取超大excel文件

### PHPExcel如何读取超大excel文件,有需要的朋友可以参考下。工作中经常要遇到将xlsx文件中的部分内容导入到数据库。通常我们都是用PHPExcel来读取。通过下面的方法我们可以很容易将一个excel表格读取成为php数组,之后就可以为所欲为了:~~~$input_file="data.xlsx";$objPHPExcel=PHPExcel_IOFactory::load($inpu...

weixin_35919843的博客 830

爬虫实战:拆解WASM加密参数,破局2026电商动态接口反爬(实测某头部电商可用)

sign和wasm_token,而且每次请求这两个参数都在动态变化。用常规的参数拼接、MD5加密尝试还原,结果全是403;反编译前端JS,发现核心加密逻辑被打包成了.wasm,把关键参数加密、签名逻辑藏在二进制模块里,让爬虫无法直接逆向JS拿到加密规则。前后折腾了5天,从WASM文件解析、JS与WASM交互逻辑拆解,到本地还原加密参数、实战验证,踩了无数坑(比如WASM版本不兼容、内存数据读取失败、加密依赖环境缺失),最终成功还原了加密流程,稳定爬取商品详情、价格、销量等核心数据,连续运行72小时无封禁。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 1914

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

PHP+Nginx经常出现502、504原因与解决方法

502 Bad Gateway:作为网关或者代理工作的服务器尝试执行请求时,从上游服务器接收到无效的响应。504 Gateway Time-out:作为网关或者代理工作的服务器尝试执行请求时,未能及时从上游服务器(URI标识出的服务器,例如HTTP、FTP、LDAP)或者辅助服务器(例如DNS)收到响应。

winkexin的博客 9200

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

记一次 nginx 504 Gateway Time-out

今天程序在执行一项excel导出任务的时候 出现了nginx超时的提示 nginx 504 Gateway Time-out 排查过程: 查看该任务 发现内容是一个数据量20000条信息 每条信息有50个字段 在执行导出为excel的时候 出现了该问题 执行时间大概在10分钟左右就出现超时 分析: Nginx 504 Gateway Time-out的含义是所请求的网关没...

weixin_30835649的博客 518

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

PHP如何优雅从表格导入十万条数据甚至百万条数据呢?

php不使用phpexcel如何导入表格数据?

future的博客 2845

php导出excel报504,laravel Export 导出数据,报504 Gateway Time-out

我查询了数据库里面就只有6000多条数据,我用的是web方式去请求下载的。执行结果却是这是我控制器方法:这个是我的Export类:namespace App\Exports;use App\Helper\Utils;use Maatwebsite\Excel\Concerns\Exportable;use Maatwebsite\Excel\Concerns\FromQuery;use Maatw...

weixin_42363377的博客 1189

解决 PHP 上传数据超时 504 错误:

当我们使用 PHP 进行文件上传时,如果上传的文件较大,可能会遇到数据超时错误。例如,将 upload_max_filesize 设置为 100M,将 max_execution_time 设置为 120 秒,将 post_max_size 设置为 100M。PHP 上传数据超时 504 错误可能是由于 PHP 配置文件的限制或网关服务器的超时时间设置过低所导致的。如果文件较大,可以考虑使用分片上传的方式,将文件切分为多个小块进行上传。通过使用这些工具,我们可以简化文件上传的过程,并减少超时问题的发生。

whf1215847706的专栏 1182

php excel 导出超时,PHPExcel导出Excel时超时超内存分析与解决方案

PHP开发者在工作中经常会遇到,后台系统功能,每开发一个数据查询列表功能,都少不了对应的数据导出功能。PHP的技术栈中,通常会采用PHPExcel这个开源的库来解决数据导出问题。但在实际使用过程中,总是会遇到导出报超时,或超内存的问题,为业务方所诟病。这篇文章,我们分别从超时和超内存两个方面,分析原因,及提出对应的解决方案。超内存原因(1)导出内容过多。这是很容易理解的一个原因。导出的列与行越多,...

weixin_42430341的博客 2406

PHPExcel导出大量数据超时及内存错误解决方法

PHP导出excel相对很多童鞋都碰到了,使用phpexcel类也确实方便,但导出大数据的时候就没那么简单了,常常会伴随一些超时或内存溢出的问题,下面就给大家介绍一些方法,共同学习,共同进步。。。 PHPExcel是一个很强大的处理Excel的PHP开源类,但是很大的一个问题就是它占用内存太大,从1.7.3开始,它支持设置cell的缓存方式,但是推荐使用目前稳定的版本1.7.6,因为之前的版...

莫冲的专栏 1818

nginx 301 将不带www域名,重定向到www域名

对运维这边不了解,一般网站访问,为了简单,使用不带 www 访问,例如: www.baidu.com 直接通过 baidu.com 进行访问 所以,自己的网站也这样访问。偶然发现,不带www 和 带www,完全登录了2个不同的账号,才觉得异常,搜索下,才了解到区别。 一般处理这个,需要将 '不带www' 301重定向到 '带www': apache: RewriteCond %{...

beyond__devil的博客 1万+
上一篇: 通过PHPExcel导出Excel文件时,出现“格式与文件扩展名格式不一致”错误!
下一篇: 总结了下PHPExcel官方读取的几个例子
beyond__devil
博客等级 码龄14年 147粉丝 314原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值