记一次多文件上传到FTP遇到的线程并发问题

最新推荐文章于 2022-01-05 20:47:18 发布

二宝君

最新推荐文章于 2022-01-05 20:47:18 发布

阅读量1.5k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/weixin_43301156/article/details/89391028

使用layui插件异步上传多张图片至FTP时，出现部分文件上传失败的问题。debug发现FtpClient.storeFile()报错，原因在于FtpUtil中静态方法导致的并发问题。解决方法为对上传方法加synchronized。

问题发生的直观描述：在通过layui多文件上传插件用异步的方式上传多张图片文件至ftp时出现文件有的成功，有的失败。完全随机的。

debug结论：在FtpClient.storeFile()时报connect is not open 的IO异常有的还有connect closed when copying.

出现的原因：Fileinput会同时请求后端的upload接口，然而FtpUtil里面将FtpClient和上传的方法全都写成static了，可能是当时为了方便直接调方法而不用new对象。这样又节约内存？这时就发生了并发情况下出现的一系列问题。

解决办法：1.将上传文件的方法加synchronized。最简单的但肯定不好的

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

二宝君

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

python ftp模块并发上传_python基础----socketserver多并发实现、FTP上传多并发

weixin_34731825的博客

02-09

341

一、socketserver多并发基于tcp的套接字，关键就是两个循环，一个链接循环，一个通信循环socketserver模块中分两大类：server类(解决链接问题)和request类(解决通信问题)(1)server类(2)request类(3)继承关系以下述代码为例，分析socketserver源码：ftpserver=socketserver.ThreadingTCPServer((‘12...

FTP同时上传多个文件并显示进度条

10-08

FTP同时上传多个文件，同时显示进度条，采用异步线程的方式，不过也是参考高手的实例

参与评论您还未登录，请先登录后发表或查看评论

ftp 上传多个文件

热门推荐

lwei_998的专栏

06-01

2万+

Linux下用ftp写了个上传文件的小脚本，遇到两个小问题：问题1: put 只能传单个文件，但文件名不能使用通配符。解决方法: 改用mput命令。问题2: mput 可以传多个文件，但文件总是少一个。解决方法: 关闭主动模式后解决prompt off。功能说明：登录到ftp服务器，进入linux指定目录，获取相应的文件，上传到ftp服务器。使用方法：在linu

linux下ftp一次上传多个文件夹

river4321的专栏

11-10

1867

搜了下，说是可以打包。。。这说了半天。。。后来想到一个办法，mput ./???/*，一下全上去了。。就是不分文件夹了。。。

[JAVA]Apache FTPClient操作“卡死”问题的分析和解决

weixin_30652879的博客

12-27

941

最近在和一个第三方的合作中不得已需要使用FTP文件接口。由于FTP Server由对方提供，而且双方背后各自的网络环境都很不单纯等等原因，造成测试环境无法模拟实际情况。测试环境中程序一切正常，但是在部署到生产环境之后发现FTP操作不规律性出现“卡死”现象：程序捕获不到任何异常一直卡着，导致轮巡无法正常工作（由于担心在轮巡时间间隔内处理不能完成，我没有采用类似quartz或者crontab的...

ftp传输多文件夹

ZHangFFYY的博客

01-26

4587

服务器： Ubuntu16.04 vsftp3.0.3 本地：win10 cmd一：用locate找到传输的文件：更新数据：updatedb查找：更多命令百度locate ***二：打包安装zip：apt install zip递归打包：zip -r name.zip name/*三：将压缩包放入ftp目录下四：win下接收 cmd下：ftp ip输入用户密码 help查看f

.net ftp多线程批量文件上传

04-14

在.NET开发环境中，FTP（File Transfer Protocol）多线程批量文件上传是一项常见任务，尤其对于处理大量数据或者需要快速传输的场景。以下是对这个主题的详细解析： **FTP简介** FTP是一种用于在网络上进行文件传输...

ftp多线程文件上传下载

10-07

综上所述，实现FTP多线程文件上传下载涉及FTP协议的理解、多线程编程、并发控制、错误处理等多个方面，需要良好的编程技巧和对网络通信的理解。通过以上知识点的应用，可以构建出高效稳定的FTP客户端应用程序。

ftp.rar_c# ftp多线程_ftp_ftp 断点续传多线程_ftp 断点续传实现_ftp 线程

09-23

FTP（File Transfer Protocol）是互联网...总之，C#中的FTP多线程和断点续传功能结合了并发处理和精确的文件定位技术，可以极大地优化大文件的网络传输效率。正确理解和应用这些技术，能为你的项目带来显著的性能提升。

ftp.rar_FTP 多线程_FTp多线程_ftp vc_多线程 ftp

09-24

”这表明该程序利用了C++的多线程特性来并发处理多个FTP连接，从而实现同时上传或下载多个文件。这样的设计可以充分利用系统资源，提高效率，并且允许用户在等待一个大文件传输的同时进行其他操作。标签“ftp_多...

FTP多线程上传文件资料

06-15

多线程FTP上传是指通过多个并发连接同时上传文件，以提高文件上传的速度和效率。这种技术尤其适用于大文件或大批量文件的传输，因为它可以充分利用网络带宽资源。在实现FTP多线程上传时，我们需要考虑以下几个关键...

python ftp模块并发上传_Python基于FTP模块实现ftp文件上传

weixin_39611769的博客

03-01

227

下面为大家分享一篇Python基于FTP模块实现ftp文件上传，具有很好的参考价值，希望对大家有所帮助。一起过来看看吧本文实例讲述了Python基于FTP模块实现ftp文件上传操作。分享给大家供大家参考，具体如下：#!/usr/bin/python#-*- coding:utf-8 -*-from ftplib import FTP #加载ftp模块ftp=FTP() #设置变量ftp....

ftp+线程池批量上传文件

qq_41358574的博客

01-05

4304

FTP服务器(File Transfer Protocol Server)是在互联网上提供文件和访问服务的计算机,它们依照提供服务。FTP是File Transfer Protocol(文件传输协议)。顾名思义,就是专门用来传输文件的协议。简单地说,支持FTP协议的服务器就是FTP服务器代码： public class FileBatchUploader implements Closeable { private final String ftpServer; private final St

java ftp上传文件支持并发

ppwwp的专栏

11-29

5673

package com.dl.utils; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; import...

Apache JMetter进行FTP上传文件性能测试

卧龙居

12-04

7086

刚弄完一个定制，还有一个定制。这个定制需要用到文件传输，想到项目中本身就有FTP服务器，别的日志什么的都是通过FTP上传的。就想，再开放一个单独的FTP用户，特定到某个文件夹下，接收的文件都放到这个特定的文件夹下。再利用cron定时监听文件夹，对文件进行处理就够了。但是，协同开发的同事，对于FTP的性能产生了疑虑。因为，可能多个用户并发传输，会不会导致FTP服务把内存或CPU占满，导致整个

FTP并发及带宽限制

秦庚辰的博客

05-05

4709

FTP并发及带宽限制问题沿用上文FTP搭建及应用，通过调整FTP服务端配置，实现以下目标：最多允许100个FTP并发连接每个IP地址最多允许2个并发连接匿名访问时，将速度限制为 50KB/s 用户登录访问时，将速度限制为 500KB/s 在客户机上通过ftp或wget验证上述限制方案关于vsftpd服务器的并发及带宽限制，主要用到以下配置参数： max_clients：限制并发的客户...

记一次FTP连接池并发死锁

ysy19980402的博客

08-26

730

业务需求：需要在服务器AB之间同步数据文件，由于网络环境限制，B服务器只能单向连接A服务器，所以采用B服务器连接A服务器上的消息中间件，通知B服务器进行文件下载，在初期并发量不高的情况下采用单线程FTP下载，但是随着业务量增大，单线程无法满足下载需求，时常出现下载延迟的情况，所以需要一个FTP连接池以供多线程同时下载，但是目前没有比较官方的轮子，所以就参考开源代码基于Apache Commons Pool实现了一个FTP连接池。 BUG出现了：运行过程中时常出现卡死，不输出任何日志，一段时间后k.

FTPClient常见问题记录（不定时更新）

DynamicSea

09-07

330

使用FTPClient上传或下载文件后，无报错，多次调用接口无效果，接口请求时间巨长然后超时。检查使用FTPClient操作后是否有归还连接。

多文件上传到FTP遇到的线程并发问题

liwb94的博客

04-19

9072

问题发生的直观描述：在用户用Bootstarp Fileinput通过异步的方式上传多张图片文件至ftp时出现文件有的成功，有的失败。完全随机的。debug结论：在FtpClient.storeFile()时报connect is not open 的IO异常有的还有connect closed when copying.出现的原因：Fileinput会同时请求后端的upload接口，然而FtpU...