[HDFS] Hadoop Over Ftp 项目的两点改进

最新推荐文章于 2021-04-10 12:51:05 发布

最新推荐文章于 2021-04-10 12:51:05 发布 · 193 阅读

文章标签：

#Hadoop #Linux #Mina #Apache #网络协议

Java 编程专栏收录该内容

19 篇文章

订阅专栏

本文介绍了一种在HDFS上运行的FTP服务器实现方案。该服务器允许用户通过标准FTP客户端连接到HDFS，并且支持SSL加密及HDFS权限管理。此外，还提供了断点续传功能，以解决网络异常可能导致的数据丢失问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

[b]General
[/b]
We developed FTP server which works on a top of HDFS. It allows to connect to HDFS using any FTP client.
FTP server is configurable by hdfs-over-ftp.conf and users.conf. Also it allows to use secure connection over SSL and supports all HDFS permissions.

We used Apache FtpServer to develop it.
[url]http://mina.apache.org/ftpserver[/url]

We provide source code under Apache License 2.0

下载地址：[url]https://sites.google.com/a/iponweb.net/hadoop/Home/hdfs-over-ftp/ftp.tar.bz2?attredirects=0[/url]

1. 当FTP客户端遇到网络异常时，那么此时将导致正在上传的Block回滚，甚至整个文件会丢失。解决方案是在异常时，记录stream，然后关闭。

2. 支持续传。