HDFS文件以流的形式输出供前端下载


一、背景

之前有使用过Java使用hdfs相关API下载文件,但前后端交互有时会会没办法使用,本次需求是将HDFS文件使用流的形式下载下来。


二、代码

 /**
     * @param path  文件路径
     * @param fileName  文件名
     * @param response  响应头
     */
    public void downloadHdfsFile(String path,String fileName, HttpServletResponse response) {
        // 查询HDFS
        Configuration config = new Configuration();
        config.set("fs.default.name", hdfsAddress);
        // 文件路径和名称拼接
        String remoteFilePath = path "/" + fileName;
        Path sourceFilePath = new Path(remoteFilePath);
        FileSystem fs;
        try {
            // 远程地址
            fs = FileSystem.get(new URI(remoteFilePath), config, "root");
            boolean isExists = fs.exists(sourceFilePath);
            // 文件存在则直接下载
            if (isExists) {
                response.setHeader("Cache-Control", "no-cache, no-store, must-revalidate");
                response.setHeader("Content-Disposition", "attachment; filename=" + fileName);
                response.setHeader("Pragma", "no-cache");
                response.setHeader("Expires", "0");
                response.setHeader("Last-Modified", new Date().toString());
                response.setHeader("ETag", String.valueOf(System.currentTimeMillis()));
                // 获取流
                InputStream in = fs.open(sourceFilePath);
                ServletOutputStream out = response.getOutputStream();
                int b = 0;
                byte[] buffer = new byte[1024 * 1024];
                while (b != -1) {
                    b = in.read(buffer);
                    // 写到输出流(out)中
                    out.write(buffer, 0, b);
                }
                in.close();
                out.close();
                out.flush();
            } else {
                // 文件不存在,其他处理
                ......
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
首先需要明确一点,Hadoop是一个分布式文件系统,它并不直接提文件的上传、下载、删除等操作。我们通常是通过HDFS API来对Hadoop进行文件操作。因此,在SSM中要展示文件列表、上传、下载、删除文件,我们需要使用HDFS API来实现。 下面是SSM中使用HDFS API进行文件操作的示例代码: 1. 展示文件列表 在Controller中编一个方法,通过HDFS API获取文件列表信息,将其回给前端展示。 ```java @RequestMapping("/fileList") @ResponseBody public List<String> getFileList() throws IOException { // 初始化HDFS配置 Configuration conf = new Configuration(); // 获取HDFS文件系统对象 FileSystem fs = FileSystem.get(URI.create("hdfs://localhost:9000"), conf); // 获取文件列表 FileStatus[] fileStatuses = fs.listStatus(new Path("/")); List<String> fileList = new ArrayList<>(); for (FileStatus fileStatus : fileStatuses) { String fileName = fileStatus.getPath().getName(); fileList.add(fileName); } return fileList; } ``` 2. 上传文件 在Controller中编一个方法,通过HDFS API文件上传到Hadoop分布式文件系统中。 ```java @RequestMapping(value = "/upload", method = RequestMethod.POST) @ResponseBody public String uploadFile(@RequestParam("file") MultipartFile file) throws IOException { // 初始化HDFS配置 Configuration conf = new Configuration(); // 获取HDFS文件系统对象 FileSystem fs = FileSystem.get(URI.create("hdfs://localhost:9000"), conf); // 获取文件上传 InputStream in = file.getInputStream(); // 获取文件输出 OutputStream out = fs.create(new Path("/" + file.getOriginalFilename())); // 将文件从输入复制到输出 IOUtils.copyBytes(in, out, conf); return "success"; } ``` 3. 下载文件 在Controller中编一个方法,通过HDFS API文件从Hadoop分布式文件系统中下载到本地。 ```java @RequestMapping("/download") public void downloadFile(HttpServletResponse response, @RequestParam("fileName") String fileName) throws IOException { // 初始化HDFS配置 Configuration conf = new Configuration(); // 获取HDFS文件系统对象 FileSystem fs = FileSystem.get(URI.create("hdfs://localhost:9000"), conf); // 获取文件输入 FSDataInputStream in = fs.open(new Path("/" + fileName)); // 设置下载文件的Content-Type response.setContentType("application/octet-stream"); // 设置下载文件的Content-Disposition response.setHeader("Content-Disposition", "attachment;filename=" + URLEncoder.encode(fileName, "UTF-8")); // 获取文件输出 OutputStream out = response.getOutputStream(); // 将文件从输入复制到输出 IOUtils.copyBytes(in, out, conf); out.flush(); out.close(); in.close(); } ``` 4. 删除文件 在Controller中编一个方法,通过HDFS API文件从Hadoop分布式文件系统中删除。 ```java @RequestMapping("/delete") @ResponseBody public String deleteFile(@RequestParam("fileName") String fileName) throws IOException { // 初始化HDFS配置 Configuration conf = new Configuration(); // 获取HDFS文件系统对象 FileSystem fs = FileSystem.get(URI.create("hdfs://localhost:9000"), conf); // 删除文件 boolean result = fs.delete(new Path("/" + fileName), true); if (result) { return "success"; } else { return "fail"; } } ``` 以上代码仅参考,具体实现方式需要根据项目需求进行调整。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值