MessageDigest使用多线程对大文件进行分片MD5

最近做一个功能用户上传文件的时候文件比对是否重复，但是文件很大的话这样子MD5会非常慢，然后网上也没有多线程的实现，就自己写了一个

这里有个坑， byte[] buffer = new byte[100 * 1024];修改这个字节长度的时候每次MD5都会不一样，是因为：如果这个buffer有空的数据也会被MessageDigest.update计算进去比如byte[] buffer={0,0,0,0} 或者像这样，这里是 org.apache.commons.codec.digest下的DigestUtils的源码，将size设置为一样大小

整体思路是参照文件多线程复制的思路，将文件分成几段然后分别去MD5，这样子有很多条MD5信息，然后拿到MD5list,重新MD5生成一个新的MD5信息

参考链接
多线程复制文件
java 计算文件MD5值 大文件

package utils;


import java.io.*;

import java.security.MessageDigest;

import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.Callable;

import java.util.concurrent.ExecutionException;
import java.util.concurrent.FutureTask;


/**
 * @author Xuyijun
 * @classname FileMd5.java
 * @create 2021-12-08, 星期三, 10:17:35
 */
public class FileMd5  {
   
    public static String getMD5Message(File file){
   

        List<FutureTask> list = startThread(5, file.length(), file);
        StringBuilder stringBuilder = new StringBuilder();
        list.forEach(futureTask -> {
   
            try {
   
                stringBuilder.append(futureTask.get());
            } catch (InterruptedException | ExecutionException e) {
   
                e.printStackTrace();
            }
        });
        return FileMd5Util.getMD5String(stringBuilder.toString());
    }

    public static void main(String[] args) {
   
        long start = System.currentTimeMillis();
        String md5Message = FileMd5.getMD5Message(new File("文件"));

        System.out.println(md5Message);

    }

    public static List<FutureTask>