java 操作大数据量的Excel

private Integer originId;

@ExcelProperty(“gateway_id”)

private String gatewayId;

@ExcelProperty(“ear_tag_id”)

private String earTagId;

@ExcelProperty(“temp”)

private String temp;

@ExcelProperty(“step_count”)

private Integer stepCount;

@ExcelProperty(“battery_power”)

private Integer batteryPower;

@ExcelProperty(“master_signal”)

private Integer masterSignal;

@ExcelProperty(“slave_signal”)

private Integer slaveSignal;

@ExcelProperty(“version”)

private String version;

@ExcelProperty(“upload_time”)

private Date uploadTime;

@ExcelProperty(“update_time”)

private Date updateTime;

@ExcelProperty(“create_time”)

private Date createTime;

}

其中ExcelProperty对应的就是我们的列名，更多详细的描述可以自行查看开发手册，由于文章篇幅限制，我把getter和setter方法删除了，自己可以自行添加进去

2.2 创建监听器

---

import com.alibaba.excel.context.AnalysisContext;

import com.alibaba.excel.event.AnalysisEventListener;

import com.huateng.pig.mapper.DateDetailInfoMapper;

import com.huateng.pig.po.DateDetailInfo;

import lombok.extern.slf4j.Slf4j;

import java.util.ArrayList;

import java.util.List;

@Slf4j

public class DateDetailInfoListerner extends AnalysisEventListener {

private DateDetailInfoMapper dateDetailInfoMapper;

/**

• 每隔1000条存储数据库，实际使用中可以3000条，然后清理list ，方便内存回收

*/

private static final int BATCH_COUNT = 1000;

List list = new ArrayList();

public DateDetailInfoListerner(DateDetailInfoMapper dateDetailInfoMapper) {

this.dateDetailInfoMapper = dateDetailInfoMapper;

}

@Override

public void invoke(DateDetailInfo dateDetailInfo, AnalysisContext analysisContext) {

list.add(dateDetailInfo);

// 达到BATCH_COUNT了，需要去存储一次数据库，防止数据几万条数据在内存，容易OOM

if (list.size() >= BATCH_COUNT) {

saveData();

// 存储完成清理 list

list.clear();

}

}

@Override

public void doAfterAllAnalysed(AnalysisContext analysisContext) {

// 这里也要保存数据，确保最后遗留的数据也存储到数据库

saveData();

log.info(“所有数据解析完成！”);

}

/**

• 加上存储数据库

*/

private void saveData() {

log.info(“{}条数据，开始存储数据库！”, list.size());

int saveNum = dateDetailInfoMapper.addBatches(list);

log.info(“成功存储” + saveNum + “数据库成功！”);

}

}

其中对应的DateDetailInfoMapper如下：

public interface DateDetailInfoMapper{

int addBatches(List list);

}

对应的xml文件代码如下：

INSERT INTO date_detail_info

(origin_id,gateway_id, ear_tag_id, temp, step_count,battery_power,master_signal,slave_signal,version,

upload_time, update_time, create_time)

VALUES

(#{dateDetailInfo.originId}, #{dateDetailInfo.gatewayId}, #{dateDetailInfo.earTagId},#{dateDetailInfo.temp},

#{dateDetailInfo.stepCount},

#{dateDetailInfo.batteryPower},#{dateDetailInfo.masterSignal},

#{dateDetailInfo.slaveSignal},#{dateDetailInfo.version}, #{dateDetailInfo.uploadTime},

#{dateDetailInfo.updateTime},#{dateDetailInfo.createTime})

具体使用：

ExcelReader excelReader = EasyExcel.read(new file(“D:\ninesun\test.sls”), DateDetailInfo.class, new DateDetailInfoListerner(dateDetailInfoMapper)).build();

ReadSheet readSheet = EasyExcel.readSheet(0).build();

excelReader.read(readSheet);

// 这里千万别忘记关闭，读的时候会创建临时文件，到时磁盘会崩的

excelReader.finish();
这样的话就可以快速将表中的数据转存到数据库中，大数据量的导出也可以参考此思路，后面会更新上去

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

er.finish();
这样的话就可以快速将表中的数据转存到数据库中，大数据量的导出也可以参考此思路，后面会更新上去

[外链图片转存中…(img-REJTY2Ho-4701986349948)]
[外链图片转存中…(img-IcI2fIge-4701986349948)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！