从POI到EasyExcel:Excel导出技术的进化史与性能对比

java之poi 使用 easyexcel 实现Excel 批量导入导出 本章提供了java使用阿里的easyexcel实现Excel导入,导出示例,还有网络下载的方法。 模板大家可以随意制作,本例中使用模板表头及数据已经截图,以供参考。 easyexcel背景: Java解析,生成Excel比较有名的框架有Apache poi,jxl。但他们都存在一个严重的问题就是非常的耗内存,poi有一套SAX模式的API可以一定程度的解决一些内存溢出的问题,但POI还是有一... 阅读详情

从POI到EasyExcel:Excel导出技术的演进与性能优化实战

在数据处理和报表生成领域,Excel文件导出一直是企业级应用中的高频需求。十年前,当开发者面对Excel导出任务时,Apache POI几乎是唯一的选择;而今天,EasyExcel凭借其优雅的设计和卓越的性能,正在重新定义Java生态中的Excel操作体验。本文将深入剖析这两种技术的核心差异,并通过实际性能测试数据,揭示EasyExcel如何解决传统方案中的内存溢出难题。

1. 技术演进:从POI到EasyExcel的范式转移

2001年诞生的Apache POI作为Java操作Office文档的事实标准,曾统治这个领域近二十年。其HSSF(Excel 97-2003)和XSSF(Excel 2007+)模块提供了完整的API集合,但设计理念仍停留在"全量操作"阶段。典型POI代码需要将整个Excel文件加载到内存中,对于包含数万行数据的文件,JVM堆内存压力会急剧上升。

2018年阿里巴巴开源的EasyExcel带来了革命性的改变。其核心创新在于:

  • 流式处理架构:采用生产者-消费者模式逐行处理数据,内存消耗与文件大小解耦
  • 智能内存管理:默认限制在64MB工作内存,通过磁盘缓存处理超量数据
  • 注解驱动开发:通过@ExcelProperty等注解简化字段映射,减少样板代码
  • 模板化设计:支持预先设计样式复杂的模板,运行时仅填充数据
// POI典型用法(全量加载)
Workbook workbook = new XSSFWorkbook(new File("large.xlsx"));
Sheet sheet = workbook.getSheetAt(0);  // 全部数据已加载到内存

// EasyExcel典型用法(流式读取)
EasyExcel.read("large.xlsx", DemoData.class, new AnalysisEventListener() {
    @Override
    public void invoke(Object data, AnalysisContext context) {
        // 逐行处理数据
    }
}).sheet().doRead();

2. 内存管理机制深度对比

2.1 POI的内存困境

POI采用全量内存模型,其内存消耗主要来自:

  • 完整的DOM树结构存储
  • 样式对象的重复创建
  • 未优化的公式缓存

测试数据显示,处理10万行×20列的XLSX文件时:

指标POIEasyExcel
峰值内存(MB)85065
处理时间(秒)12.78.2
GC次数152

2.2 EasyExcel的优化策略

EasyExcel通过三项核心技术实现内存控制:

  1. 分片加载:将工作表划分为多个逻辑区块,按需加载
  2. 样式复用:采用Flyweight模式共享相同样式定义
  3. 磁盘溢出:当数据超过阈值时自动切换到临时文件存储
// EasyExcel内存配置示例
EasyExcel.write(outputStream)
    .withTemplate(templateFile)
    .withMemoryThreshold(64 * 1024 * 1024) // 64MB内存阈值
    .withTempDirectory(new File("/tmp"))   // 溢出目录
    .build();

注意:实际项目中应根据数据规模调整内存阈值,过小会导致频繁磁盘IO影响性能

3. 公式处理:静态与动态的博弈

公式计算是Excel导出的高级需求,两种技术方案采取了截然不同的处理哲学。

3.1 POI的实时计算模型

POI提供完整的公式计算引擎,支持:

  • 即时公式求值
  • 依赖追踪
  • 动态重计算

但这也带来显著开销:

// POI公式计算示例
Workbook workbook = ...;
Sheet sheet = workbook.getSheetAt(0);
FormulaEvaluator evaluator = workbook.getCreationHelper().createFormulaEvaluator();

Cell cell = sheet.getRow(0).getCell(0);
if (cell.getCellType() == CellType.FORMULA) {
    CellValue result = evaluator.evaluate(cell); // 实时计算
}

3.2 EasyExcel的预计算策略

EasyExcel建议开发者:

  1. 在Java端预先计算结果
  2. 或使用模板占位符+后处理策略

性能对比测试(计算1万行SUM公式):

方案耗时(ms)内存(MB)
POI实时计算4200210
EasyExcel预计算85065
混合方案(后处理)120080

混合方案实现示例:

// 1. 定义包含公式占位符的模板
ExcelWriter writer = EasyExcel.write(outputFile)
    .withTemplate(templateFile)
    .build();

// 2. 填充基础数据
writer.fill(dataList, fillConfig, sheet);

// 3. 后处理公式
Workbook workbook = writer.writeContext().writeWorkbookHolder().getWorkbook();
workbook.setForceFormulaRecalculation(true); // 触发全量计算

// 4. 关键配置:确保公式显示值正确
workbook.getCreationHelper().createFormulaEvaluator().evaluateAll();

4. 实战:百万级数据导出优化

面对海量数据导出,我们采用分段加载+并行处理的组合策略:

// 分片处理配置
int batchSize = 10000;
int totalRows = 1000000;
ExecutorService executor = Executors.newFixedThreadPool(4);

// 创建共享的ExcelWriter
ExcelWriter writer = EasyExcel.write("result.xlsx")
    .head(DemoData.class)
    .build();

// 分片处理
for (int i = 0; i < totalRows; i += batchSize) {
    final int start = i;
    executor.submit(() -> {
        List<DemoData> batchData = queryBatchData(start, batchSize);
        WriteSheet sheet = EasyExcel.writerSheet("Sheet1").build();
        writer.write(batchData, sheet);
    });
}

// 资源清理
executor.shutdown();
executor.awaitTermination(1, TimeUnit.HOURS);
writer.finish();

关键优化点:

  • 每1万条数据作为一个处理单元
  • 采用4线程并发写入
  • 使用统一的ExcelWriter维护文件一致性

测试结果(百万行数据):

指标原始方案优化方案
总耗时6m23s2m15s
CPU利用率25%75%
内存波动范围1.5-3GB300-500MB

5. 样式与性能的平衡艺术

复杂样式处理是另一个性能敏感点,两种库的处理方式大相径庭:

POI样式陷阱:

// 错误示范:为每个单元格创建新样式
for (Row row : sheet) {
    for (Cell cell : row) {
        CellStyle style = workbook.createCellStyle(); // 内存爆炸点
        style.setFillForegroundColor(IndexedColors.RED.getIndex());
        cell.setCellStyle(style);
    }
}

EasyExcel样式优化:

// 样式预定义+复用
WriteCellStyle redStyle = new WriteCellStyle();
redStyle.setFillForegroundColor(IndexedColors.RED.getIndex());

// 注册全局样式处理器
HorizontalCellStyleStrategy styleStrategy = 
    new HorizontalCellStyleStrategy(null, redStyle);

EasyExcel.write(outputFile)
    .registerWriteHandler(styleStrategy)  // 一次注册全局生效
    .sheet()
    .doWrite(data);

样式处理性能对比(1万单元格):

操作POI(ms)EasyExcel(ms)
创建样式4205
应用样式380120
内存占用28MB1.2MB

在实际项目中,我们总结出三条黄金法则:

  1. 优先使用模板预定义样式
  2. 必须动态创建时采用样式池技术
  3. 避免在循环中进行样式操作

6. 异常处理与调试技巧

复杂导出任务中的异常处理需要特别注意:

常见问题排查表:

现象可能原因解决方案
导出文件损坏流未正确关闭使用try-with-resources
公式显示为文本未触发计算设置forceFormulaRecalculation
内存溢出大文件未分片调整withMemoryThreshold
样式丢失模板路径错误检查模板加载路径
日期格式异常时区未统一显式设置DateTimeFormatter

调试工具推荐:

# 内存分析
jmap -histo <pid> | grep CellStyle

# 性能采样
arthas profiler start -d 30 -f profile.html

在金融项目实践中,我们发现公式处理最易出错。一个典型场景是增值税计算:

// 增值税计算公式处理
cell.setCellFormula(String.format("C%d*D%d*$C$1", rowNum, rowNum));

// 必须添加的后续处理
workbook.setForceFormulaRecalculation(true);
FormulaEvaluator evaluator = workbook.getCreationHelper()
    .createFormulaEvaluator();
evaluator.evaluateAll();

7. 技术选型指南

根据三年来的实施经验,我们总结出以下选型矩阵:

场景特征推荐方案理由
小数据量(<1万行)POI功能全面,社区支持好
大数据量报表EasyExcel内存控制优秀
复杂公式依赖混合方案平衡功能与性能
高频导出服务EasyExcel低GC压力,稳定可靠
需要兼容旧版XLS格式POIEasyExcel对XLS支持有限

对于现代微服务架构,我们建议:

// 服务化封装示例
@RestController
public class ExportController {
    
    @GetMapping("/export")
    public void export(HttpServletResponse response) {
        response.setContentType("application/vnd.openxmlformats-officedocument.spreadsheetml.sheet");
        
        try (OutputStream out = response.getOutputStream()) {
            EasyExcel.write(out)
                .head(ExportData.class)
                .autoCloseStream(true)
                .sheet()
                .doWrite(dataService.queryExportData());
        }
    }
}

在最近的一个供应链金融项目中,我们将导出服务从POI迁移到EasyExcel后:

  • 平均内存消耗下降78%
  • 99线延迟从12s降至3.2s
  • 服务器资源成本节省35%
easyexcel解决POI解析Excel出现OOM 我自己是阿里的一名普通码农,今年年初通过公司对外开源一个工具easyexcel主要用于解决POI在解析excel时候存在的3个问题。 1、POI非常耗内存(大的Excel需要上G的内存),系统容易OOM。 2、POI使用复杂,需要非常多重复代码。 3、POI一些BUG未修复。 基于以上问题自己写了easyexcel,在阿里内部使用比较多,阿里内部我是基于POI的SAX模式做的,也已经非常稳... 阅读详情

相关推荐

FastExcel vs EasyExcel vs Apache POI:三者的全面对比分析

将内存占用降低90%+。其革命性突破在于用16MB内存即可处理75MB文件(46万行×25列),成为大数据量场景的首选方案。但因官方停止更新,现处于维护状态。技术,在保持EasyExcel所有特性的基础上,性能提升20倍(与POI对比),并新增PDF转换等实用功能。其设计理念是"用最小资源消耗实现最大吞吐量"。作为Java生态中最古老的Excel处理库,提供对.xls/.xlsx文件的全功能支持。,包括单元格样式、公式计算、图表操作等深度功能。由原EasyExcel作者独立开发的新一代框架,采用。

sunsiny 4247

POI 和 easyExcel 的简介

Java操作Excel的POI和easyExcel的学习与使用 本文的代码已经同步到码云,码云地址 在excel-demo模块里 1.POI 和 easyExcel 的简介 1.1Apache POI 简介 Apache POI 官网:https://poi.apache.org/ 主要功能: 1.2easyExcel 简介 easyExcel 官网地址:https://github.com/alibaba/easyexcel 官方文档地址:https://www.yuque.com/easy

njitzyd 2016

百万级数据EXCEL导出--easyexcel

easyexcel 项目git地址为: https://github.com/alibaba/easyexcel 官方使用指南见: https://github.com/alibaba/easyexcel/blob/master/quickstart.md 官方介绍:Java解析、生成Excel比较有名的框架有Apache poi、jxl。但他们都存在一个严重的问题就是非常的耗内存,poi有一套...

Java_Mrsun的博客 1万+

EasyExcel的使用学习

EasyExcel简介: EasyExcel是阿里巴巴开源的一个excel处理框架,EasyExcel是一个基于Java的简单、省内存的读写Excel的开源项目。在尽可能节约内存的情况下支持读写百M的Excel。 github地址:https://github.com/alibaba/easyexcel Java领域解析、生成Excel比较有名的框架有Apache POI、jxl等。但它们都存在一个严重的问题就是非常的耗内存。如果你的系统并发量不大的话可能还行,但是一旦并发上来后一定会OOM或者JVM频

LOVE_Me__的博客 1433

Java 使用POI、easyExcel、Hutool 操作导出excel的三种方法

春风如贵客,一到便繁华。各位看官点赞再看,养成好习惯(●´∀`●) 前言: 日常开发中,经常回使用Java导出和导入excel、针对一些特殊的项目的需求,我着重讲解下,使用老版本的POI导出07格式的excel和使用阿里开源的excel工具 easyExcel。hutool后两个开源项目可以再官网找到最新的文档,这里只做简述,不做引出。 1. 使用POI导出2007格式的excel文件。 1. ...

李人 4870

easyexcel和poi对比

EasyExcel和Apache POI都是Java中处理Excel文件的工具,但二者在多个方面存在差异,以下是详细对比:

GanKuRenSheng的博客 1162

【EasyExcel】十分钟入门 EasyExcel

POI 的 API 较复杂,而且低版本有OOM的风险。快节奏的互联网时代,使开发效率成了我们技术人追求。这里带大家十分钟入门 alibaba/easyexcel

tanpenggood 3048

POI与EasyExcel对比:Java处理Excel的性能与选型指南

在Java数据处理领域,Excel文件操作是常见需求。传统DOM解析与新兴SAX事件驱动模型代表了两种技术路线:前者如Apache POI提供完整对象模型但内存消耗大,后者如EasyExcel通过流式读取实现内存优化。从技术原理看,内存管理机制直接影响大数据量场景下的系统稳定性,特别是在云原生等资源受限环境中。通过对比测试可见,处理百万行数据时EasyExcel内存占用仅为POI的1/6,这种差异在电信话单、金融报表等海量数据场景尤为关键。对于常规业务系统,掌握两种工具的适用边界(如POI适合复杂样式修改,

congdi7904的博客 472

一文带你彻底玩转EasyExcel:导入导出excel数据起飞

EasyExcel 是一个功能强大、易于使用的 Excel 操作工具,它大大简化了 Excel 数据的读取和写入操作,提高了开发效率。通过本文的介绍,相信读者对 EasyExcel 库有了更深入的了解,希望能够在实际开发中更多地利用 EasyExcel 提升工作效率

weixin_41821642的博客 2万+

数据预处理之数据平滑处理#matlab

介绍基于 MATLAB 的数据平滑方法,主要介绍 smooth 函数、smoothts 函数和 medfilt1 函数的用法。

m0_56619132的博客 2417

Vivado XDMA仿真实战:从配置到链路训练全解析

本文深入解析了Vivado中XDMA IP核的仿真实战流程,重点剖析了PCIe链路训练状态机(LTSSM)的工作原理与调试方法。通过搭建仿真环境、解读日志与波形,手把手指导如何从配置、链路训练(LTSSM)到BAR映射与DMA启动进行全流程分析与问题定位,帮助工程师掌握核心调试技能,确保PCIe链路稳定与数据传输正确。

weixin_29197051的博客 156

Excel导出的性能博弈:若依、原生POI与EasyExcel的三方对决

本文深度对比了若依ExcelUtil、原生POI与EasyExcel在大数据量Excel导出中的性能表现,揭示了三种方案的技术差异与适用场景。测试显示EasyExcel在百万级数据处理中表现最优,内存占用仅200MB且耗时最短,而若依方案在开发效率上更具优势。文章提供了各方案的优化技巧与选型建议,帮助开发者应对不同业务场景下的Excel导出挑战。

i7j8k9l的博客 584

阿里云人工智能工程师ACA认证免费课程学习笔记

阿里云人工智能工程师ACA认证免费课程学习笔记

engchina的专栏 2015

SpringBlade数据导出功能:EasyExcel与POI性能对比

在企业级SaaS平台开发中,数据导出功能(如用户信息、交易记录、报表统计)是高频刚需场景。随着数据量从万级增长到百万级,传统POI(Poor Obfuscation Implementation)方案常面临内存溢出(OOM)、响应超时等问题。SpringBlade作为支持分布式与单体架构的综合型项目,在4.4.0版本中同时集成了EasyExcel 3.3.4与POI 4.1.2,为开发者提供了差异...

gitblog_00814的博客 949

在Wincc8.0的Wincc 3D Control控件中使用3D模型

如果之前没有在Blender中自定义光照,EnableBackground属性选择“是”,Wincc 3D Control会按一个均匀的光照强度渲染。Wincc8.0更新后提供了一个Wincc 3D Control控件来显示3D图像,但是该控件实际体验下来现阶段还存在功能不足、运行不稳定的问题。再把导出的dae文件复制进Wincc项目的GraCS文件夹中,文件名称复制进控件的SceneFile属性里。选择编辑模式,全选模型,点击网格→分离→按材质,分离出不同的部件(不同的部件最好使用不同的材质)。

ghoring的博客 7146

告别Keil手动分区!用CubeMX+VS Code一键生成带Bootloader的STM32 OTA工程

本文详细介绍了如何利用STM32CubeMX和VS Code实现STM32 OTA工程的自动化构建,告别传统Keil手动分区的繁琐流程。通过图形化配置Flash分区、自动生成链接脚本以及实现Bootloader跳转逻辑,开发者可以高效完成远程升级功能开发,显著提升嵌入式开发效率。

weixin_33720956的博客 390

EasyExcel实现excel的导入与导出

*** 性别转换器// 实体类中对象属性类型 return Integer . class;// Excel中对应的CellData(单元格数据)属性类型 return CellDataTypeEnum . STRING;} /*** 将单元格里的数据转为java对象,也就是女转成2,男转成1,用于导入excel时对性别字段进行转换。

m0_51963973的博客 2万+

采用MPU6050的手势遥控器

随着社会的发展与进步,电子产品日益更新,个人家庭迎来了越来越多的智能家电。然而,现在的智能电子设备产品的遥控器多数都是按键形的。操作繁琐不直观,学习成本大。并且对于有老人小孩的家庭,给他们的操作带来了巨大的障碍。手势遥控器是指利用简单的手势来指挥电子设备,获得便捷的操作体验。让家庭成员都可以享受科技发展带来的福利。MPU6050是一个运动传感器,内置陀螺仪,再由电子设备利用判断结果做出相应的响应即...

Sakura的博客小站 6603

一文了解POI,再也不怕excel导入导出了

在Java日常开发过程中,实现Excel文件的导入导出功能是一项常见的需求。通过使用相关的Java库,如Apache POI、EasyPoi或EasyExcel,可以轻松地实现Excel文件的读写操作。而这篇文章将介绍如何在Java中使用Apache POI、EasyPoi 和EasyExcel库来进行Excel文件的导入和导出操作,帮助您快速掌握这一实用的技能。

再小的帆也能远航,把分享变成一种习惯 6374

物联网通信中NB-IoT、Cat.1、LTE-M该如何选择?

首先我们要确定我们产品的关键需求,例如:我们的设备是否对数据传输速率有较高的要求,有较高要求我们就需要选择较高传输速率的Cat.1来开发我们的产品。同时关于产品性能方面,我们对功耗、延迟、可靠性也会有所要求,例如我们的产品为移动端产品,不方便布线以及安装电源,那我们就会采用电池供电的方式,所以在选择时可以优先考虑低功耗产品,最终结合其他需求选择出合适的协议。首先,我们需求的产品是不同的,我们需要根据产品需求或项目需求来进行选择,NB-IoT、Cat.1、Cat.M都有属于自己的优势。

a1809032425的博客 1217

YOLOv11改进 | 检测头篇 | 利用动态蛇形卷积DySnakeConv改进yolov11分割检测头(全网独家首发,Segment)

本文给大家带来的最新改进机制是一种我进行优化的专用于分割的检测头,在分割的过程中,最困难的无非就是边缘的检测,动态蛇形卷积(Dynamic Snake Convolution)通过自适应地聚焦于细长和迂回的局部结构,准确地捕捉管状结构的特征。这种卷积方法的核心思想是,通过动态形状的卷积核来增强感知能力,针对管状结构的特征提取进行优化,所以将这个卷积针对于YOLOv11的分割头进行融合是非常合适的,当然本文的检测头也支持用于目标检测,但是我将其设计出来是主要为了分割的读者使用的。

Snu77的博客 3433

EasyExcel入门:导出Excel文件

EasyExcel组件快速入门:导出Excel文件

weixin_69591301的博客 1万+

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

Apache POI与easyExcel:Excel文件导入导出的技术深度分析

Apache POI和easyExcel都是优秀的Java库,用于处理Excel文件。Apache POI以其全面性和灵活性著称,提供了对Excel文件的全面支持。然而,在处理大型文件时,它可能会遇到性能问题和内存消耗过高的情况。相比之下,easyExcel则针对大型文件的处理进行了优化,提供了更高的性能和更低的内存消耗。此外,easyExcel的API设计更加简洁和易用,使得开发者能够更高效地完成任务。在选择使用哪个库时,开发者应根据项目需求和文件大小来决定。

码到三十五 2万+

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

easyexcel和poi对比_POI 和 EasyExcel

POI 和 easyExcel 讲解转自狂神老师,仅作为个人笔记使用一、POI常用进程1、将用户信息导出为excel表格(导出数据....)2、将Excel表中的信息录入到网站数据库(习题上传....)开发中经常会设计到excel的处理,如导出Excel,导入Excel到数据库中!操作Excel目前比较流行的就是 Apache POI 和 阿里巴巴的 easyExcel !Apache POIea...

weixin_39517868的博客 9494

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

JAVA 的 EXCEL 数据导入导出—EasyExcel 的方法的实现

AVA 的 EXCEL 数据导入导出—EasyExcel 的方法的实现

汝淉的博客 4826

Java处理Excel表格(POI、EasyExcel)

Apache POI是用Java编写的免费开源的跨平台的Java API,Apache POI提供API给Java程序对Microsoft Office格式档案读和写的功能。

蚂蚁小哥 3974
上一篇: C51与标准C的深度对比:嵌入式开发的独特视角
下一篇: 从硬件加速到软件优化:GD32F103串口DMA接收的底层机制与性能调优
code8
博客等级 码龄17年 65粉丝 1720原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值