
效率优化
阿俊坚
这个作者很懒,什么都没留下…
展开
-
10W条excel数据入库效率提升小结
一、需求:使用poi读取国民经济行业分类表(国家统计局搞的excel表格),同时将数据插入已建好的MySQL表中。二、采用框架:springboot + MyBatisPlus(框架只用于测试,重点在于思路,而不在于使用什么框架)三、测试:使用最基本的逐条获取excel记录放入list中,在循环比例 逐条插入,计算耗时@Test public void test01() t...原创 2019-07-11 17:09:26 · 1268 阅读 · 0 评论 -
采用ForkJoin框架子任务实现百万数据插入数据库
1、写一个内部类,继承RecursiveTask,实现其中的compute方法class ForkJoinSumCalculate extends RecursiveTask<Integer>{ private int start; private int end; private List<String> list...原创 2019-07-12 10:02:25 · 1666 阅读 · 0 评论 -
使用flaterStream对字符串压缩及解压缩
在前后台进行交互时,当页面的PV量较大,为了减少带宽流量的消耗,有必要对前后台传输的字符串进行压缩,如果1天有1亿的PV,那么一天就能产生4TB的带宽流量了,从节省带宽成本来说,压缩还是很有必要的。使用 DeflaterOutputStream 压缩字符串结果@Test // 使用 DeflaterOutputStream 压缩字符串 public void test3(...原创 2019-07-19 19:33:57 · 455 阅读 · 0 评论 -
利用Jsoup爬取百度搜索内容及链接生成对应Excel
最近有朋友遇到需求,说要整理百度搜索结果中的数据,再此小做了下demo。爬取结果:话不多说,直接贴代码。所需依赖:<dependency> <groupId>org.apache.poi</groupId> <artifactId>poi-ooxml</artifactId> <v...原创 2019-07-22 22:43:47 · 1131 阅读 · 2 评论