- 博客(10)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 Java怎么实现几十万条数据插入(30万条数据插入MySQL仅需13秒)转载非原创
使用了 MyBatis 的批处理操作，将每 1000 条数据放在一个批次中插入，能够较为有效地提高插入速度。同时请注意在循环插入时要带有合适的等待时间和批处理大小，以防止出现内存占用过高等问题。限制来提高可以传输的内容，不过由于30万条数据超出太多，这个不可取，梭哈看来是不行了 😅😅😅。总共执行了14909367毫秒，换算出来是4小时八分钟。超出最大数据包限制了，可以通过调整。执行后可以发现磁盘IO占比飙升，一直处于高位。springboot项目直接一次性。和数据库的参数，以获得更好的性能。
2023-03-23 14:09:00
2042
原创 青龙羊毛——B站视频
此脚本功能一：获取自己的 Cookie 二：新建环境变量 三：安装dotnet安装epel源 导入dotnet源 查找dotnet安装包 安装最新dotnet 验证安装是否成功 注意最后两步非常慢等等哦，我自己装了10分钟十几k速率的跑四：修改配置文件 五：添加&拉取脚本库 做到上面的没错误的就别往下看了，如果运行还显示ICU失败安装如下Linux上运行一些程序时回报Couldn’t find a valid ICU package i
2022-07-07 17:12:49
1514
4
原创 【网页抓京东ck】
第一步下载alook浏览器Alook浏览器官网 - 8倍速，极简且强大的移动手机浏览器，Alook唯一官方网站 IOS版本收费，建议使用安卓手机操作。如果有支付宝红包的话，可以尝试使用苹果账户购买第二步打开京东http://m.jd.com用手机验证码或者京东账号密码登录上去第三步点击三条杠那个按钮，找到工具箱，点击工具箱找到开发者工具，点击开发者工具就会有cookies这个按钮了，点击一下把里边内容拷贝出来就会有所需要的京东ck了。1.电脑浏览器打开https://m.jd.com/京东网址2.点击我的,
2022-06-01 16:00:15
8121
原创 工作心得：mysql之手写sql
一个好的好的sql能省很多逻辑代码，最开始的做手中的的代码时，老是习惯的本着面向过程书写代码，一行一行代码的敲，判断来判断去，如果这个成功就执行这个，反之在进行一个新得逻辑，但java这门语言主打的就是面向对象，好多东西封装好了我们用就行了，简单的东西千万别复杂化了，java可以说用到老学到老，你不学，也不用，你就会被时代抛弃，数数大家都会，但是java就好比你要学会加减，在后面你要学乘除，在后面你要学方程等等，你需要知道1+1=2吗？，你不需要！你只需要会套公式用就行了，如果你只停留在数数的层次早...
2022-04-18 14:51:28
784
1
原创 手中有数张纸牌，顺序未知。按如下操作将手中的牌转移到桌上
手中有数张纸牌，顺序未知。按如下操作将手中的牌转移到桌上：将手中最上面的一张牌放到桌上，然后再将最上面的一张牌放到手中余下的牌底，如此循环往复，最后桌上的牌，从上到下分别为【A 2 3 4 6 7 8 9 10 J QK】.请写代码计 算原来手中牌的顺序
2022-04-15 11:53:53
466
原创 根据登陆ip，限制1分钟最多10次服务请求，须支持单机并发场景，请使用java代码原生实现
由于业务系统服务接口被竞对高频爬取，我们需要上线一个防刷限流功能。场景要求如下:根据登陆ip，限制1分钟最多10次服务请求，须支持单机并发场景，请使用java代码原生实现(勿使用中间件redis、计数器之类方案)。
2022-04-14 17:27:26
1889
3
原创 RocketMQ从零到学会使用
1. 相关概念及安装1.1 MQ基本概念消息队列（MQ：Message Queue）是以一种用来保存消息数据的队列。调用：web层代码调用service层代码时调用；请求响应可以称之为调用；这些调用多是同步的，调用方需要等待被调用方给出结果之后，才能继续执行后面的代码。消息：调用者发送给被调用者，需要后者处理的内容。包括但不仅限于（eg：）web层发送给service层需要其保存的数据对象。队列：数据结构的一种，特征：先进先出，FIFO。MQ系统中包含如下角色和概念：生产者（
2022-04-12 10:16:17
21461
2
原创 Docker从入门到项目部署
Docker 概念• Docker 是一个开源的应用容器引擎• 诞生于 2013 年初，基于 Go 语言实现， dotCloud 公司出品（后改名为Docker Inc） • Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的Linux 机器上。• 容器是完全使用沙箱机制，相互隔离• 容器性能开销极低。一、安装Docker虚拟机要能上外网（ping www.baidu.com）1、yum 包更新到最新yum update（...
2022-04-08 17:12:22
2956
原创 关于on duplicate key update导致主键不连续自增的问题
最近项目上需要实现这么一个功能:从服务器数据库获取一个json字符串，通过解析获得一个10万量的数据，存入本本地数据库，最开始采用先更新后新增的逻辑进行操作，通过测试逐条更新执行完，整个代码是在10分钟左右，效率低下，所以采用了如下代码<insert id="insertPackWmsOperator" parameterType="java.util.List" useGeneratedKeys="true" keyProperty="id"> insert into pack_
2022-04-06 13:54:08
4734
原创 Git生成ssh公私钥，连接getee仓库克隆代码
Gitee 提供了基于SSH协议的Git服务，在使用SSH协议访问仓库之前，需要先配置好账户/仓库的SSH公钥。一、预装软件git（Windows版）和TortoiseGit（小乌龟）二、设置全局属性1、右击打开Git命令窗口2、设置Git的全局name和email：git config --global user.name "xx" git config --global user.email "xx@163.com"注意：这里的xxxxx@xxxxx....
2022-03-29 15:12:29
3358
【微服务系列】Docker部署微服务
2022-04-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人