- 博客(18)
- 收藏
- 关注
RSS订阅原创 PreparedStatement 大数据查询
PreparedStatement 大数据查询慢解决办法前言项目有个需求需要查询从A库取1000w条数据搬到B库，这边需要支持不同的数据库类型，并且sql是根据客户动态配置出来的，所以就选择了PreparedStatement，后来不懈努力传输1000w条数据只需要7分钟左右。记录一下经验1.开始选择的方案是使用分页查询，每页查1w条，使用while循环查询，查到没有数据为止String sql = "查询1000w条数据 limit ?,?";PreparedStatement sourceP
2021-07-30 14:53:11
2045
原创 jdbc获取数据库表、字段接口
我是标题JDBC获取数据库表和字段工具类MySql、SQL Server、Sap Hana、Oracleimport com.lydata.handfulcode.common.constants.DataSourceConstants;import com.lydata.handfulcode.common.exception.BusinessException;import com.lydata.handfulcode.common.utils.DataBaseConnectionUtil;
2021-07-17 18:15:42
526
原创 数据库连接工具类
我是标题有点用好像完全又没有用的工具类java代码package com.lydata.handfulcode.common.utils;import cn.hutool.core.convert.Convert;import org.slf4j.Logger;import org.slf4j.LoggerFactory;import java.sql.Connection;import java.sql.DriverManager;import java.sql.PreparedSt
2021-07-17 16:51:09
263
原创 jdbc获取各个数据库主键字段信息
我是标题最近在做数据集成系统，遇到各个数据库不同的sql处理真是一个脑壳两个大，好歹挺过来了，记录一下麻烦而又没有什么技术难度的问题Oracle：SELECT *FROM user_tab_columns tINNER JOIN user_cons_columns ucc ON t.COLUMN_NAME = ucc.COLUMN_NAME AND t.TABLE_NAME = ucc.TABLE_NAMEINNER JOIN user_constraints uc ON ucc.CONSTR
2021-07-17 16:30:38
1158
原创 java kafka动态设置用户读写权限
kafka动态设置用户读写权限我这里cloud Hoxton.SR8 版本boot 2.3.0.RELEASE版本直接上代码了嗷import java.util.Arrays;import java.util.HashMap;import java.util.List;import java.util.Map;import org.apache.kafka.clients.admin.AdminClient;import org.apache.kafka.clients.admin.Ad
2021-02-26 17:27:48
1217
3
原创 多线程子线程获取不到主线程的request
多线程子线程获取不到主线程的request使用多线程时有时候会碰到子线程获取不到主线程的request原因是子线程还未执行完成而主线程已经执行完毕则导致子线程获取不到我们只需要加上两句代码即可// RequestAttributes对象设置为子线程共享// 解决开启多线程时子线程获取不到主线程的requestServletRequestAttributes attributes = (...
2020-03-24 15:48:08
2229
2
原创 java百万数据集list.removeAll
java百万数据集list.removeAll以下是未性能极差的代码????（辣鸡代码）以下是测试代码????（优化代码）以下是测试数据下代码讲解1.842行custmLabelVList（旧客户）数量有八十六多万条2.849行custmIds（新客户）数量八十七万多条3.851行使用旧客户剔除新客户取差集（剩下旧客户要删除）4.851行取出旧客户数据需要用到十几分钟5.856行使用新...
2019-12-26 18:40:19
1041
原创 feign服务调用添加Header参数
feign服务调用添加Header参数@Configurationpublic class FeignConfiguration implements RequestInterceptor { private static final Logger logger = LoggerFactory.getLogger(FeignConfiguration.class); @Overri...
2019-12-23 21:53:51
3480
原创 使用Redis做全局锁、接口请求排队
使用Redis做全局锁、接口请求排队1.redis锁工具类private final static long LOCK_EXPIRE = 30 * 1000L; // 锁过期时间：单个业务持有锁的时间30s，防止死锁private final static long LOCK_TRY_INTERVAL = 500L; // 获取锁时间：默认0.5s再获取一次锁private final s...
2019-12-23 21:07:23
994
1
原创 JAVA自定义注解
JAVA自定义注解1.定义一个接口@interface这几个注解一定要加上@Target(ElementType.METHOD)@Retention(RetentionPolicy.RUNTIME)@Documented@Inheritedpublic @interface Timing {}2.写自定义注解的实现方法@Aspect@Componentpublic ...
2019-12-09 18:23:27
128
原创 gateway动态路由
gateway动态路由# 开启服务注册和发现的功能，将以服务名开头的请求路径转发到对应的服务spring.cloud.gateway.discovery.locator.enabled = true# 将请求路径上的服务名配置为小写spring.cloud.gateway.discovery.locator.lowerCaseServiceId= true...
2019-10-23 19:28:47
367
原创 Center OS7安装fastDFS
Center OS7安装fastDFS1.下载包fastdfs.tar.gzfastdfs-nginx-module.tar.gzlibfastcommon.tar.gz2.解压tar -zxvf fastdfs.tar.gztar -zxvf fastdfs-nginx-module.tar.gztar -zxvf libfastcommon.tar.gz3.安装libeve...
2019-09-28 16:26:50
564
2
原创 CenterOS7安装redis
CenterOS7安装redis记录大佬redis安装文章地址https://blog.youkuaiyun.com/zhangxtn/article/details/50445519
2019-09-26 17:02:50
1106
原创 Center OS安装jdk
Center OS安装jdk下载jdk包https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html上传到你的服务器解压jdktar -zxvf jdk-8u221-linux-x64.tar.gz配置环境变量打开环境变量配置文件vim /etc/profil...
2019-08-19 15:15:33
216
原创 Center OS数据库定时备份
Center OS数据库定时备份1.创建一个可执行文件2.写入执行代码databaseName=CRM0001Bfile=/software/mysql/backup/$databaseNameif [ ! -d $file ];then mkdir $filefiecho "===$databaseName备份开始==="mysqldump -uroot -p1a2b3c...
2019-08-08 11:20:46
382
原创 Center OS部署Nginx及HTTPS配置
center os部署Nginx1.下载包wget http://jaist.dl.sourceforge.net/project/pcre/pcre/8.33/pcre-8.33.tar.gzwget http://www.openssl.org/source/openssl-1.0.1j.tar.gzwget http://zlib.net/zlib-1.2.11.tar.gzwge...
2019-07-31 15:15:13
1071
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人