AuLuo--优快云博客

1.IDEA安装easy code插件说明文档：属性 $author 设置中的作者 java.lang.String $modulePath 选中的module路径 java.lang.String $projectPath 项目绝对路径 java.lang.String 对象 $tableInfo 表对象 obj 表原始对象 com.intellij.database.model.DasTable name 表名（.

2021-08-26 10:15:33 484

原创 kafka设置手动提交

kafka手动提交，消息是否重复消费条件 1.如果在消费kafka的数据过程中，一直没有提交offset，那么在此程序运行的过程中它不会重复消费。但是如果重启之后，就会重复消费之前没有提交offset的数据。 2.如果在消费的过程中有几条或者一批数据数据没有提交offset，后面其他的消息消费后正常提交offset，那么服务端会更新为消费后最新的offset，不会重新消费，就算重启程序也不会重新消费。 3.消费者如果没有提交offset，程序不会阻塞或者重复消费，除非在消费到这个你不想提.

2021-04-29 10:59:44 1773

原创 java 序列化工具类

protostuff序列化方式package com.example.demo.pro;import com.dyuproject.protostuff.LinkedBuffer;import com.dyuproject.protostuff.ProtostuffIOUtil;import com.dyuproject.protostuff.Schema;import com.dyuproject.protostuff.runtime.RuntimeSchema;import jav.

2021-04-22 15:17:03 347

翻译 Storm

1.WorkerWorker是进程级别的,一个worker进程对应执行一个Topology服务,一个运行中的Topology是由集群中的多个Worker进程组成的反过来说,一个Worker里面不会运行属于不同的topology的执行任务。2.ExecuterExecuter是线程级别,一个Worker进程里有多个Executer线程,默认一个Executor运行一个task,一个Executor中只能运行隶属于同一个component（spout/bolt）的task我们常说的并行度,也就是ex

2021-04-01 10:55:26 109

原创 2021-2-19[ springboot 集成spring自定义缓存管理器基于redis ]

引包 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> </dependency> 2.代码部分import org.springframework.cach.

2021-02-19 16:33:07 197

原创 2021-2-7[ springboot 集成Quartz定时任务 ]

引包 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-quartz</artifactId> </dependency>相关配置# spring boot 已集成Quartz,无需自己配置#是否应用启动时,自动启动定.

2021-02-07 11:38:32 886

原创 2021-2-7[Quartz定时任务 Mysql、Oracle表初始化脚本]

Mysql脚本drop table if exists qrtz_fired_triggers;drop table if exists qrtz_paused_trigger_grps;drop table if exists qrtz_scheduler_state;drop table if exists qrtz_locks;drop table if exists qrtz_simple_triggers;drop table if exists qrtz_simprop_tri.

2021-02-07 11:15:05 671

翻译 2021-2-7[ java中操作ES 以及DSL语句构建]

1.工具类@Component@Slf4jpublic class ElasticsearchUtil { @Autowired private TransportClient transportClient; private static TransportClient client; /** * @PostContruct是spring框架的注解 spring容器初始化的时候执行该方法 */ @PostConstruct pu

2021-02-07 11:07:49 62

原创 2021-2-7[ springboot rocketMQ相关实际操作 ]

引包 <dependency> <groupId>org.apache.rocketmq</groupId> <artifactId>rocketmq-spring-boot-starter</artifactId> <version>2.0.3</version> </dependency>2.redsi存储，通用的消费者。@Data@Component@Con.

2021-02-07 10:40:05 289

原创 2021-2-7[ EasyExcel导出简单操作头部样式调整，转码base64 ]

EXCEL导出//headList excel头部 data数据内容public static void exportExcel(HttpServletResponse response,String filename, List<List<String>> headList,List<List<Object>> data) throws IOException { String fileName = URLEncoder.encod.

2021-02-07 10:06:12 1209

原创 LINUX远程免密操作

1、在本地服务器执行ssh-keygen2、执行上述命令，一路回车，会在当前登录用户的目录下的.ssh目录下生成id_rsa和id_rsa.pub两个文件，分别代表密钥对的私钥和公钥。3、将本地id_rsa.pub文件内容复制到远程机器用户下的.ssh目录下的authorized_keys文件中（如果authorized_keys不存，手动建立将内容拷贝进去或执行 MV id_rsa.pub authorized_keys）之后远程操作服务器就不需要输入密码了...

2020-11-02 15:29:04 305

原创 springBoot2.1.0属性大全

地址# ===================================================================# COMMON SPRING BOOT PROPERTIES## This sample file is provided as a guideline. Do NOT copy it in its# entirety to your own application. ^^^# ========================

2020-09-11 22:32:30 337

原创 SpringCloud Zuul详解篇自定义路由，鉴权，重试，限流

Zuul网关过滤器||||鉴权校验、动态路由路由介绍 /** * Zuul过滤器，必须继承ZuulFilter父类。 * 当前类型的对象必须交由Spring容器管理。使用@Component注解描述。 * 继承父类后，必须实现父类中定义的4个抽象方法。 * shouldFilter、 run、 filterType、 filterOrder */@Componentpublic class TestFilter extends ZuulFilter { /** * 返

2020-09-03 16:06:35 839

翻译 Springcloud五大神兽流程图

图借用这篇博客Spring Cloud核心组件：EurekaSpring Cloud核心组件：FeignSpring Cloud核心组件：RibbonSpring Cloud核心组件：HystrixSpring Cloud核心组件：ZuulEurekaFeignRibbonHystrixZuul

2020-09-01 08:57:28 858

原创 B树与B+树

B树1、B树的特性一棵m阶的B树的满足条件：（1）每个节点至多有m棵子树（2）根节点除外，其它每个分支节点至少有【m/2】棵子树（3）根节点至少有两棵子树（除非B树只包含一个节点）（4）所有叶子节点在同一层上，B树的叶子节点可以看成一种外部节点，不包含任何信息。（5）有j个孩子的非叶结点恰好有j-1个关键码，关键码按递增次序排列。B树的使用场景B树多用于做文件系统的索引。那么问题来了：为什么要用B树，红黑树不是就挺好的么？原因：B树和二叉树、红黑树相比较，子树更多也就是路数越多

2020-08-31 13:56:01 1192

原创 JVM相关以及调优分析的常用命令和工具

JVM的结构包含类加载器，运行时数据区，执行引擎和本地方法接口。1.类加载器负责加载class文件，并且ClassLoader只负责class文件的加载，至于它是否可以运行，则由ExecutionEngine决定。JVM自带的加载器有：启动类加载器（Bootstrap classLoader）由C++编写,加载jre/lib；扩展类加载器（Extension classLoader）由Java编写,加载jre/lib/ext；应用程序类加载器（System classLoader）由

2020-08-31 12:19:43 452

原创 SpringCloud组件详解

Spring Cloud Eureka 常用配置及说明配置参数默认值说明eureka.server.enable-self-preservationtruef关闭注册中心的保护机制，Eureka 会统计15分钟之内心跳失败的比例低于85%将会触发保护机制，不剔除服务提供者，如果为false则全部剔除eureka.client.fetch-registerytrue检索服务eureka.client.register-with-eurekatrue表示向Eu

2020-08-27 18:57:58 287

原创 AOP（二）使用方式

使用注解定义切面采用注解的方式定义切面以及通知@Target({ElementType.PARAMETER, ElementType.METHOD})@Retention(RetentionPolicy.RUNTIME)@Documentedpublic @interface Demo { String value() default ""; boolean required() default true;} @Aspectpublic class Audience

2020-08-26 17:02:53 232

原创 AOP（一）底层原理代理方式（详解动态代理JDK、CGLIB）

在AspectJ 1.5 之后，引入了 @Aspect 形式的注解风格开发，Spring也非常快地跟进了这种方式，在Spring 2.0之后便使用了与Aspect 1.5 一样的注解。注意：Spring只是使用了AspectJ的注解，而没有使用AspectJ的编译器，低层还是使用动态代理技术实现。

2020-08-26 15:35:21 389

原创 Spring事务相关内容

事务的4个特性（ACID）：1) 原子性（atomicity）：事务是数据库的逻辑工作单位，而且是必须是原子工作单位，对于其数据修改，要么全部执行，要么全部不执行。2)一致性（consistency）：事务在完成时，必须是所有的数据都保持一致状态。在相关数据库中，所有规则都必须应用于事务的修改，以保持所有数据的完整性。（实例：转账，两个账户余额相加，值不变。）3) 隔离性（isolation）：一个事务的执行不能被其他事务所影响。4) 持久性（durability）：一个事务一旦提交，事物

2020-08-26 12:29:57 188

原创 Redis（五）主从复制以及哨兵模式、集群详解

主从复制特点：主数据库可以进行读写操作，当读写操作导致数据变化时会自动将数据同步给从数据库从数据库一般都是只读的，并且接收主数据库同步过来的数据一个master可以拥有多个slave，但是一个slave只能对应一个master slave挂了不影响其他slave的读和master的读和写，重新启动后会将数据从master同步过来 master挂了以后，不影响slave的读，但redis不再提供写服务，master重启后redis将重新对外提供写服务 ma

2020-08-25 17:46:17 282

原创 Redis（四）并发竞争key、redis分布式锁（思路）

分布式锁需要解决的问题 1.互斥性:任一时刻是有一个客户端获取锁,不能两个客户端获取到锁 2.安全性:锁只能被持有该客户端的删除,不能由其他客户端删除 3.死锁:一个客户端获取到锁,导致宕机,而其他客户端无法获取到资源 4.容错:一些节点宕机,客户端任然能获取锁和释放锁分布式锁思路基于Redis实现的分布式锁，Redis单机部署的场景(存在问题是如果处理时间长,锁自动失效可能会出现问题)加锁public static boolean rightGetLock(Je

2020-08-25 13:15:27 687

原创 Redis（三）什么是缓存穿透、缓存击穿、缓存雪崩，解决方案（思路）

缓存穿透当查询Redis中没有的数据时，该查询会下沉到数据库层，同时数据库层也没有该数据，当这种情况大量出现或被恶意攻击时，接口的访问全部透过Redis访问数据库，而数据库中也没有这些数据，我们称这种现象为"缓存穿透"。缓存穿透会穿透Redis的保护，提升底层数据库的负载压力，同时这类穿透查询没有数据返回也造成了网络和计算资源的浪费。解决方案： 1、在接口访问层对用户做校验，如接口传参、登陆状态、n秒内访问接口的次数； 2、利用布隆过滤器，将数据库层有的数据key存储在位数组

2020-08-25 11:19:32 180

原创 Redis(二)持久化的方式，优缺点

Redis持久化将数据存入磁盘Redis持久化的两种方式持久化：快照方式(RDB模式,默认方式),日志追加方式(AOF模式)1. 快照方式（RDB方式,默认文件名为dump.rdb）RDB方式总结起来就是一种将数据以快照方式写入二进制文件中，在间隔时间内全量写入磁盘的一个过程。优点：对于恢复操作相对比较简单，因为全量写入只需要保证一个二进制文件的恢复即可；缺点：第一是多少间隔时间的重要性，第二是数据量大的情况下，全量写入会影响性能客户端使用save/bgsave命令做一次快照持久化（s

2020-08-25 10:12:28 175

原创 Redis（一）数据类型以及常用的操作命令

Redis五种数据类型：String、Hash、List、Set、SortedSet(ZSet)类型常用命令String：key-value(做缓存) set key值 value值 get key值 decr key值增量值将对应value值按增量值递减 incr key值增量值将对应value值按增量值递增 mset key值 value值 key值 value值后面跟多个键值对 Hash：key-fields-value(做缓存) hke

2020-08-24 15:34:46 128

原创并发、线程池相关内容（ThreadPoolExecutor详细介绍）

##############其实以上返回的最终都是ThreadPoolExecutor对象##########################################

2020-08-24 12:20:08 242 1

原创 nginx安装和配置以及启动,一台nginx配置多个前端工程一个hash模式一个history模式

nginx配置#user nobody;worker_processes 1;error_log logs/error.log;error_log logs/error.log notice;error_log logs/error.log info;#pid logs/nginx.pid;events { worker_connections 1024;}http { include mime.types; .

2020-07-01 17:30:41 445

原创 SpringCloud中常用的配置属性

连接config配置pring.profiles.active=dev#配置中心的地址#spring.cloud.config.uri=http://localhost:8768/#对应的是配置文件规则中的{application}部分spring.cloud.config.name=gateway#对应的是配置文件规则中的{profile}部分，可以是多个，用逗号隔开。spring.cloud.config.profile=dev#配置中心的地址，注册中心的方式spring.clo.

2020-06-30 13:49:42 430

原创 (Springboot,SpringCloud )RestTemplate原封不动进行路由(ROUTE)支持所有请求方式转发

代码package com.phfund.dmsp.transfer.controller;import com.phfund.dmsp.common.util.IpUtils;import org.apache.commons.fileupload.FileItem;import org.apache.commons.fileupload.FileUploadException;import org.apache.commons.fileupload.disk.DiskFileItemF.

2020-06-12 15:46:34 1074 1

原创 java代码调用R语言以及python语言工具类

工具类package com.phfund.report.util;import com.fasterxml.jackson.core.JsonProcessingException;import com.phfund.common.util.SysPropertiesConfig;import org.apache.commons.lang3.StringUtils;import or...

2020-02-25 10:49:46 377