大可duck-优快云博客

原创 springboot集成swagger，以及报错解决

参考链接：https://blog.youkuaiyun.com/King_3123/article/details/125651813。在application.properties文件中添加如下代码即可。

2023-05-21 11:18:53 314

1.字段的数值有唯一性的限制2.频繁作为where 查询条件字段3.经常group by 和 Order by的列4.update、delete 的where 条件列5.distinct 字段需要创建索引6.多表JOIN 连接操作时，创建索引注意事项7.使用列的类型小的创建索引8.使用字符串前缀创建索引9. 区分度高（散列性高）的列适合作为索引10.使用最频繁的列放到联合索引的左侧11.在多个字段都要创建索引的情况下，联合索引优于单值索引...

2022-05-15 22:30:44 1268

原创 Linux操作文本常用命令

1.删除文本中的空行sed -n '/[^$]/p'2.查看文本中某一行数据#查看文件第5行sed -n 5p test.txt#查看文件第100~200行sed -n '100,200p' test.txt3.替换文本中某个字符#将文本中的test替换为newsed -i 's/test/new/g' test.txt...

2022-03-20 22:01:19 990

原创 Kafka消费者读取数据

Consumer测试类import org.apache.kafka.clients.consumer.ConsumerRecord;import org.apache.kafka.clients.consumer.ConsumerRecords;import org.apache.kafka.clients.consumer.KafkaConsumer;import org.slf4j.Logger;import org.slf4j.LoggerFactory;import java.uti

2022-03-03 20:05:12 2231

原创 log4j.properties配置模板

log4j.rootLogger=INFO, stdout, logfilelog4j.logger.NewsNS.doCreate=TRACElog4j.logger.cn.mldn.dao.INewsDAO=TRACElog4j.appender.stdout=org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.layout=org.apache.log4j.PatternLayoutlog4j.appender.stdout.layo

2022-03-03 20:00:52 315

原创 Zookeeper分布式锁原理

1.分布式锁介绍单机应用开发，涉及并发同步的时候，我们往往采用synchronized 或者Lock的方式来解决多线程间的代码同步问题，这时多线程的运行都是在同一个JVM之下，没有任何问题。但当我们的用用是分布式集群工作的情况下，属于多JVM下的工作环境，跨JVM之间已经无法通过多线程的锁同步解决问题，那么就需要一种更加高级的锁机制，来处理跨机器的线程间数据同步问题–这就是分布式锁2.分布式锁实现的几种方法基于缓存实现分布式锁RedisMemcacheZookeeper实现分布式锁Cura

2022-02-28 00:08:39 3984

原创 Java操作Zookeeper API--Watch监听

1.NodeCache:给指定一个节点注册监听器2.PathChildrenCache : 监听某个节点下的所有子节点3.TreeCache: 监听某个节点自己和所有的子节点们package com.test.curator;import org.apache.curator.RetryPolicy;import org.apache.curator.framework.CuratorFramework;import org.apache.curator.framework.CuratorFr

2022-02-27 21:45:07 623

原创 Java操作Zookeeper API--节点操作

1.创建连接public void test(){ // 1.第一种方式 // 连接策略 RetryPolicy retryPolicy = new ExponentialBackoffRetry(3000,10); /** * Create a new client * * @param connectString list of servers to connect to；zk ser

2022-02-26 23:16:10 740

原创线程池定时执行任务

ScheduledExecutorService 线程池定时执行任务，单次private static void schedual() { ScheduledExecutorService pool = Executors.newScheduledThreadPool(2); pool.schedule(() -> { logger.info("task1"); // 即使有异常也不会影响其他任务的执行

2021-08-26 00:37:40 348

原创 Timer定时执行任务

Timer可以实现定时功能，Timer的优点在于简单易用，但由于所有任务都是由同一个线程来调度，因此所有任务都是串行执行的，同一时间只能有一个任务在执行，前一个任务的延迟或异常都将会影响到之后的任务。并且如果一个任务有异常，后续的任务就都中断了。 Timer timer = new Timer(); TimerTask task1 = new TimerTask(){ @Override public void run() {

2021-08-26 00:25:15 1262

原创 Java多线程定时执行任务

// 如何让每周四 18:00:00 定时执行任务 public static void main(String[] args) { // 获取当前时间 LocalDateTime now = LocalDateTime.now(); // 获取周四下午6点30分0秒的时间 LocalDateTime time = now.withHour(6).withMinute(30).withSecond(0).with(DayOfWee.

2021-08-24 23:40:46 1314

原创 IDEA 创建Scala 项目

1.创建maven工程2.下载scala插件3. 创建scala文件夹4. 添加框架支持6.创建scala类

2021-06-22 21:46:31 192

原创 HDFS读写数据流程

HDFS写数据流程1.HDFS客户端创建FileSystem对象实例DistributeFileSystem,FileSystem封装了与文件系统操作的相关方法2.调用DistributedFileSystem对象的create()方法，通过RPC请求NameNode创建文件NameNode执行各种检查判断：目标文件是否存在、父目录是否存在、客户端是否具有创建该文件的权限。检查通过，NameNode就会为本次请求记下一条记录，返回FSDataOutputStream输出流对象给客户端用于写数据3.客

2021-05-29 22:24:53 249

原创 MapReduce工作机制

1.MapTask工作机制详解1.1执行步骤整体概述①输入文件被逻辑切分为多个split文件，通过LineRecordReader按行读取内容给map(用户自己实现)进行处理；②数据被map处理结束之后交给OutputCollection收集器，对其结果key进行分区(HashPartitioner),然后写入内存缓冲区，当缓冲区快满的时候(80%)需要将缓冲区的数据以一个临时文件的方式spill溢出到磁盘；③最后再对磁盘上产生的所有临时文件做合并，生成最终的正式输出文件，然后等待reduce ta

2021-04-16 13:16:01 1112

chendake7的博客