- 博客(58)
- 收藏
- 关注
RSS订阅原创 docker容器中读取springboot工程中resources下文件问题
【代码】docker容器中读取springboot工程中resources下文件问题。
2025-03-27 09:04:34
215
原创 ES传输带宽优化方案
原理：通过gzip压缩，将50万条数据转为字节流，然后再转为字节数组，放入entity实体中，然后告诉ES服务器，是通过gzip的方式压缩的，ES接收到数据后会通过gzip的方式解压落库。对于5万数据来说 压缩与不压缩相差了30倍，但是目前5万条数据大部分字段都是相同的，所以在压缩的时候 压缩比很高。：目前日志从kafka中消费后转存ES,是通过批量发送的方式打入ES，但是如果数据量很大那么就会占用很多的带宽，而目前正在降本增效，无法增加带宽或者服务节点。源码贴出来了，兄弟们自取。
2025-02-10 17:20:09
932
原创 ES数据压缩、解压调研测试
针对压缩来说，压缩触发的因素不单纯是数据落到ES就开始压缩，比如系统负载情况、持久化磁盘后 都会进行压缩，所以才出现了 ecs_http20250208 开始161M 几分钟后变为了149M 但是就目前情况看 best_compression压缩比肯定是比LZ4要高的，如果磁盘空间比较敏感可以考虑使用best_compression。但是在互联网调研来说，LZ4解压与压缩速度都比best_compression快，具体快多少目前无从测试，但是压缩比LZ4与best_compression差太多。
2025-02-10 09:45:19
401
原创 ES冷热数据分离配置
冷热数据是根据索引创建时间来进行迁移的。一旦迁移到冷数据节点，则无法再恢复成热数据，因为热数据节点中该索引已经没有分片存在了。
2025-02-06 10:31:58
453
1
原创 基于Docker搭建ES集群,并设置冷热数据节点
浏览器输入https://192.168.2.91:19200/_cluster/health 说明有一个集群产生了 包含3个节点。（1）重复91节点所有工作，只不过在修改elasticsearch.yml 配置文件中修改为如下信息。（1）获取到elasticsearch.tar包，使用。（5）修改elasticsearch.yml 配置文件。（7）重启当前服务器中的ES容器。（2）重启当前服务器中的ES容器。（2）重启当前服务器中的ES容器。（3）进入当前生成的容器内部。5.测试是否搭建成功。
2025-02-06 10:17:39
685
原创 KAFKA-UI升级教程，因旧版本不支持（KAFKA-3.8.0 开启SASL认证）
env SPRING_SECURITY_USER_PASSWORD=admin-2024 KAFKA开启SASL认证后的密码。–env SPRING_SECURITY_USER_NAME=admin --en KAFKA开启SASL认证后的用户名。–env KAFKA_CLUSTERS_0_NAME 环境变量 名称设置为local。密码： admin-2024。配置完毕后，刷新页面，重新登录。用户名: admin。4、登录UI可视化界面。5、配置KAFKA信息。
2025-02-06 09:57:38
528
原创 基于docker搭建Kafka集群，使用内部自带的Zookeeper方式搭建
进入kafka_2.13-3.8.0_1/bin,启动消费者 接收29092端口消息，可以看到不管是19092 还时29092 发送的消息 该消费者均可接收到。（2）修改server.properties监听端口与对外暴露端口为19092。（2）修改server.properties监听端口与对外暴露端口为29092。（4）修改server.properties的brokerId。（1）进入kafka_2.13-3.8.0_1/config/（1）进入kafka_2.13-3.8.0/config/
2025-02-06 09:47:40
576
原创 基于docker部署kafka-3.8.0版本，并开启SASL认证模式
（2）修改 kafka-console-producer.sh 脚本 在脚本最上方增加如下代码。（2）修改 kafka-console-consumer.sh 脚本 在脚本最上方增加如下代码。（1）https://kafka.apache.org/downloads 下载如下图版本。（1）修改 kafka-server-start.sh 脚本 在脚本最上方增加如下代码。（3）修改server.properties 文件，增加下面信息，内容如下图。为topic增加SASL认证信息，指定认证机制为SASL。
2025-02-06 09:35:36
1118
原创 基于docker搭建Kafka集群，使用KRaft方式搭建，摒弃Zookeeper
环境：已成功搭建kafka服务 192.168.2.91 192.168.2.92 192.168.2.93。
2025-02-06 09:22:14
1074
1
转载 redis实现分布式锁
这个命令尝试设置一个名为lock_key的锁，锁的值是lock_value，过期时间是30000毫秒（30秒），只有当lock_key不存在时（即没有其他进程持有锁），才会设置成功。如果在这两个操作之间，进程崩溃，那么可能会出现永久的锁，也就是说，锁被设置了，但是没有设置超时时间，所以这个锁会一直存在，导致其他进程无法获取到锁。使用SETNX命令创建一个锁。其中，<lua_script>是上述Lua脚本，1是键的数量，lock_key是锁的键，lock_value是锁的值，lock_ttl是锁的过期时间。
2023-10-11 18:41:31
195
原创 掩码是个啥？
在了解ip地址的网段之前，我们先来了解子网掩码，很多对网络了解不深的朋友都对子网掩码有些迷惑， 不了解它是用来干什么的？子网掩码不能单独存在，它必须结合IP地址一起使用。子网掩码只有一个作用，就是将某个IP地址划分成网络地址和主机地址两部分。说的通俗的话，就是用来分割子网和区分那些ip是同一个网段的，那些不是同一网段的。例如，两个人都叫张三，但一个张三是张家村的，另一个张三是张村的，那么如何区分这两个张三分别是属于那个村的呢？
2023-04-10 16:08:48
1922
转载 亲测好用的 Liunx对tomcat加内存、并优化jvm
对于BIO，默认值是maxThreads的值，除非使用Executor，在这种情况下，默认值将是执行者的maxThreads的值。shown端口是写在Server参数里的，直接去掉是不管用，也是会默认启动的，一般在安全设置时候建议把端口修改为其他端口，shutdown修改为其他复杂字串。(5)acceptCount：指定当所有可以使用的处理请求的线程数都被使用时，可以放到处理队列中的请求数，超过这个数的请求将不予处理，默认设置。4，则年轻代与终身代所占比值为 1：4，年轻代占整个堆栈的 1/5。
2022-09-23 15:19:47
341
原创 反射基础知识
文章目录1：反射概述2：Class对象特点3：反射的使用1:获取类对象2 利用反射机制创建对象3: 获取成员变量并使用4: 获取成员方法并使用5: 获取main方法并使用4 : 关于反射的用法举例1:通过反射运行配置文件内容2:通过反射越过泛型检查1：反射概述JAVA反射机制是在运行状态中，对于任意一个类，都能够知道这个类的所有属性和方法；对于任意一个对象，都能够调用它的任意一个方法和属性；这种动态获取的信息以及动态调用对象的方法的功能称为java语言的反射机制。实际上，我们创建
2022-07-08 15:18:20
263
原创 Spring 通过注解方式注入
验证注入方式@Componentpublic class TestBean { //属性注入 /*@Autowired private User user;*/ //set注入 /*private User user; @Autowired public void setUser(User user) { this.user = user; }*/ //构造方法注入 private User user;
2021-12-29 16:54:34
158
转载 做接口测试前必备的网络基础知识，你get了吗？
在面试时，不管是面试功能测试、自动化测试、测试开发乃至性能测试，都会问到计算机网络基础相关知识。今天主要介绍一些高频的网络基础面试题目，网络情缘一线牵，珍惜这段缘Cookie和Session的区别？Cookie 是访问某些网站以后在本地存储的一些网站相关的信息，下次再访问的时候减少一些步骤。另外一个更准确的说法是：Cookie 是服务器在本地机器上存储的小段文本并随每一个请求发送至同一个服务器，是一种在客户端保持状态的方案。由于 HTTP 协议是无状态的协议，所以服务端需要记录用户的状态时，就需要用
2021-12-20 11:32:00
214
原创 编译Java文件以及启动 并导入第三方jar包
javac SnmpReceive.javaSnmpReceive.java:4: 错误: 编码GBK的不可映射字符 * snmp trap鍜宨nform鎺ユ敹绫?解决办法为：javac -encoding UTF-8 SnmpReceive.javaD:\snmp-1>javac -encoding UTF-8 SnmpReceive.javaSnmpReceive.java:6: 错误: 找不到符号public class SnmpReceive implements Com.
2021-11-16 11:14:44
495
原创 百度网盘提速正规办法 无需破解！！！！！
超简单百度网盘提速方法——无需破解很多萌新日常使用电脑，一定常用“百度网盘”这款软件，相信你一定被它几十一百kb的下载网速折磨到炸：（提速前，抓狂ing）而今天为大家介绍一个官方、简单且高效的提速方法。不需下载、破解等繁杂操作，只需点几个按钮，效果如下：（提速后，便秘结束）下面我们具体聊聊怎么做：具体做法一、下载：百度网盘去官网下载即可：二、已安装（新下载的用户可跳过本步）：已安装百度网盘的老用户，需要将百度网盘更新至最新版本：1.打开百度网盘：2.点击界面右上角的“设置”按钮
2021-10-15 16:08:59
22701
44
转载 redis加锁、解锁
在Java中，关于锁我想大家都很熟悉。在并发编程中，我们通过锁，来避免由于竞争而造成的数据不一致问题。通常，我们以synchronized 、Lock来使用它。但是Java中的锁，只能保证在同一个JVM进程内中执行。如果在分布式集群环境下呢？一、分布式锁分布式锁，是一种思想，它的实现方式有很多。比如，我们将沙滩当做分布式锁的组件，那么它看起来应该是这样的：加锁在沙滩上踩一脚，留下自己的脚印，就对应了加锁操作。其他进程或者线程，看到沙滩上已经有脚印，证明锁已被别人持有，则等待。解锁把脚印从沙滩上
2021-08-23 16:34:18
6499
2
原创 记录笔记＜java调用shell脚本，shell脚本调用python＞ 传参
package com.hansight.atom.custom.abilityPower.util;import org.apache.commons.lang.ArrayUtils;import org.slf4j.Logger;import org.slf4j.LoggerFactory;import java.io.InputStreamReader;import java.io.LineNumberReader;public class JaveShellUtil { pr
2021-08-06 16:15:46
388
2
原创 java调用shell脚本实例
准备： tip_alarm.sh 脚本 放在 /opt/shi/路径下 (路径自定义)import java.io.InputStreamReader;import java.io.LineNumberReader;public class JaveShellUtil { public static int ExecCommand(String command) { int retCode = 0; try { ProcessBui
2021-07-14 16:40:59
157
原创 ES使用QueryBuilders进行查询
package com.wenbronk.javaes;import java.net.InetSocketAddress;import java.util.ArrayList;import java.util.Iterator;import java.util.Map.Entry;import org.elasticsearch.action.ListenableActionFuture;import org.elasticsearch.action.get.GetRequestBuild
2021-07-08 11:08:36
2293
2
转载 【转载】TCP 三次握手以及四次挥手
文章目录 一.TCP简介二.TCP数据报结构三.TCP的三次握手四.TCP的四次挥手 一.TCP简介 1、TCP（Transmission Control Protocol，传输控制协议）是一种面向连接的、可靠的、基于字节流的通信协议，数据在传输前要建立连接，传输完毕后还要断开连接。 2、客户端在收发数据前要使用 connect() 函数和服务器建立连接。建立连接的目的是保证IP地址、端口、物理链路等正确无误，为数据的传输开辟通道。 3、TCP建立连接时...
2021-06-03 17:25:18
97
原创 TCP三次握手以及四次挥手 白话文
tcp三次握手：基本思想就是“让我知道你已经知道”了。服务器监听请求，客户端发起连接请求（第一次连接），请求在路上可能存在丢失的风险，所以当请求到了服务器后如果服务器同意建立连接会给客户端一个回信（第二次连接），告诉它：我已经收到请求，可以连接。但是回信也存在一个问题，那就是回信能不能到客户端？它需要客户端给他一个回信说我已经收到批准通知了，如果客户端一直不回复的话意味着客户端没有收到批准通知。因此客户端一收到批准通知就立马回复（第三次握手）：OK老铁我收到你的批准通知了。至此，三次握手结束。 一个很类似.
2021-06-03 17:03:04
1196
转载 详解跨域(最全的解决方案)
1. 什么是跨域跨域，是指浏览器不能执行其他网站的脚本。它是由浏览器的同源策略造成的，是浏览器对JavaScript实施的安全限制。同源策略限制了一下行为：Cookie、LocalStorage 和 IndexDB 无法读取DOM 和 JS 对象无法获取Ajax请求发送不出去2. 常见的跨域场景所谓的同源是指，域名、协议、端口均为相同。http://www.nealyang.cn/index.html 调用 http://www.nealyang.cn/server.php 非跨域h
2021-06-03 16:03:27
1473
原创 Lock锁与Synchronized 区别
(转)Lock和synchronized比较详解今天看了并发实践这本书的ReentantLock这章，感觉对ReentantLock还是不够熟悉，有许多疑问，所有在网上找了很多文章看了一下，总体说的不够详细，重点和焦点问题没有谈到，但这篇文章相当不错，说的很全面，主要的重点都说到了，所有在这里转载了这篇文章，注意红色字体。在上一篇文章中我们讲到了如何使用关键字synchronized来实现同步访问。本文我们继续来探讨这个问题，从Java 5之后，在java.util.concurrent.locks包下
2021-04-29 17:37:46
197
原创 线程池与单线程效率对比
直接上代码首先单线程》》》》》》创建一个1000的循环，里面第一次用单线程跑，一共用时（开始时间:::1619514363141 结束时间1619514364419 共用时：1278毫秒）package com.hansight.atom.custom.webMonitor;import java.text.SimpleDateFormat;import java.util.Date;import java.util.concurrent.Executors;import...
2021-04-27 17:13:37
332
原创 查询GC的情况
命令：1、首先查询进程号：ps -ef |grep tomcat 2、jstat -gcutil [进程数] 毫秒值【多久更新一次】
2021-04-21 00:47:36
266
转载 类加载与初始化面试题解析
在许多Java面试中，我们经常会看到关于Java类加载机制的考察，例如下面这道题：class Grandpa{ static { System.out.println("爷爷在静态代码块"); }} class Father extends Grandpa{ static { System.out.println("爸爸在静态代码块"); } public static int factor = 25; .
2021-04-18 03:35:23
180
原创 整理类加载过程以及涉及到的一些知识点
首先描述一下什么是类加载、以及加载过程加载：连接：初始化：使用：分为：加载-》连接(验证、准备、解析)-》初始化-》使用-》卸载加载：就像<深入理解java虚拟机>一书说的一样，千万不要混淆“类加载”与“类加载过程”。类加载分两步：（1）根据类的全限定名(包名.类名)取出class文件中的二进制字节流.（2）将二进制字节流中的静态数据转为运行时数据结构。（3）在堆中生产一个class对象，用来访问方法区中存储的类变量，以及类信息。注意：1、这块就涉及到了jvm内存分配（堆、
2021-04-18 03:18:37
307
原创 curl命令
-a/--append 上传文件时，附加到目标文件 -A/--user-agent <string> 设置用户代理发送给服务器 - anyauth 可以使用“任何”身份验证方法 -b/--cookie <name=string/file> cookie字符串或文件读取位置 - basic 使用HTTP基本验证 -B/--use-ascii 使用ASCII /文本传输 -c/--cookie-jar <file> 操作结束后把cookie写入到这个文件中 -C/
2021-04-09 01:08:05
1510
转载 Windows10 安装虚拟机及 CentOS 系统
目录1. 虚拟机的安装2. Linux 系统环境部署2.1 设置 CentOS6.9 运行环境2.2 安装 CentOS6.9 操作系统3. 备份操作系统3.1 快照3.2 克隆3.3 快照与克隆的区别1. 虚拟机的安装什么是虚拟机？虚拟机，有些时候想模拟出一个真实的电脑环境，碍于使用真机安装代价太大，因此而诞生的一款可以模拟操作系统运行的软件。虚拟机目前有 2 个比较有名的产品：vmware 出品的vmware workstation、oracle 出品的 virtual Box。博.
2021-03-03 11:00:45
346
转载 windows编辑shell不可执行问题
windows下写了一个shell脚本在linux下执行怀疑有奇怪的字符，使用cat -A 你的shell脚本，试试好像有特殊字符执行dos2unix relation.sh 试试看起来没什么变化，我们在linux下执行脚本试试，结果可以总结：写shell尽量在linux环境下...
2021-03-01 15:48:22
504
转载 windows安装Python过程
Python 是这两年来比较流行的一门编程语言，主要卖点是其相对简单的语法以及丰富的第三方库，下面我来带大家安装、配置 Python。（文章最后有各种疑难杂症的解决方法！）大体步骤有两步：安装 Python，让电脑学会这门语言配置编辑器，方便我们编辑代码、调动 Python安装 Python（Python、Sublime 官方下载地址是外国的服务器，所以会很慢，下载有问题的私聊我拿网盘链接）很多人会推荐 Anaconda（400M以上），但实际上原版 Python（26M）对新手来说就足够了
2021-02-23 17:25:34
124
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人