- 博客(23)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Kafka| 性能测试工具
throughput乘以record-size 最大吞吐1000MB/s，实际服务器硬盘最高200～300MB/s,配置1GB/s只是为了压测硬件io上限。使用./kafka-consumer-perf-test.sh消费工具测试消费这么多数据要多长时间。使用./kafka-producer-perf-test.sh工具往test里插入数据。--record-size: 每条消息的大小 设置为10000，等于10KB。--throughput为qps: 10万QPS。通过io命令观察磁盘写入情况。
2024-09-13 15:54:22
441
2
原创 Kafka | 控制台常见指令
输出的leader每个partition的leader的broke-id，replicas是这个分区的副本所在的节点broke-id列表，Isr（In sync replicas）是已经同步完成的分区的副本所在的broke-id列表，这些副本可以被选举为leader。通过命令可以看到这个分组每个topic的每个partition的消费情况，当前分组消费的current-offset，生产的log-end-offset，以及未消费的数据量lag。创建一个kafka的topic，分区为32个，副本数为1个。
2024-09-12 23:28:04
839
原创 Linux运维篇|磁盘-IO命令
iotop 是一个交互式的 I/O 监控工具，它可以显示当前系统中正在进行 I/O 操作的进程。BW=470MiB/s：表示写入速度为 470Mb/s（总的写入量/写入的时间计算得到），一共写入5G，花费10896msec时间。fio 提供了丰富的参数选项，允许用户定义复杂的 I/O 负载模式，以便对存储系统进行深入的性能测试。如果一个进程在1秒的采样周期内有0.99秒的时间用于I/O操作，那么 IO 列显示的值为 99%。：磁盘写速率，显示进程每秒向磁盘写入的数据量，单位通常为 KB/s 或 MB/s。
2024-08-28 11:20:21
1302
原创 Linux运维篇|服务器重启
在 Linux 系统中，如果内核崩溃（也称为“内核 panic”），系统可能会生成一个内核转储文件并将其保存在这个目录中。通过业务的监控promethus和面板grafana观察node的监控，发现监控中的16:25-16:40之间的数据是中断的。可以看到引起内核崩溃的任务和原因，命令是khungtaskd，PANIC为"Kernel panic - not syncing: hung_task: blocked tasks"定位到这个位置，具体引擎内核挂了的原因还不清楚，但是发生了内核恐慌。
2024-08-09 17:44:33
389
原创 Linux运维|kernel内核
我们的内核一般被安装在/boot目录下，可以看到vmlinuz内核文件以及grub2引导内核启动的程序。输出结果 内核为 `5.10.0-60.94.0.118.oe2203.x86_64`查询当前版本的内核方法。
2024-08-09 10:15:39
349
原创 Linux运维 | Chrony 同步时钟
时钟同步在分布式系统中起到至关重要的作用，我们需要确保集群服务器中时钟是一致的，避免时钟偏差导致接口token校验以及其他需要用到时间校验的地方出现问题。可以添加多个 NTP 服务器地址，这样在某个服务器不可用时可以使用其他的服务器。会不断监控这些服务器，并在需要时动态调整同步源，以确保系统时间的准确性和稳定性。如果当前的时间源变得不可靠或不可用，会根据一系列的算法和条件选择一个最合适的服务器进行时间同步。动态选择和调整最佳同步服务器，确保系统时间的准确性和稳定性。显示系统的同步状态和当前的轮询间隔。
2024-08-08 17:09:15
535
原创 Mac Aandroid uiautomatorviewer 安装
修改最后的java启动命令,将-Dcom.android.uiautomator.bindir="/下载目录/platform-tools" 修改为上一步下载的platform-tools目录。手机通过usb连接电脑后,在uiautomatorviewer中点击连接手机,就可以查看到分析内容.安装完成后可以再此目录下看到uiautomatorviewer路径。安装完jdk后,通过命令行可以查看jdk版本为1.8.0_151。通过安卓官网下载platform-tools工具到本地并解压.
2024-07-08 16:02:29
668
原创 Mac环境下进行大数据hadoop环境安装
Mac系统下单独安装hadoop环境1.JDK准备本人装的是JDK1.8的环境，配置JDK的环境变量vi ~/.bash_profileexport JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_221.jdk/Contents/Homesource ~/.bash_profile2. 下载hadoop...
2020-03-04 20:50:46
667
原创 VMvare虚拟机安装Centos7.0无法上网
1.在虚拟机设置网络适配器中选择NAT模式2.进入CentOS7系统centos7默认网卡未激活，因此需要设置。用超级用户进入到目录 /etc/sysconfig/network-scripts/下，vi 编辑文件ifcfg-enp0s3（不一定叫这个名字） 将 ONBOOT=no 改为 ONBOOT=yes 即可3.重启网卡service network restar...
2018-07-24 23:50:09
315
原创 linux ubuntu安装jdk1.7
1.使用rz命令上传安装rz：先更新软件包：sudo apt-get update再执行：apt-get install lrzsz2.卸载自带的openjdkapt-get remove openjdk*3.上传jdk可通过ftp服务器（如filezilla）上传，也可以使用rz命令上传jdk包rz 找到上传的包便可上传。jdk链接：https://p...
2018-07-17 22:49:26
2966
原创 mysql Expression #3 of SELECT list is not in GROUP BY clause and contains nonaggregated column
set global sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';
2018-07-17 14:37:36
1687
原创 SimpleDateFormat非线程安全
类SimpleDateFormat主要负责日期的转换与格式化，但在多线程的情况下，使用此类容易造成数据转换错误。用一个例子来演示其线程不安全问题：输入日期，通过调用parse和format方法，转化为日期字符串，与原日期相比。package p7;import java.text.ParseException;import java.text.SimpleDateFormat;import...
2018-06-14 14:15:13
175
原创 java多线程编程核心技术（学习笔记五 ）
5.1 定时器Timer的使用 Timer类主要负责计划任务的功能，也就是在指定的时间开始执行某一个任务。 Timer类主要作用是设置计划任务，但封装任务的类为TimeTask类，TimeTask类为抽象类，需自己编写类继承它，并实现其run方法。 timer类的主要方法： 1）schedule（TimeTask task，Date time）：执行的日期执行一次某一任务 如果执行任务...
2018-06-14 11:24:58
177
原创 java多线程编程核心技术（学习笔记四 ）
4.1 ReentrantLock类 在Jav多线程中，可以使用synchronized类来实现线程之间的同步互斥，JDK1.5新增加了ReentrantLock类也能实现同样的功能，并且在扩展功能上也更加强大，比如具有嗅探锁定、多路分支通知等功能。4.1.1 ReentrantLock的基本使用 ReentrantLock对象的调用lock（）方法获取锁，调用unlock（）方法释放锁。调用l...
2018-06-14 10:42:24
239
原创 java多线程编程核心技术（学习笔记三）
3.1线程间的通讯机制3.1.1等待/通知机制的实现 方法wait（）的作用是让当前执行代码的线程进行等待，wait（）方法是Object类的方法，该方法用来将当前线程置于“预执行队列”，并且在wait（）所在的代码处停止执行，直到接到通知或者中断为止。在调用wait（）方法前，线程必须获得该对象的对象级别锁，即只能在同步方法或者同步块中调用wait（）方法，在执行wait（）方法后，当前线程释放...
2018-06-13 22:47:20
236
原创 java多线程编程核心技术（学习笔记二 第二节）
2.3 volatile关键字 通过使用volatile关键字，强制的从公共内存中读取变量的值。package p2;public class Run6 {public static void main(String[] args) throws InterruptedException { RunThread runThread=new RunThread(); runThread.s...
2018-06-11 17:06:39
164
原创 java多线程编程核心技术（学习笔记二 第一节）
2.1 synchronized同步方法2.1.1方法内声明的变量是线程安全的2.1.2实例变量非线程安全2.1.3 多个对象多个锁 关键字synchronized取得的锁都是对象锁，而不是一段代码或者方法当作锁，哪个线程先执行待synchronized关键字的方法，哪个线程就持有该方法所属对象的锁lock，那么其他线程只能呈等待状态，前提是多个线程访问的是同一个对象。 但如果多个线程访...
2018-06-11 14:57:04
149
原创 java多线程编程核心技术（学习笔记一）
1 非线程安全主要是指多个线程对同一个对象中的同一个实例变量进行操作时会出现值被更改、值不同步的情况，进而影响程序的执行流程。2 Thread的常用方法 （1）currentThread()方法可返回代码段正在被哪个线程调用的信息 继承Thread类的构造方法是由外部线程调用 （2）isAlive()方法是判断当前的线程是否处于活动状态...
2018-06-11 10:27:59
1076
原创 接口与抽象类
抽象类：1.抽象类中可以存在构造方法，可以存在普通属性、静态属性、方法、静态方法。2.抽象类中可以存在抽象方法，也可以不存在抽象方法。3.如果一个类中有一个抽象方法，那么此类一定是抽象类，但抽象类不一定有抽象方法。4.抽象类中的抽象方法，需要有子类来实现，如果子类无法实现该方法，则子类需要被定义为抽象类。5.抽象类不能被实例化，抽象类和抽象方法必须被abstract修饰，抽象类中的抽象方法不能被p...
2018-04-17 22:54:26
123
原创 剑指offer 题目训练一
1.题目描述在一个二维数组中，每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数。1 4 5 83 6 9 114 10 12思路：从左边的第一列最后一行往上与目标target进行比较，如果该值比目标值大，则跳转到上一行，如果该值比目标值小，则目标值只可能存在于该行之中，则在该行从左向右进行遍历。时间...
2018-04-17 22:40:31
144
原创 java中的String总结
1.普通的字符串在java中存储在字符串常量池中 String s=new String("hello")； 一共创建了两个对象 ，JAVA虚拟机首先在字符串池中查找是否已经存在了值为"hello"的这么一个对象，它的判断依据是String类equals(Object obj)方法的返回值。如果有，则不再创建新的对象，直接返回已存在对象的引用；如果没有，则先创建这个对象，然后把它加入到字符串池中，...
2018-04-03 20:21:22
250
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人