- 博客(446)
- 收藏
- 关注
RSS订阅转载 Kafka学习笔记之Kafka性能测试方法及Benchmark报告
0x00 概述 本文主要介绍了如何利用Kafka自带的性能测试脚本及Kafka Manager测试Kafka的性能，以及如何使用Kafka Manager监控Kafka的工作状态，最后给出了Kafka的性能测试报告。0x01 性能测试及集群监控工具 Kafka提供了非常多有用的工具，如Kafka设计解析（三）- Kafka High Availability （下）...
2019-09-30 13:33:00
520
转载 Kafka学习笔记之Kafka Consumer设计解析
0x00 摘要 本文主要介绍了Kafka High Level Consumer，Consumer Group，Consumer Rebalance，Low Level Consumer实现的语义，以及适用场景。以及未来版本中对High Level Consumer的重新设计–使用Consumer Coordinator解决Split Brain和Herd等问题。0x01...
2019-09-30 13:12:00
441
转载 Kafka学习笔记之Kafka High Availability(下)
0x00 摘要 本文在上篇文章基础上，更加深入讲解了Kafka的HA机制，主要阐述了HA相关各种场景，如Broker failover，Controller failover，Topic创建/删除，Broker启动，Follower从Leader fetch数据等详细处理过程。同时介绍了Kafka提供的与Replication相关的工具，如重新分配Partition等。0...
2019-09-30 10:35:00
397
转载 Kafka学习笔记之Kafka High Availability(上)
0x00 摘要 Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对于分布式系统来说，尤其当集群规模上升到一定程度后，一台或者多台机器宕机的可能性大大提高...
2019-09-30 10:01:00
242
转载 硬件笔记之制作MacOS Mojave U盘USB启动安装盘方法
0x00 概述随着苹果macOS Mojave 正式版发布，很多使用 Mac 电脑的同学都已升级到最新版了。但如果你对系统有洁癖或原本系统已凌乱不堪，那么可能还是希望能格式化「全新安装 macOS」的。不过由于苹果官方只提供了 macOS 的升级程序，并没提供完整 dmg 镜像，想要全新安装的话，只能自己制作一个 macOS Mojave 的U盘启动盘/安装盘了。0x...
2019-09-23 11:12:00
226
转载 Kafka学习笔记之Kafka背景及架构介绍
0x00 概述 本文介绍了Kafka的创建背景，设计目标，使用消息系统的优势以及目前流行的消息系统对比。并介绍了Kafka的架构，Producer消息路由，Consumer Group以及由其实现的不同消息分发方式，Topic & Partition，最后介绍了Kafka Consumer为何使用pull模式以及Kafka提供的三种delivery guarantee。...
2019-09-23 11:12:00
149
转载 Kafka学习笔记之K8S内filebeat传输到kafka报错带解决方案
0x00 概述filebeat非常轻量级，正常情况下占用的资源几乎都能忽略不计，但是部署后发现资源占用很大，所以怀疑是filebeat本身出了问题。第一时间查看filebeat日志（默认路径/var/log/filebeat/filebeat，K8S需要在控制台实时查看pod的日志），发现有大量内容输出：2019-03-20T08:55:02.198+0800 IN...
2019-09-03 19:07:00
665
转载 ELK学习笔记之ElasticSearch的集群(Cluster),节点(Node),分片(Shard),Indices(索引),replicas(备份)之间关系...
【Cluster】集群，一个ES集群由一个或多个节点（Node）组成，每个集群都有一个cluster name作为标识------------------------------------------------【node】节点，一个ES实例就是一个node，一个机器可以有多个实例，所以并不能说一台机器就是一个node，大多数情况下每个node运行在一个独立的环境或虚拟机上。-----...
2019-08-28 18:26:00
324
转载 Prometheus监控学习笔记之prometheus 版本1.7 常用启动参数
日志类： -log.level 可选值 [debug, info, warn, error, fatal] 例：-log.level "info" -log.format 可选输出到syslog或者控制台 例：-log.format "logger:syslog?appname=prom&local=7"查询类： -query.max-...
2019-08-28 18:09:00
1158
转载 ELK学习笔记之filebeat合并多行日志示例
0x00 概述本节中的示例包括以下内容：将Java堆栈跟踪日志组合成一个事件将C风格的日志组合成一个事件结合时间戳处理多行事件同理，你可以把如下的正则应用在容器的yaml文件内。0x01Java堆栈日志Java示例一：Java堆栈跟踪由多行组成，每一行在初始行之后以空格开头，如本例中所述:Exception in thread "m...
2019-08-27 14:39:00
445
转载 Linux学习笔记之AIX系统上压缩与解压文件
0x00 概述AIX机器真难用，一时半会还真适应不了。0x01 压缩tar命令格式：# tar -cvf (或xvf)+文件名+设备C：是本地到其他设备x：是其他设备到本地r：是追加，比如打包时，将其他文件追加进来使用该参数。t：显示tar包里的内容，但还原文件。例如：# tar –cvf bak.tar /test/ba...
2019-08-27 14:21:00
218
转载 Python学习笔记之使用 python -m SimpleHTTPServer 快速搭建http服务
0x00 概述搭建FTP，或者是搭建网络文件系统，这些方法都能够实现Linux的目录共享。但是FTP和网络文件系统的功能都过于强大，因此它们都有一些不够方便的地方。比如你想快速共享Linux系统的某个目录给整个项目团队，还想在一分钟内做到，怎么办？很简单，使用SimpleHTTPServer。0x01 使用 各种Linux发行版通常都内置了Python，故使用此方...
2019-08-27 14:16:00
279
转载 Prometheus监控学习笔记之Prometheus 2.x版本的常用变化
最近用了prometheus 2.0版本，感觉改变还是有点大，现将改变相关记录如下：1、prometheus.yml文件配置修改后，要想重新加载，必须在启动的时候添加参数： --web.enable-lifecycle比如：# nohup ./prometheus --web.enable-lifecycle --config.file=prom...
2019-08-26 09:35:00
191
转载 K8S学习笔记之filebeat采集K8S微服务java堆栈多行日志
0x00 背景K8S内运行Spring Cloud微服务，根据定制容器架构要求log文件不落地，log全部输出到std管道，由基于docker的filebeat去管道采集，然后发往Kafka或者ES集群。0x01 多行匹配和yaml文件在filebeat启动的yaml文件内，指定相应的名称空间并配置java堆栈的多行解析规则，如下yaml文件输出端是kafka，如需要输...
2019-08-22 18:08:00
729
转载 Kafka学习笔记之如何永久删除Kafka的Topic
0x00 问题描述使用kafka-topics --delete命令删除topic时并没有真正的删除，而是把topic标记为：“marked for deletion”，导致重新创建相同名称的Topic时报错“already exists”。0x01问题复现1. 登录Kafka集群所在的服务器，创建一个test的topic[root@cdh1 ~]# kafk...
2019-08-15 19:00:00
210
转载 Linux学习笔记之安装报错/lib/ld-linux.so.2: bad ELF interpreter
0x00 64位系统中安装了32位程序解决办法是因为64位系统中安装了32位程序解决方法：yum install glibc.i6860x01 解决交叉编译环境错误yum install ld-linux.so.2详细参考https://www.cnblogs.com/xcloudbiz/articles/5144970.html转载于:...
2019-07-19 15:23:00
177
转载 硬件笔记之Thinkpad T470P更换2K屏幕
0x00 前言手上的Thinkpad T470P屏幕是1920x1080的屏幕，色域范围NTSC 45%，作为一块办公用屏是正常配置，但是考虑到色彩显示和色域范围，计划升级到2K屏幕。2k屏幕参数如下，已经达到了视网膜级别，而且色域提升到了72%，颜色显示深度更高。0x01 注意要点拆机换屏的时候，请把电池拿下来，切勿带电池操作，换屏后各种排线需要仔细检查是否插...
2019-07-18 10:21:00
4255
转载 Linux学习笔记之rpm包管理功能全解
0x00软件包管理器所有的软件都是由文件格式的程序代码(即源代码)，经过编译成为一个可执行二进制文件；对于一个软件来说，其包含二进制程序、库文件、配置文件以及帮助文件。在应用中，每次要安装程序时通过找源代码然后去编译成二进制文件，这个过程要花费大量的时间，所以就有了程序包管理器。程序包管理器的功能是：将编译好的应用程序的各组文件打包成一个或几个程序包文件，从而更方便地实现程序...
2019-07-12 17:14:00
299
转载 Linux学习笔记之文件读取过程
0x00 概述对于Linux系统来说，一切的数据都起源于磁盘中存储的文件。Linux文件系统的结构及其在磁盘中是如何存储的？操作系统是怎样找到这些文件进行读取的？这一章主要围绕这几个问题进行介绍（以Ext2文件系统（传统的linux文件系统）为例）。0x01Linux系统目录树linux文件系统所有文件和目录都是由根目录开始的，以树的形式展开，如下图所示：根据...
2019-07-12 16:54:00
194
转载 Linux学习笔记之Linux系统的swap分区
0x00什么是swap分区Swap分区在系统的物理内存不够用的时候，把物理内存中的一部分空间释放出来，以供当前运行的程序使用。那些被释放的空间可能来自一些很长时间没有什么操作的程序，这些被释放的空间被临时保存到Swap分区中，等到那些程序要运行时，再从Swap分区中恢复保存的数据到内存中。swap分区是从磁盘空间划分而来，有的是单独使用一个分区，有的是把一个大文件当做swap。...
2019-07-12 16:36:00
164
转载 Linux学习笔记之grep命令和使用正则表达式
0x00正则表达式概述正则表达式是描述一些字符串的模式，是由一些元字符和字符组成的字符串，而这些元字符是一些表示特殊意义的字符，即被正则表达式引擎表达的字符表示与其本意不同的一些字符。0x01正则表达式的分类基本正则表达式扩展正则表达式# 这两种分类其支持的元字符不同；0x02基本正则表达式的元字符1、匹配字符：.: 匹配任意单个...
2019-07-09 17:38:00
339
转载 Prometheus监控学习笔记之容器监控Grafana模块
0x00 概述Grafana是一个开源的，可以用于大规模指标数据的可视化项目，甚至还能对指标进行报警。基于友好的 Apache License 2.0 开源协议，目前是prometheus监控展示的首选。优点如下：1.使用：配置方便：支持Dashboard、Panel、Row等组合，且支持折线图、柱状图等多种图例图表漂亮：可以选择暗黑系或纯白系，你也可以自己定...
2019-07-09 09:02:00
1023
转载 Linux学习笔记之Linux磁盘及文件系统管理笔记
Linux磁盘及文件系统管理 CPU,memory(RAM),I/O i/o: disks,ehtercard disks:持久存储数据 接口类型: IDE(ata): 并口,133MB/s;并行总线,双向四车道;并行数据容易产生干扰,导致数据损坏重传,因此效率低;并行越高，...
2019-07-08 16:27:00
124
转载 Linux学习笔记之RAID笔记
RAID: Redundant Arrays of Inexpensive Disks Independent Berkeley: A case for Redundent Arrays of Inexpensive Disks RAID 提高IO能力： 磁盘...
2019-07-08 16:08:00
108
转载 Linux学习笔记之Btrfs 文件系统
0x00 btrfs文件系统简介btrfs文件系统：技术预览版(Centos7)Btrfs(B-tree、Butter FS、Better FS)，GPL授权，Orale2007提出是想用来取代Ext文件系统0x01 btrfs核心特性# 1、多物理卷支持：支持将多个底层物理设备组织成同一个文件系统,类似VG，btrfs可由多个底层物理卷组成,支持RAID,以联...
2019-07-08 16:04:00
224
转载 Linux学习笔记之LVM基本应用,扩展及缩减实现
0x00LVM概述LVM是逻辑盘卷管理（Logical Volume Manager）的简称，它是Linux环境下对磁盘分区进行管理的一种机制，LVM是建立在硬盘和分区之上的一个逻辑层，来提高磁盘分区管理的灵活性。通过LVM系统管理员可以轻松管理磁盘分区，如：将若干个磁盘分区连接为一个整块的卷组 （volumegroup），形成一个存储池。管理员可以在卷组上随意创建逻辑卷组（log...
2019-07-05 14:23:00
136
转载 Linux学习笔记之Linux文件系统详解
0x00 机械硬盘机械磁盘由磁头（head）、磁道（track）、柱面（cylinder）、扇区（sector）和盘片（platter）组成。其中，磁头悬浮在盘片上，并且每张盘片上下各有一个磁头；每张盘片的磁道数是相同的，每张盘片相同位置的磁道组成柱面；而每一个磁道由数量相同的扇区组成，我们知道离主轴越远的扇区面积越大，而扇区大小一般为512B，必然导致存储密度越低，这样做明显浪费空...
2019-07-05 14:03:00
91
转载 Shell学习笔记之关于 >/dev/null 2>&1 详解
shell中可能经常能看到：>/dev/null 2>&1命令的结果可以通过%>的形式来定义输出分解这个组合：“>/dev/null 2>&1” 为五部分。# 1：> 代表重定向到哪里，例如：echo "123" > /home/123.txt# 2：/dev/null 代表空设备文件# 3：2>...
2019-07-02 10:18:00
93
转载 Linux学习笔记之CentOS 7系统使用firewalld管理防火墙端口
0x00 firewalld的基本使用# 启动： systemctl start firewalld# 查看状态： systemctl status firewalld # 停止： systemctl disable firewalld# 禁用： systemctl stop firewalld0x01 systemctl是CentOS7的服务管理工具中...
2019-07-02 10:18:00
95
转载 Kafka学习笔记之Kafka自身操作日志的清理方法(非Topic数据)
0x00 概述本文主要讲Kafka自身操作日志的清理方法(非Topic数据)，Topic数据自己有对应的删除策略，请看这里。Kafka长时间运行过程中，在kafka/logs目录下产生了大量的kafka-request.log.*和server.log.*文件，其中*代表日期和时间，比如kafka-request.log.2018-12-08-03和server.log.2018...
2019-07-01 14:02:00
561
转载 Kafka学习笔记之Kafka日志删出策略
0x00 概述kafka将topic分成不同的partitions，每个partition的日志分成不同的segments，最后以segment为单位将陈旧的日志从文件系统删除。假设kafka的在server.properity文件中设置的日志目录为tmp/kafka-logs，对于名为test_perf的topic。假设两个partitions,那么我们可以在tmp/kafka...
2019-07-01 13:50:00
295
转载 Web负载均衡学习笔记之K8S内Ngnix微服务服务超时问题
0x00 概述本文是从K8S内微服务的角度讨论Nginx超时的问题0x01 问题在K8S内部署微服务后，发现部分微服务链接超时，Connection Time Out。最近碰到了一个 Nginx 做为反向代理设置上的坑。起因是将 Nginx 做为反向代理服务器，来统一处理内网服务的转发。使用了类似如下的配置:server { listen 80;...
2019-06-28 17:43:00
240
转载 Linux学习笔记之详解linux软连接和硬链接
0x00链接文件Linux链接分两种，一种被称为硬链接（Hard Link），另一种被称为符号链接（Symbolic Link）。默认情况下，ln命令产生硬链接。【软连接】另外一种连接称之为符号连接（Symbolic Link），也叫软连接。软链接文件有类似于Windows的快捷方式。它实际上是一个特殊的文件。在符号连接中，文件实际上是一个文本文件，其中包含的有另一文...
2019-06-28 17:38:00
158
转载 Linux学习笔记之vim操作指令大全
0x00 关于VimVim是款强大的文本编辑器，但是众多指令需要学习，这次记录了指令大全方便以后翻阅。Vim的几种模式正常模式：可以使用快捷键命令，或按:输入命令行。插入模式：可以输入文本，在正常模式下，按i、a、o等都可以进入插入模式。可视模式：正常模式下按v可以进入可视模式， 在可视模式下，移动光标可以选择文本。按V进入可视行模式， 总是整行整行...
2019-06-25 11:10:00
263
转载 K8S学习笔记之Kubernetes 配置管理 ConfigMap
0x00 概述很多情况下我们为某一应用做好镜像，当我们想修改其中的一些参数的时候，就变得比较麻烦，又要重新制作镜像，我们是不是有一种方式，让镜像根据不同的场景调用我们不同的配置文件呢，那我们就需要用到 k8s 的另外一种资源，那就是 ConfigMap。我们知道，在几乎所有的应用开发中，都会涉及到配置文件的变更，比如说在web的程序中，需要连接数据库，缓存甚至是队列等等。而...
2019-06-25 11:10:00
193
转载 K8S学习笔记之K8S日志搜集实战
详细参考这篇文章，几乎覆盖了了K8S的各种日志搜集方案https://juejin.im/post/5b6eaef96fb9a04fa25a0d37#heading-8转载于:https://www.cnblogs.com/JetpropelledSnake/p/11081530.html...
2019-06-25 11:10:00
139
转载 K8S学习笔记之使用Fluent-bit将容器标准输入和输出的日志发送到Kafka
0x00 概述K8S内部署微服务后，对应的日志方案是不落地方案，即微服务的日志不挂在到本地数据卷，所有的微服务日志都采用标准输入和输出的方式(stdin/stdout/stderr)存放到管道内，容器日志采用的是json格式。目前大部分K8S容器日志都采用Fluent或者Fluent-bit，将日志传输到ES集群，本文主要讲使用Fluent-bit将容器的日志传输到Kafk...
2019-06-25 09:34:00
841
转载 Linux学习笔记之iptables学习笔记
iptables系列学习推荐：http://www.zsythink.net/archives/category/%e8%bf%90%e7%bb%b4%e7%9b%b8%e5%85%b3/iptables/转载于:https://www.cnblogs.com/JetpropelledSnake/p/11046274.html...
2019-06-18 17:06:00
81
转载 Linux学习笔记之秋水BBR一键部署
0x00 本脚本适用环境系统支持：CentOS 6+，Debian 7+，Ubuntu 12+内存要求：≥128M阅读文章时请除手动删出干扰字符“1”.（Shado1wsocks）0x01 关于本脚本1、一键安装 Shadow1socks-Python， Shado1wsocksR， Shado1wsocks-Go， Shadow1socks-libev 版（四选一...
2019-06-17 13:42:00
319
转载 ELK学习笔记之Kibana查询和使用说明
0x00 概述elasticsearch构建在Lucene之上，过滤器语法和Lucene相同Kibana接口概述Kibana接口分为四个主要部分：发现可视化仪表板设置我们将按照列出的顺序浏览每个部分的基础知识，并演示如何使用每个接口。0x01 Kibana探索当您第一次连接到Kibana 4...
2019-05-27 18:07:00
322
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人