- 博客(61)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 特殊命令合集
1、tee命令重定向输出文件，其实和重定向的用法一致，只是重定向没法把重定向到文件中的内容展示出来，但是tee命令可以#标准输出的同时，保存在file文件中，相当于 >tee file#标准输出的同时，追加到file文件中，相当于 >>tee -a file2、vim与命令行间的切换在使用vim时可以临时中断编辑进入命令行，例如写程序时，可以切换到命令行...
2019-02-19 14:27:38
1768
原创 Linux四剑客-find、awk、grep、sed
目录awk工具 awk常用的语句 awk与其他语句的嵌套用法 awk的正则用法sed 工具grep 工具find 工具awk工具：主要是用于对文件、数据内容进行处理，根据条件、设定的规则完成相应的处理，通常用于匹配文本中指定内容，并且将其打印或者按照用户需求输出结果#打印文本中需要的某个字段awk -F" " '{print $...
2018-09-25 18:20:26
3983
1
原创 2.6-内存性能-快速定位系统内存问题
目录六、快速定位系统内存问题6.1 内存性能指标6.1.1 系统内存使用情况6.1.2 进程内存的使用情况6.1.3 Swap 的使用情况6.2 内存性能工具6.2.1 系统/进程内存 —— free、top/ps6.2.2 缓存、缓存区 —— proc/vmstat/cachestat/cachetop6.2.3 内存泄露 —— vmstat/memleak6.2.4 Swap —— sar/cachetop/proc6.3 性能指标与工具间的联系6.3.1
2021-05-29 23:33:14
446
原创 2.5-内存性能-系统 swap 交换分区
目录五、系统 swap 分区5.1 内存回收和 OOM5.1.1 内存回收5.1.2 脏页写入磁盘的方式5.1.3 swap 机制5.2 Swap 原理5.2.1 直接内存回收5.2.2 内核线程进行定期内存回收 —— kswapd05.3 NUMA 与 Swap5.4 swappiness5.4.1 不同页的内存回收机制5.5 Swap 使用升高时的定位与分析5.5.1 案例 —— dd/sar5.6 总结五、系统 swap 分区情景：
2021-05-29 23:29:27
900
原创 2.4-内存性能-内存泄露
目录四、内存泄露4.1 内存的分配和回收4.1.1 内存段导致内存泄露4.2 内存泄露的检测、定位及处理 —— vmstat/bcc4.2.1 案例分析4.2.2 检查内存泄露的工具 —— memleak4.3 Java 项目内存泄露的监控4.3.1 出现内存泄露的可能现象4.4 总结四、内存泄露什么是内存泄露？没正确回收动态分配后的内存，导致内存泄漏 访问的是已分配内存边界外的地址，导致程序异常退出什么是内存溢出(OOM)？程序在申请内存时，没有足
2021-05-29 23:22:39
653
原创 2.3-内存性能-利用系统缓存优化程序运行效率
三、利用系统缓存优化程序运行效率Buffer 和 Cache 可以提升系统的I/O性能，利用内存，充当慢速磁盘与快速CPU之间的桥梁，加速I/O的访问速度。因此，可以利用缓存的这一特性，来提高程序的运行效率。3.1 缓存命中率衡量缓存使用的好坏 —— 缓存命中率缓存命中率：是指直接通过缓存获取数据的请求次数，占所有数据请求次数的百分比。命中率越高，表示使用缓存带来的收益越高，应用程序的性能也就越好。缓存：所有高并发系统必需的核心模块，主要作用就是把经常访问的数据（也就是.
2021-05-29 23:14:23
515
原创 2.2-内存性能-Buffer和Cache
二、Buffer 与 Cache 介绍#查看buffer和cache free //free会显示物理内存Mem和交换分区swap的使用情况，像总内存、已用内存、缓存、可用内存 //缓存 = Buffer + CacheBuffer 和 Cache 都是数据在内存中的临时存储 Buffer 是缓存区 Cache 是缓存 2.1 Buffer 和 Cache 讲解2.1.1 free 中关于 Buffer 和 Cache 的介绍：Buffers 是内核缓冲区用到的内存，对...
2021-05-29 23:07:46
677
原创 2.1-内存性能-内存管理
一、内存管理内存主要是用来存储系统和应用程序的指令、数据、缓存。1.1 内存映射常说的内存容量，其实指的是物理内存，也称主存。大多数计算机用的主存都是动态随机访问内存（DRAM）。只有内核才可以直接访问物理内存。Linux 内核给每个进程都提供了一个独立的虚拟地址空间，并且这个地址空间是连续的。这样，进程就可以很方便地访问内存，更确切地说是访问虚拟内存。虚拟地址空间的内部被分为内核空间和用户空间，不同字长（也就是单个 CPU 指令可以处理数据的最大长度）的处理器，地址空间的范...
2021-05-29 23:02:28
568
原创 云计算第一阶段系统管理知识考试相关知识总结
一、 单选题（17分）1. Linux文件权限一共10 位长度，分成四段，第三段表示的内容是: C A 文件类型 B 文件所有者的权限 C 文件所有者所在组的权限 D 其他用户的权限文件一般有四个不同的类型：第一段表示文件类型->d 目录；p 管道文件；l 链接文件；b 块文件第二阶段：文件拥有者（所有者）即属主的权
2021-05-23 12:23:33
1911
原创 通过硬盘创建交换分区
创建或扩展交换分区使用前提：在安装后要升级RAM的时候磁盘空间不够，需要增加一点交换分区的空间，example，要将系统的RAM从1GB升级到2GB，此时交换分区的空间可能不足，因此也需要升级交换分区是当物理内存的用量已满时，被保留用作虚拟内存的磁盘上的空间。如果系统在RAM满载时需要更多的内存资源，内存中的非活动页面将被移动到交换空间，这样可以帮助系统运行应用程序更多的时间，但不应该把...
2021-05-23 12:21:53
662
原创 1.7-CPU性能-CPU性能优化
七、CPU性能优化7.1 性能优化思考当满足一下条件时，说明优化没什么问题：既然要做性能优化，那要怎么判断它是不是有效呢？特别是优化后，到底能提升多少性能呢？ 性能问题通常不是独立的，如果有多个性能问题同时发生，你应该先优化哪一个呢？ 提升性能的方法并不是唯一的，当有多种方法可以选择时，你会选用哪一种呢？是不是总选那个最大程度提升性能的方法就行了呢？7.2 性能优化效果的评估既然要做性能优化，那要怎么判断它是不是有效呢？特别是优化后，到底能提升多少性能呢？我们解决性能问题的目.
2021-05-23 12:21:02
410
原创 1.6-CPU性能-CPU性能指标
目录六、CPU性能指标6.1 CPU使用率6.1.1 不同CPU使用率升高的排查思路6.2 平均负载6.3 进程上下文切换6.4 CPU缓存的命中率6.5 CPU性能工具6.5.1 平均负载6.5.2 上下文切换6.5.3 进程CPU使用率升高6.5.4 系统CPU升高6.5.5 短时进程6.5.6 不可中断进程和僵尸进程6.5.7 软中断6.5.8 串联性能指标和性能工具6.6 如何迅速分析 CPU 的性能瓶颈6.6.1 性能分析的方式
2021-05-23 12:19:38
1104
原创 1.5-CPU性能-软中断
目录五、软中断5.1 中断5.1.1 中断的特性5.2 软中断5.3 查看软中断和内核线程 —— proc文件系统5.4 软中断 案例分析 —— sar/hping3/tcpdump5.4.1 案例操作5.4.2 软中断类别说明5.4.3 观察系统网络接收情况 —— sar5.4.4 抓包 —— tcpdump5.5 软中断对系统的影响排查思路5.5.1 找网络相关的错误的有几种方式5.6 总结五、软中断5.1 中断中断是系统用来响应硬件设备请
2021-05-23 12:15:06
1528
原创 1.4-CPU性能-不可中断进程、僵尸进程
目录四、不可中断进程、僵尸进程 —— 等待I/O CPU4.1 进程状态4.1.1 进程状态分类 —— R/D/Z/S/I4.1.2 不可中断状态4.1.3 僵尸进程4.2 大量不可中断状态/僵尸状态进程 案例分析4.2.1 进程组和会话4.3 大量不可中断状态/僵尸状态进程 案例解决方案4.3.1 iowait分析 —— dstat4.3.2 僵尸进程 —— pstree4.4 总结四、不可中断进程、僵尸进程 —— 等待I/O CPU现象：当 ..
2021-05-23 12:05:49
533
原创 1.3-CPU性能-CPU 使用率
目录三、CPU使用率 —— 用户CPU3.1 CPU使用率相关重要指标3.2 查看CPU使用率 —— ps/top/pidstat3.3 CPU使用率过高怎么办？3.4 CPU使用率案例分析 —— ab3.5 当CPU使用率升高时，分析方式3.6 当CPU使用率升高时，找不到pid3.7 总结三、CPU使用率 —— 用户CPUCPU 使用率是单位时间内 CPU 使用情况的统计，以百分比的方式展示。/proc/stat 提供的就是系统的 CPU 和任务统计信息。
2021-05-23 10:53:06
1619
2
原创 封装yum源
目标：针对现有的yum源进行封装，主要是在centos7的系统进行yum源的搭建 主要封装的源是：阿里云yum源，epel源、戴尔镜像源一、源文件下载 #同步源文件需要的依赖yum install -y wget make cmake gcc gcc-c++ pcre-devel zlib-devel openssl openssl-devel cr...
2020-04-21 10:39:29
362
原创 kibana查询超时
现象：公司某个项目一天的日志量很大，在查询一天的日志时，出现gateway timeout的问题，目前的排查方向kibana做了代理，可能是nginx的代理那边设置的连接时间较短，查询时间较长，出现连接超时，这种情况，设置nginx的配置即可#nginx没有设置代理，以下参数是以秒为单位fastcgi_connect_timeout 300;fastcgi_send_time...
2019-09-20 11:06:34
4043
原创 Logstash之grok字段
#logstash中grok插件的使用#grok中match插件的使用grok { #提取字段 match => { "source" => "(\w+/){2}(?<project>.*?)/.*" } ...
2019-05-28 16:04:42
2132
4
原创 关于linux上清缓存
前言：前几天遇到线上问题，就是我线上的es机器启动的时候，有进程在跑，但是指定的端口一直没有起来，而且没有日志。同时采用清楚linux缓存的办法将问题解决了，所以来了解下，linux清系统缓存的办法缓存机制的介绍在Linux系统中，为了提高文件系统性能，内核利用一部分物理内存分配出缓冲区，用于缓存系统操作和数据文件，当内核收到读写的请求时，内核先去缓存区找是否有请求的数据，有就直接...
2019-05-07 16:23:49
336
原创 Elasticsearch问题处理
目前遇到的es相关问题主要有以下两种：1、分片问题2、高低水位问题主配置文件参考：https://www.cnblogs.com/zhaijunming5/p/6427989.htmles的节点主要是有以下几个节点：1、主节点：控制整个集群，像创建或删除索引，跟踪哪些节点是群集的一部分，并决定哪些分片分配给相关的节点。稳定的主节点对集群的健康非常重要node....
2019-04-29 14:16:45
332
原创 Filebeat——grok字段（解析自定义的nginx日志）
grok字段在线测试（需要翻墙）：http://grokdebug.herokuapp.com/grok自带的正则比配仓库：https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns前提： filebeat从5.6的版本以上都有自己解析字段的功能，也具有grok字段，其匹配规则与logstash...
2019-04-25 11:38:13
9802
2
原创 vim快捷键
vim快捷键汇总光标移动翻页command中的快速替换分割文件查看在全文中进行字符串的替换其他光标移动#移动光标快捷键w 快速跳到下一个空格b 快速跳到上一个空格shift+6 即 ^ 快速到行首shift+4 即 $ 快速到行尾翻页Ctrl+f 向下翻整页Ctrl+b 向上翻整页Ctrl+d 向下翻半页Ctrl+u 向上翻半页c...
2019-04-11 11:17:23
328
原创 安装filebeat
filebeat的grok解析分析安装：主要是配置文件主配置文件filebeat.ymlfilebeat.prospectors:- input_type: log#日志存放的路径paths:- /data/filebeat/javalog/*.logmultiline.pattern: '^\[entry\]'multiline.ne...
2019-04-11 10:51:44
590
原创 MySQL之常用命令
1、or和and的用法#当判断语句中既存在与用法又存在或用法时select * from project where ( name="suju-sys-img" or name="suju-sys-app" ) and env="test";2、where语句的相关用法操作符 描述 实例 = 检测两个值是否相等 (A = B) 返回false <...
2019-04-08 10:12:34
214
原创 安装kibana
说明：此次部署中kibana是安装在另外的一台主机上，因此，需要重新安装JDK，详细见第一篇1、kibana的主配置文件/kibana/config/kibana.yml#监听端口，默认为5601server.port: 5601#监听主机server.host: "192.168.32.129"#指定elasticsearch的URLelasticsearch.ur...
2018-11-20 17:22:12
1268
原创 安装Logstash
说明：Logstash单独运行，收集日志会比较的重，因此，在生产环境中会安装filebeat，收集日志并上报给logstash，进行转换解析1、安装JDK运行在java环境之下，如果是额外的主机的话，需要重新配置，详细见上篇，本次部署是在同一台主机之上，因此不需要额外的部署2、Logstash安装测试#安装测试logstash -e 'input { stdin { } ...
2018-11-20 17:15:32
491
原创 安装Elasticsearch
1、安装JDKELK的环境主要是部署在java环境之上，因此，在部署之前先安装JDK#JDKexport JAVA_HOME=/usr/local/java/jdk1.8.0_191export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar...
2018-11-20 17:10:39
270
原创 要命的Shell之MySQL数据库
一、MySQL数据可分库备份分析：1、建库 2、备份在命令行上通过以下命令创建数据库，socket可以省略mysql -uroot -pcentos -S /var/lib/mysql/mysql.sock -e "create database wu;"批量创建MySQL数据库的脚本如下：#!/bin/bashPATH="/usr/bin:$PATH"Us...
2018-10-16 13:42:33
256
原创 要命的shell之常见的shell编程题
逐行读取数据#!/bin/bash#逐行读取文件，相对路径文件while read LINEdo if [[ $LINE =~ ".app"$ ]];then name=`echo $LINE | awk -F'.' '{print $1}'` num=`ls /data/vicky/zk/biz/${name}/app/instance/server...
2018-10-15 22:24:23
1742
原创 关于常见服务端口的总结
端口：20服务：FTP说明：FTP 数据端口端口：21服务：FTP说明：FTP服务器所开放的端口，用于上传、下载。最常见的攻击者用于寻找打开anonymous的FTP服务器的方法。这些服务器带有可读写的目录。木马Doly Trojan、Fore、Invisible FTP、WebEx、WinCrash和Blade Runner所开放的端口。端口：22服务：Ss...
2018-10-06 15:14:32
567
原创 TCP/IP协议相关问题总结
关于tcp/ip协议：tcp协议进行连接主要是通过三次握手进行初始化。1、三次握手和四次断开：三次握手的目的：同步连接双方的序列号和确认好并交换TCP窗口大小信息第一次连接：客户端发送请求报文段，SYN=1，等待服务端的确认第二次连接：服务端收到SYN报文段，对此报文段进行确认，同时发送一个SYN+ACK包给客户端第三次连接：服务端接收SYN+ACK包，并将ACK包发...
2018-09-26 18:25:43
506
转载 面试提问
前段时间有面试机会的时候准备了一下，我也不记得是在哪里找到的，然后就保存在我的有道云笔记里面，今天有点时间，就上传了上来。Mongodb熟悉吗，一般部署几台？回答：部署过，没有深入研究过，一般mongodb部署主从、或者mongodb分片集群；建议3台或5台服务器来部署。MongoDB分片的基本思想就是将集合切分成小块。这些块分散到若干片里面，每个片只负责总数据的一部分。 对于客户...
2018-09-25 18:30:05
960
原创 编译安装的注意事项
编译安装的四大步骤：软件下载 -> 预编译 -> 编译 -> 配置一、安装必备的编译工具：yum install -y gcc gcc-c++ autoconf automake make否则在预编译的过程中会报如下错误：[root@localhost nginx]# ./configurechecking for OS + Linu...
2018-09-11 16:43:07
1269
原创 Http服务器
补充：FQDN:(Fully Qualified Domain Name)完全合格域名/全称域名，是指主机名加上全路径，全路径中列出了序列中所有域成员。全域名可以从逻辑上准确地表示出主机在什么地方，也可以说全域名是主机名的一种完全表示形式。从全域名中包含的信息可以看出主机在域名树中的位置。DNS解析流程:首先查找本机HOSTS表，有的直接使用表中定义，没有查找网络连接中设置的DNS 服务...
2018-09-06 15:44:12
913
原创 LAMP集群环境
LAMP集群初步L：Linux A：Apache（httpd） M：MySQL ， Mariadb P：php, perl , pythonhttpd：接受用户的web请求php：运行PHP程序MariaDB：数据管理系统CGI：通用网关接口作用：从客户端的网页浏览器向服务器上的应用程序传输数据一个...
2018-09-06 15:25:09
580
原创 Shell脚本测试（练习笔记）-【未完】
1、接受一个路径参数：(1) 如果为普通文件，则说明其可被正常访问；(2) 如果是目录文件，则说明可对其使用cd命令；(3) 如果为符号链接文件，则说明是个访问路径；(4) 其它为无法判断；#!/bin/bashif [ $# -lt 1 ]; echo "please input a file." exit 1fiif [ -f $1 ];then...
2018-09-05 16:24:01
381
原创 Interview
Interview关闭防火墙和selinux：selinux： getenforce 查看当前selinux的模式 setenforce 0 将selinux模式变为permissive vim /etc/selinux/config 永久关闭（重启系统后生效）防火墙： CentOS6中： service iptables status ...
2018-09-05 16:01:06
650
转载 Nginx负载均衡原理
nginx 这个轻量级、高性能的 web server 主要可以干两件事情：直接作为http server(代替apache，对PHP需要FastCGI处理器支持)； 另外一个功能就是作为反向代理服务器实现负载均衡以下我们就来举例说明如何使用 nginx 实现负载均衡。因为nginx在处理并发方面的优势，现在这个应用非常常见。当然了Apache的 mod_proxy和mod_ca...
2018-09-05 14:57:53
1143
转载 zabbix 2.4.4 更换 logo（未实践）
目的：zabbix 2.4.4 更换 logo 想把 zabbix 的 logo 改为自己公司的。把更改过程做一下记录 先找到修改文件的目录 zabbix 版本 2.4.4 操作系统 linux 目录定位find / -name page_header.php 替换图片cd /usr/share/zabbix/ls 进入 image 目录中的 general 目录...
2018-09-03 13:36:36
929
转载 ubuntu常用命令（未整理）
前言下面的命令大都需要在 控制台 / 终端 / shell 下输入。控制台, 终端, 和 shell 意味着同样一件事 - 一个命令行界面， 他可以用来控制系统。打开一个控制台:应用程序 --> 附件 --> 终端任何一个使用 'sudo' 作为前缀的命令都需要拥有管理员 (或 root) 访问权限。 所以你会被提示输入你自己的密码。安装升级查看软件xxx安装内...
2018-08-31 14:22:12
1410
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人