- 博客(96)
- 收藏
- 关注
RSS订阅原创 kafka topic调优
kafka 在线修改topic分区的副本数1、先准备一个json文件partitions-topic.json{ "version":1, "partitions": [{ "topic": "ad-bd_poi-cache", "partition": 0, "replicas": [0, 2...
2019-10-29 11:49:21
596
1
原创 自动巡检kafka进程号并自启
前阶段应公司要求在收缩公司资源成本，导致有些机器性能比较饱和有几台kafka挂掉了。这若是没告警。对公司的损失可是不少。后面为了提前预防类似的事情发送，自己写了很简单的shell脚本来定时巡检。底下是代码，仅供参考！#!/bin/sh#`ps -ef | grep $proc_name | grep -v grep | awk '{print $2}'`source /etc/...
2019-10-29 11:31:36
1197
原创 自动巡检spark-job进程号
前阶段应公司要求在收缩公司资源成本，导致有些机器性能比较饱和有几台spark的job节点挂掉了。这若是没告警。对公司的损失可是不少。后面为了提前预防类似的事情发送，自己写了很简单的shell脚本来定时巡检。底下是代码，仅供参考！#!/bin/bash file_log=/data/lzmhtest/crontab/spark/spark.log ----存放定时打印的日志ma...
2019-10-29 11:27:23
412
原创 mongodb 如何删索引
举个例子：db.集合名称.dropIndex("ins_t_1")以下是参数说明：dropIndex 删除ins_t_1 索引名称
2019-10-29 11:13:28
861
转载 Linux查看CPU、内存、进程使用情况（转）
在系统维护的过程中，随时可能有需要查看 CPU 使用率，并根据相应信息分析系统状况的需要。在 CentOS 中，可以通过 top 命令来查看 CPU 使用状况。运行 top 命令后，CPU 使用状态会以全屏的方式显示，并且会处在对话的模式 -- 用基于 top 的命令，可以控制显示方式等等。退出 top 的命令为 q （在 top 运行中敲 q 键一次）。top命令是Linux下常用的性能分析...
2019-10-29 11:11:35
1546
转载 关于服务器性能的一些思考
一、服务器性能平常的工作中，在衡量服务器的性能时，经常会涉及到几个指标，load、cpu、mem、qps、rt，其中load、cpu、mem来衡量机器性能，qps、rt来衡量应用性能。一般情况下对于机器性能，load、cpu、mem是越低越好，如果有一个超过了既定指标都代表着可能出现了问题，就需要尽快解决（当然有可能是应用的问题也有可能是机器上其他程序引起的），反正就是如果不解决，时间长了...
2019-10-29 11:09:38
756
原创 云数据盘扩容
磁盘类型：云硬盘对于云硬盘（UDisk）的磁盘扩容，请先在主机内部完成卸载操作。mount -l //查看当前卷，假设/dev/vdb为云盘umount /dev/vdbfsck.ext4 /dev/vdb然后在控制台选中磁盘，执行卸载操作：在云硬盘控制面板完成扩容，并重新挂载，在主机内执行下述Step 2步骤的操作：Step2 命令行操...
2019-10-29 11:05:48
356
原创 查看mongodb慢查询（root账号登入）
查看慢查询（root账号登入）db.currentOp({"active":true,"secs_running":{"$gt":3},"ns":/^lzmh_wlw_2\./})注：lzmh_wlw_2 是mongodb要查的账号杀掉慢查询db.killOp(opid)...
2019-10-29 11:00:39
231
原创 Spark配置参数调优
CPU各核负载量很不均匀，内存也没有用满，系统的资源没有得到充分利用，该如何利用？(1)Spark的RDD的partition个数创建task的个数是对应的;(2)Partition的个数在hadoop的RDD中由block的个数决定的。内存：系统总内存数 = work内存大小 * work数 = SPARK_WORKER_MEMORY * SPARK_WORKER_INSTAN...
2019-10-29 10:58:26
589
原创 vim解决中文乱码
修改vim配置文件/etc/vimrc，在最后增加如下配置：set fileencodings=utf-8,ucs-bom,gb18030,gbk,gb2312,cp936set termencoding=utf-8set encoding=utf-8
2019-08-07 16:38:00
225
原创 linux上检测系统安全，是否被入侵？
wget https://gitee.com/zzhlinux911218/software/raw/master/linux-inspect.sh --no-check-certificate;bash linux-inspect.sh安装检测工具中--------------……………………正在检测系统…………Searching for Linux.Xor.DDoS ... I...
2019-08-07 16:37:31
678
原创 InnoDB，5项最佳实践，知其所以然？
第一篇，说说MySQL两个最常用的存储引擎，MyISAM和InnoDB。照自己的理解，把一些知识点总结出来，不只说知识点，多讲“为什么”。一、关于count(*)知识点：MyISAM会直接存储总行数，InnoDB则不会，需要按行扫描。 潜台词是，对于select count(*) from t; 如果数据量大，MyISAM会瞬间返回，而InnoDB则会一行行扫描。 实践：数据量大的...
2018-08-17 09:01:27
248
原创 traceroute命令讲解
通过traceroute我们可以知道信息从你的计算机到互联网另一端的主机是走的什么路径。当然每次数据包由某一同样的出发点（source）到达某一同样的目的地(destination)走的路径可能会不一样，但基本上来说大部分时候所走的路由是相同的。linux系统中，我们称之为traceroute,在MS Windows中为tracert。 traceroute通过发送小的数据包到目的设备直到其...
2018-07-13 17:04:26
83224
原创 在linux下用echo命令来清理日志，清理完毕之后不需要重启
1.到catalina.out 当前目前下 执行 echo "" > catalina.out2. 也可以用这种办法 echo "" > /usr/local/catalina.out
2018-06-29 17:01:39
5753
原创 (Packet for query is too large (4739923 > 1048576)(mysql)解决
今天运行项目时遇到Cannot create PoolableConnectionFactory (Packet for query is too large (4739923 > 1048576)我的操作是：1.先在数据库中执行查询（查询是为了查看修改配置文件后这个数值有没有变化）SHOW VARIABLES LIKE '%max_allowed_packet%'12.修改了配置文件【my...
2018-06-19 18:27:34
2183
转载 MySQL数据的binlog处理方法 日志定时清理
最近磁盘增长的非常快，发现binlog日志占用很大的磁盘资源。我们采用手动清理，后面设置一下自动清理。查看指定删除日志mysql >show binary logs; 查看多少binlog日志，占用多少空间。mysql> PURGE MASTER LOGS TO 'mysql-bin.002467'; 删除mysql-bin.002467以前所有binlog，这样删除可以保证*.ind...
2018-06-05 16:21:34
550
转载 MySQL 利用binlog增量备份+还原实例
查看当前日志文件列表：show binary logs; 使用binlog日志的目的是为了方便恢复数据，所以我们不光要会删除，还要会用日志来恢复数据。使用binlog恢复数据：使用mysqlbinlog命令恢复日志mysqlbinlog -d test /root/mysql/mysql-bin.000001|mysql -uroot -ppassword ※附录 #1、关于mysql...
2018-06-05 16:18:01
606
转载 expire_logs_day binlog自动过期清理binlog
expire_logs_day 设置binlog老化日期触发时机是binlog发生切换：binlog大小超过max_binlog_size手动执行flush logs重新启动时(mysql将会new一个新文件用于记录binlog)该参数可以在线修改123456789mysql> show variables like '%expire%';+------------------+------...
2018-06-05 15:54:37
521
原创 mysql 正确清理binlog日志的两种方法
mysq 正确清理binlog日志前言：MySQL中的binlog日志记录了数据库中数据的变动，便于对数据的基于时间点和基于位置的恢复，但是binlog也会日渐增大，占用很大的磁盘空间，因此，要对binlog使用正确安全的方法清理掉一部分没用的日志。【方法一】手动清理binlog清理前的准备：① 查看主库和从库正在使用的binlog是哪个文件?12show master status\G show...
2018-06-05 11:40:14
3634
转载 Linux下统计当前文件夹下的文件个数、目录个数
1) 统计当前文件夹下文件的个数:ls -l |grep "^-"|wc -l2) 统计当前文件夹下目录的个数:ls -l |grep "^d"|wc -l3) 统计当前文件夹下文件的个数，包括子文件夹里的 :ls -lR|grep "^-"|wc -l 4) 统计文件夹下目录的个数，包括子文件夹里的:ls -lR|grep "^d"|wc -l 说明：ls -l :长列表输出当前文件夹下文件信息...
2018-05-30 10:32:00
16763
原创 linux 下 ext4最大文件数
Ext3 目前只支持 32,000 个子目录，而 Ext4 本身支持无限数量的子目录，前提是分区inodes数量足够，一个文件需要占用一个inodes，一个15g分区最大支持1500万个inodes，30g就是最大支持3000万个inodes，具体计算为分区大小转换为kb，因为一个inodes至少需要占用1kb，所以在分区或者挂盘的时候，就需要自己指定最大inodes，既然一个inodes占用1k...
2018-05-29 11:11:10
9047
原创 linux 新购买硬盘挂载及parted分区
注意：磁盘格式化操作前请确认，若数据盘中有数据，建议您先备份数据。建议您不要在云主机上对云硬盘进行分区，以免影响云硬盘的扩容。本示例环境版本：具体操作：通过页面console或SSH工具连接主机实例，本示例使用自有SSH工具。登陆主机实例后，使用fdisk -l命令查看云主机的硬盘分区。本示例中，云硬盘挂载点为/dev/vdb，请您根据实际情况操作。若没有查看到相应设备，请您检查云硬盘挂载信息与状...
2018-05-21 10:05:53
1391
转载 Mysql定时器定时删除表数据
由于测试环境有张日志表没定时2分钟程序就狂插数据，导致不到1一个月时间，这张日志表就占用了6.7G的空间，但是日志刷新较快，有些日志就没什么作用，就写了个定时器，定期删除这张表的数据 首先先查看mysql是否开启定时任务开关 # SHOW VARIABLES LIKE 'event_scheduler'; Value为ON则已打开，OFF则关闭 如果是OFF，就先打开：# S...
2018-05-18 10:49:07
3503
原创 MySQL修改3306端口启动不了问题
1、编辑mysql配置文件my.cnfvim /etc/my.cnf2、在[mysqld]下添加port=99993、重启mysql服务service mysqld restart这里我之前出现了一个问题，修改端口后 导致mysql起不来 排查如下这是更改端口后，进入/var/log/mysqld.log里摘取的启动失败相关日志：130823 17:21:14 mysqld_safe Star...
2018-05-18 10:45:19
10957
1
原创 linux句柄数2者关系
在linux服务器centos6.5下的 cd /etc/security/limits.d/90-nproc.conf 与cd /etc/security/limits.conf 都是系统用户资源配置文件，两者有什么不一样呢？先来看cat /etc/security/limits.d/90-nproc.conf配置文件：默认配置文件是如下:* soft nproc ...
2018-05-18 10:24:43
345
转载 Windows解压版安装64位Apache2.4.29
Windows解压版安装64位Apache2.4.29安装的Apache版本：httpd-2.4.29-Win64-VC15.zip [此版本需要Windows电脑安装VC 2015运行库]（http://httpd.apache.org/docs/current/platform/windows.html#down） （版本有可能升级）百度网盘链
2018-05-03 09:27:24
1287
转载 mongo数据库的各种查询语句示例(比较全的)
[java] view plain copy左边是mongodb查询语句，右边是sql语句。对照着用，挺方便。 db.users.find() select * from users db.users.find({"age" : 27}) select * from users where age = 27 db.users.find({"
2018-05-03 09:24:21
302
转载 CentOS 7.2 yum方式安装MySQL 5.7
CentOS 7.2 yum方式安装MySQL 5.7CentOS 7之后的版本yum的默认源中使用MariaDB替代原先MySQL，因此安装方式较为以往有一些改变：下载mysql的源wget http://dev.mysql.com/get/mysql57-community-release-el7-7.noarch.rpm 安装yum库yum local
2018-05-03 09:22:21
191
原创 升级了centos系统自带git版本后 clone报ssl错误的解决方法！
由于升级了git版本，git clone 的时候报了如下的错误1fatal: unable to access 'https://github.com/open-falcon/falcon-plus.git/': SSL connect error百度了好久，试了好多方法，最后google到了解
2018-05-03 09:21:15
1135
1
原创 MySQL中查询所有数据库占用磁盘空间大小和单个库中所有表的大小的sql语句
查询所有数据库占用磁盘空间大小的SQL语句：复制代码代码如下:select TABLE_SCHEMA, concat(truncate(sum(data_length)/1024/1024,2),' MB') as data_size,concat(truncate(sum(index_length)/1024/1024,2),'MB') as index_size
2018-05-03 09:19:34
450
原创 pt-online-schema-change 使用异常处理及注意事项
pt-online-schema-change最近使用pt-online-schema-change 做线上大表的在线DDL，发现几个问题。我使用的语句如下：pt-online-schema-change --user=root --password="xxxxx" --host=192.168.xx.xx D=M_xx,t=T_xx --alter "ADD Fxxxxx'" --charse...
2018-04-24 11:09:53
3690
原创 sshpass-Linux命令之非交互SSH密码验证
ssh登陆不能在命令行中指定密码。sshpass的出现，解决了这一问题。sshpass用于非交互SSH的密码验证，一般用在sh脚本中，无须再次输入密码。它允许你用 -p 参数指定明文密码，然后直接登录远程服务器，它支持密码从命令行、文件、环境变量中读取。 其默认没有安装，需要手动安装，方法如下：sshpass下载地址：http://sourceforge.net/projects/sshpass/...
2018-02-08 16:24:56
458
转载 linux 调优--修改文件最大句柄数
在linux服务器调优时，经常需要调优linux参数，以下是针对句柄数调优的相关说明：首先查看下系统的句柄是多少，用ulimit -a 命令查看[root@hu_wen ~]# ulimit -acore file size (blocks, -c) 0data seg size (kbytes, -d) unlimitedsche
2018-02-05 13:47:29
1637
转载 通过Python使用saltstack收集服务器资产信息自动入库
由于各种因素导致公司服务器资产信息不完善，想要重新整理一份资产信息表，借鉴《通过Python使用saltstack生成服务器资产清单》的脚本稍微修改，完善自己想要的资产信息，并写入数据库！在此做个记录，以便后期资产更新。脚本内容如下：[python] view plain copy# coding=utf-8 i
2018-02-05 13:46:46
769
原创 tcpdump 与wireshark结合抓包工具
Wireshark(以前是ethereal)是Windows下非常简单易用的抓包工具。但在Linux下很难找到一个好用的图形化抓包工具。还好有Tcpdump。我们可以用Tcpdump + Wireshark 的完美组合实现：在 Linux 里抓包，然后在Windows 里分析包。tcpdump tcp -i eth0 -t -s 0 -c 100 and dst port ! 22 and
2018-02-05 13:45:02
377
转载 MySQL之——查询重复记录、删除重复记录方法大全
查找所有重复标题的记录：[sql] view plain copySELECT * FROM t_info a WHERE ((SELECT COUNT(*) FROM t_info WHERE Title = a.Title) > 1) ORDER BY Title DESC 一、查找重复记录1、查找全部重复记
2018-01-22 15:51:41
278
原创 centos下完全卸载mysql
a）查看系统中是否以rpm包安装的mysql：[root@localhost opt]# rpm -qa | grep -i mysqlMySQL-server-5.6.17-1.el6.i686MySQL-client-5.6.17-1.el6.i686b)卸载mysql[root@localhost local]# rpm -e MySQL-se
2017-12-27 09:29:30
240
原创 linux CentOS6.5 yum安装mysql 5.6
1.新开的云服务器，需要检测系统是否自带安装mysql# yum list installed | grep mysql2.如果发现有系统自带mysql，果断这么干# yum -y remove mysql-libs.x86_643.随便在你存放文件的目录下执行，这里解释一下，由于这个mysql的yum源服务器在国外，所以下载速度会比较慢，还好mysql5.6只有79M
2017-12-27 09:26:31
303
转载 mongo数据库的各种查询语句示例(比较全的)
左边是mongodb查询语句，右边是sql语句。对照着用，挺方便。 db.users.find() select * from users db.users.find({"age" : 27}) select * from users where age = 27 db.users.find({"username" : "joe", "age" : 27}) select * f
2017-12-13 14:22:27
546
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人