运维
关注
分享
扫一扫
文章平均质量分 88
RunningShare
微信公众号为：跑享网，博主有近多年工作经验，近8年大数据开发、运维和架构设计经验，将与您探讨Flink/Spark、StarRocks/Doris、Clickhouse、Hadoop、Kudu、Hive、Impala等大数据组件的架构设计原理，以及大数据、Java/Scala的面试题以及数据治理、大数据平台从0到1的实战经验等，也会与大家分享一些有正能量的名人故事，也包括个人成长、职业规划等的一些感悟，有探讨或感兴趣的话题，欢迎留言或私聊哈，如果文章对您有所启发，麻烦帮忙点赞+收藏+转发哈，若有大佬的打赏，更是感激不尽，小编将继续努力，打造更好的作品，与您一起进步~~
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
日志切割之Logrotate
日志切割之Logrotateposted @2018-05-18 09:54惨绿少年 阅读(54458) 评论(4)编辑收藏举报分类:其他,运维基本功,日常undefined1、关于日志切割 日志文件包含了关于系统中发生的事件的有用信息，在排障过程中或者系统性能分析时经常被用到。对于忙碌的服务器，日志文件大小会增长极快，服务器会很快消耗磁盘空间，这成了个问题。除此之外，处理一个单个的庞大日志文件也常常是件十分棘手的事。 logrotate是个...转载 2021-09-30 16:20:22 · 476 阅读 · 0 评论 -
Java日常问题诊断方法
日志检索#检索exception关键字或error关键字grep-E"exception|error"app.log#显示关键字上下10行日志grep-C10exceptionapp.log#检索2020-05-0519:23~25分钟段日志grep'2020-05-0519:2[3-5]'app.logsed-n'/2020-05-0519:23/,/2020-05-0519:25/p'app.log#检索202...转载 2020-05-29 11:11:32 · 438 阅读 · 0 评论 -
ulimit -c unlimited
ulimit -c unlimitedulimint -a 用来显示当前的各种用户进程限制Linux对于每个用户，系统限制其最大进程数，为提高性能，可以根据设备资源情况，设置个Linux用户的最大进程数，一些需要设置为无限制：数据段长度：ulimit -d unlimited最大内存大小：ulimit -m unlimited堆栈大小：ulimit -s unlimited我们在用...转载 2020-03-19 17:17:38 · 1480 阅读 · 0 评论 -
SSH远程登录配置文件sshd_config详解
SSH由客户端和服务端的软件组成，在客户端可以使用的软件有SecureCRT、putty、Xshell等，而在服务器端运行的是一个sshd的服务，通过使用SSH，可以把所有传输的数据进行加密，而且也能够防止dns和IP欺骗，此外，SSH传输的数据是经过压缩的，可以加快传输速度其服务器端的配置文件为/etc/ssh/sshd_config[root@test ~]# cat /etc/s...转载 2020-01-07 14:48:23 · 722 阅读 · 0 评论 -
Linux 命令详解（一）export 命令
一、Windows 环境变量 1、在Windows 系统下，很多软件安装都需要配置环境变量，比如 安装 jdk ，如果不配置环境变量，在非软件安装的目录下运行javac 命令，将会报告找不到文件，类似的错误。 2、那么什么是环境变量？简单说，就是指定一个目录，运行软件的时候，相关的程序将会按照该目录寻找相关文件。 设置变量对于一般人最实用的功能就是： 不用拷贝某些dll文件到系统目录中...转载 2020-01-02 16:45:14 · 1126 阅读 · 0 评论 -
datanode节点名称是localhost的问题解决
一、问题背景今天过来发现预生产的hadoop集群全挂了，后来才知道昨晚运维把集群停机换内存，真心***，把集群机器恢复过程中，将机器的datanode启动后，在namenode的webui列表里发现该机器的节点名称怎么是localhost，截图如下：二、问题现象如上所示，节点的名称本该是datanode**的主机名，变成localhost看了下主机名确实是换了，以为是运维主机名...原创 2019-12-12 14:51:04 · 3696 阅读 · 0 评论 -
Linux服务器防火墙Iptables命令使用详解
iptables -A INPUT -s 192.168.109.10 -j DROP：拒绝192.168.109.10主机访问本服务器；注意：-A：添加一条规则，默认是加在最后。注意："拒绝给192.168.109.10主机提供服务"，最好使用INPUT链。使用PREROUTING，也可以满足要求，但是如果用户的要求是让服务器提供转发功能，添加到PREROUTING链中，"转发"功能也将...转载 2019-12-02 11:32:50 · 2093 阅读 · 0 评论 -
iptables 设置特定IP访问指定端口
一、添加规则：设置禁止所有IP访问指定端口8075[root@zabbix_server ~]# iptables -I INPUT -p tcp --dport 8075 -j DROP二、测试telnet[root@zabbix_server ~]# telnet 127.0.0.1 8075Trying 127.0.0.1...telnet: connect to...转载 2019-11-29 11:09:17 · 1701 阅读 · 0 评论 -
Linux Swap的那些事
swap是干嘛的？在Linux下，SWAP的作用类似Windows系统下的“虚拟内存”。当物理内存不足时，拿出部分硬盘空间当SWAP分区（虚拟成内存）使用，从而解决内存容量不足的情况。SWAP意思是交换，顾名思义，当某进程向OS请求内存发现不足时，OS会把内存中暂时不用的数据交换出去，放在SWAP分区中，这个过程称为SWAP OUT。当某进程又需要这些数据且OS发现还有空闲物理内存时，又会...转载 2019-10-12 19:07:48 · 206 阅读 · 0 评论 -
hadoop is not in the sudoers file. This incident will be reported.问题解决
Ubuntu下普通用户用sudo执行命令时报"xxx is not in the sudoers file.This incident will be reported"错误，解决方法就是在/etc/sudoers文件里给该用户添加权限。如下：1.切换到root用户下2./etc/sudoers文件默认是只读的，对root来说也是，因此需先添加sudoers文件的写权限,命令是:chmo...转载 2019-09-04 15:59:39 · 6527 阅读 · 0 评论 -
linux中crontab定时执行脚本
阅读目录1. cron服务【Ubuntu环境】 2. crontab用法 3. 编辑crontab文件 4. 流程举例 5. 几个例子Linux中，周期执行的任务一般由cron这个守护进程来处理。cron读取一个或多个配置文件，这些配置文件中包含了命令行及其调用时间。cron的配置文件称为“crontab”，是“cron table”的简写。回到顶部1. cron服务【Ubu...转载 2019-05-29 11:00:53 · 6818 阅读 · 0 评论 -
如何SSH登录到Linux指定目录
你是否遇到过需要 SSH 登录到远程服务器并立即 cd 到一个目录来继续交互式作业？你找对地方了！这个简短的教程描述了如何直接 SSH 登录到远程 Linux 系统的特定目录。而且不仅是 SSH 登录到特定目录，你还可以在连接到 SSH 服务器后立即运行任何命令。这些没有你想的那么难。请继续阅读。SSH 登录到远程系统的特定目录在我知道这个方法之前，我通常首先使用以下命令 SSH 登...转载 2019-07-18 14:45:08 · 4977 阅读 · 1 评论 -
Linux 使用grep排除多个条件
cat log.txt | grep 条件；cat log.txt | grep 条件一 | grep 条件二；cat log.txt | grep 条件一 | grep 条件二 | grep 条件三；grep 条件一 log.txt | grep 条件二 | grep 条件三；不说废话, 例如需要排除 abc.txt 中的mmmnnngrep -v 'mmm\|nn...转载 2019-07-19 11:00:09 · 2579 阅读 · 0 评论 -
Linux中变量$#,$@,$0,$1,$2,$*,$$,$?的含义
为了使大家更好的理解，就先写一个简单的脚本，执行以后再解释各个变量的意义吧。# touch test# vi test脚本内容如下：#!/bin/shecho "number:$#"echo "scname:$0"echo "first :$1"echo "second:$2"echo "argume:$@"echo "show parm list:$...转载 2019-07-19 13:59:16 · 647 阅读 · 0 评论 -
Linux Shell系列教程之（九）Shell判断 if else 用法
Linux Shell系列教程之（九）Shell判断 if else 用法if 语句通过关系运算符判断表达式的真假来决定执行哪个分支。Shell 有三种 if else格式：if … fi 格式 if … else … fi 格式 if … elif … else … fi 格式下面我就分别就这几种格式来为大家详细介绍下。一、Shell判断语法之if … else ...转载 2019-07-17 15:30:11 · 2984 阅读 · 0 评论 -
Shell脚本调试
Shell - Shell脚本调试方法目录Shell脚本调试选项 ShellCheck ExplainShell bashbd Reference回到顶部Shell脚本调试选项Shell本身提供一些调试方法选项：-n，读一遍脚本中的命令但不执行，用于检查脚本中的语法错误。 -v，一边执行脚本，一边将执行过的脚本命令打印到标准输出。 -x，提供跟踪执行信息...转载 2019-07-19 18:22:53 · 421 阅读 · 0 评论 -
sudo: no tty present and no askpass program specified 解决方法
sudo: no tty present and no askpass program specified 解决方法sudo: no tty present and no askpass program specified由于帐号并没有开启免密码导致的假设当前帐号为abc切换到root下 1 打开sudoersvi /etc/sudoers2...转载 2019-07-19 19:12:59 · 1021 阅读 · 0 评论 -
Shell case in语句详解
Shell case in语句详解和其它编程语言类似，Shell也支持两种分支结构（选择结构），分别是 if else 语句和 case in 语句。在《Shell if else》一节中我们讲解了 if else 语句的用法，这节我们就来讲解 case in 语句。当分支较多，并且判断条件比较简单时，使用 case in 语句就比较方便了。《Shell if else》一节的最后...转载 2019-07-22 17:34:39 · 1110 阅读 · 0 评论 -
Linux中nohup.out指定的stdout.log日志文件过大定期清理
背景，java项目，一般在运行JAVA程序时需要用到nohup命令来实现后台启动日志，默认保存在当前目露nohup.out文件。但是有些程序输出nohup文件会出现过大的情况。在此解决如下：1，在nohup.out 所在目录创建一个ClearNohup.sh 脚本，通过定时任务让其每周清理一次。防止nohup文件过大问题。#!/bin/bash# Description...转载 2019-05-29 10:48:58 · 3768 阅读 · 0 评论