liuwei0376的专栏

在CentOS7上使用wget装RabbitMq的时候，wget 报Unable to establish SSL connection错误解决：wget命令添加 “–no-check-certificate” 参数，跳过验证证书样例：[root@dn3 software]# cd /opt/software/[root@dn3 software]# wget https://github.com/streamxhub/streamx/releases/download/v1.2.2/stre

一、症状linux上每输入一条命令（如 ls）时，都出现如下提示：You have mail in /var/spool/mail/root 报错原因：一般这种情况mail的内容就只是一些正常的系统信息或者是比较重要的错误报告（收件箱位置：/var/mail/），比如crontab里面的脚本命令执行错误了（sh文件名，python命令没有使用全路径，没有使用后台运行nohup命令等问题导致无法正常执行的报错）。查看邮箱内容：如果你安装了mutt的话直接用这个命令就可以查看mail的内容

一、问题现象今天的azkaban有个spark任务(离线)报错, 报错信息如下:08-02-2022 07:09:32 CST DailyReport2Excel INFO - 08-02-2022 07:09:32 CST DailyReport2Excel INFO - ApplicationMaster host: 111.111.111.13108-02-2022 07:09:32 CST DailyReport2Excel INFO - ApplicationMaster RPC

linux上执行文本搜索通过有以下几个命令:grepegrepfgrep这几个命令作用类型, 以下以grep为例讲解:一. grep语法什么是grep： 根据模式，搜索文本，并将符合模式的文本行显示出来什么是匹配模式 Pattern : 文本字符以及正则表达式的元字符组合而成的匹配条件grep 一般用法:grep [OPTIONS] PATTERN [FILE…]-i：忽略大小写--color ：颜色突出显示-v： 显示没有匹配到的行(反向匹配)-o : 只显示被模式匹配

在linux下，查看一个运行中的程序， 占用了多少内存， 一般的命令有(1). ps aux：其中 VSZ(或VSS)列 表示，程序占用了多少虚拟内存。 RSS列 表示， 程序占用了多少物理内存。 虚拟内存可以不用考虑，它并不占用实际物理内存。#ps auxUSER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMANDroot 1 0.0 0.0 19360 1528 ? Ss Jul18 0:00 /sbin/init..

很多Linux发行版，如CentOs系统的/etc目录下，都有很多指定定时调度的文件夹，如每日运行、每小时运行、每周运行，只需要在该目录下放置希望调度的脚本即可。如：[root@test001 etc]# ll /etc/croncron.d/ cron.daily/ cron.deny cron.hourly/ cron.monthly/ crontab cron.weekly/OS屏蔽了具体实现，在底层实际上是调用了 run-parts 命令。该命令位于

CentOS 7开始使用的systemd使用了journal日志，这个日志的管理方式和以往使用syslog的方式不同，可以通过管理工具维护。Linux log日志占用某次系统磁盘满溢，经检查发现，Linux使用df -h检查磁盘文件，可以看到/run目录下有日志目录/run/log/journal，占用了数十G空间。执行du --max-depth=1 -hFilesystem Size Used Avail Use% Mounted on/dev/mapper/ce

一. 适用场景长时间运行, 且不能停止的任务任务异常停止, 需要可以立即按预设时间进行自启动二. systemd 简介systemd是Linux下的一种init软件，由Lennart Poettering带头开发，其开发目标是提供更优秀的框架以表示系统服务间的依赖关系，并依此实现系统初始化时服务的并行启动，同时达到降低Shell的系统开销的效果，最终代替现在常用的System V与BSD风格init程序。传统sysvinit使用inittab来决定运行哪些shell脚本，大量使用shell脚本被

目录一. 正则表达式部分2.1. 正则表达式单字符2.1.1 特定字符2.1.2 范围内字符:2.1.3 任意字符:2.1.4 其他字符2.1.5 元字符(代表普通字符 或特殊字符 )2.1. 正则表达字符组合二. sed部分三. awk部分命令行格式脚本格式一. 正则表达式部分2.1. 正则表达式单字符2.1.1 特定字符某个具体的字符,如1,a单...

以下3步操作在跳板机需要跳转到的目标server上操作。①、useradd ${USERNAME} -m②、passwd ${USERNAME} / ${PASSWORD}③、增加被赋权用户的sudo权限a).对/etc/sudoers文件进行赋权操作，否则无法对新的用户添加sudo 权限：cd /etc;sudo chmod 640 sudoers...

一、背景：如果需要实现这样一个功能：有一个存储机器列表的文件，里面按TAB键分割，依次存储了“IP”，“_USER（能执行ssh后的操作）”，“PORT（ssh协议端口）”这几列，依次登录到每台机器上，拷贝可执行业务代码包，并自动设置该用户（_USER）的crontab定时调度任务，以使任务可以按规定在每台server上启动起来。则将需求分解，可得到如下操作步骤：1、读取server...

centos7安装python3核心步骤1、yum安装基础工具包 & 备份2.72、创建python3安装目录3、下载python3源码、编译、安装4、创建python3软链接5、善后工作核心步骤Python在centos7中随系统默认安装的版本为2.7.x，如2.7.5，替换为3.x版本的核心操作步骤如下：1、yum安装基础工具包 & 备份2.71.1 yum安装基础工具...

原文地址：http://blog.youkuaiyun.com/fly542/article/details/7513571，致谢使用Linux环境，有时候需要经常需要远程登录服务器并在登陆后跳转到其他的局域网机器。通过实际使用发现xshell是比较理想的工具，具体设置过程如下：第一步建立自己的登录用户，如下图：通过上面的设置就可以登录到远程主机了，下面介绍通过ssh直接实现服

背景windows10安装虚拟机或cygwin方式，来开发大数据应用实在DT，鉴于此，决定在PC上折腾双系统，再安装一个Linux桌面发行版。调研了一段时间，发现对开发支持比较友好的有以下几款： 1. Ubuntu14.04/16.04 LTS 2. Linux Mint 3. CentOs7桌面版 4. 深度桌面版最终，基于和win10可用无缝集成，放弃主流linux发行版，选择了国产的d

1. 批量杀掉进程kill -9 `ps -ef|grep chromedriver|grep -v 'grep chromedriver'|awk '{print $2}'`解释：-v：排除命令本身 或者使用$()符号：search_terms='whatever will help find the specific process' kill -9  $(ps au...

一.linux文本查找命令在说linux正规表达式之前，还介绍下linux中查找文本文件常用的三个命令：1.grep : 最早的文本匹配程序，使用POSIX定义的基本正则表达式（BRE）来匹配文本。2.egrep : 扩展式grep，其使用扩展式正规表达式（ERE）来匹配文本。3.fgrep ： 快速grep，这个版本匹配固定字符串而非正则表达式。并且是唯一可以并行匹配多个字符串的...

背景说明最近监控到新安装的es集群的head服务经常挂掉，导致http://ip:9100 UI页面打不开。检查了es集群没有问题，却发现启动head的npm grunt服务异常挂掉，查询了下日志暂未发现任何问题，于是打算写一个grunt服务异常故障重启shell脚本临时过渡一下。相关代码es_head_self_restart.sh#!/bin/sh# Author: angel...

CDH中使用了oozie进行任务调度，如在凌晨的进行ETL调度任务。而kettle “data-integration”服务安装在cdh集群之外的一台server上（如111.111.111.111）。drwxrwxr-x 4 yarn yarn adaptive-execution-rw-rw-r-- 1 yarn yarn Carte.bat-rwxrwxr-x 1 yarn y...

公司新采购服务器（物理机），操作系统已安装（centos7.6），磁盘当时要求为裸盘状态交付，后续需将磁盘进行挂载，如下操作步骤记录了挂载流程。一、挂载前检查工作1.1 先查看磁盘已挂载情况df -h文件系统 容量 已用 可用 已用% 挂载点/dev/mapper/centos-root 987G 6.6G 981G 1% /dev...

转载至：http://www.ituring.com.cn/article/273760转载请注明原文出处--------------------------------------------------------------------------------------------------------------------管宜尧发表于 2016-12-19 00:...

1、关机关机有几种方式：halt、shutdown、poweroff、init①、haltdavid@david-PC:~$ halt --helphalt [OPTIONS...]Halt the system. --help Show this help --halt Halt the machine -p --poweroff Sw...

OSX下Leopard, Yosemite版本的操作系统下, 默认的程序是 launchd.默认的ulimit命令继承自launchd, 默认的limits参数如下:daviddeMacBook-Pro:etc david$ sudo launchctl limitPassword: cpu         unlimited      unlimited       filesize