
shell
文章平均质量分 71
青山流水在深谷
大数据开发
展开
-
linux 查看某个目录的磁盘空间占用
这里写自定义目录标题查看空间使用查看各个目录使用情况查看当前目录磁盘空间使用情况往下二级级目录使用情况对当前目录的子目录使用空间进行排序按照byte进行排序,其他单位排序不正确截取排序后的前10截取排序后的后10查看空间使用查看各个目录使用情况df -h查看当前目录磁盘空间使用情况包含各个目录,及总使用量 du -h .往下二级级目录使用情况即当前目录的二级子目录使用情况对当前目录的子目录使用空间进行排序按照byte进行排序,其他单位排序不正确du -s * | so原创 2022-01-25 11:45:20 · 42867 阅读 · 0 评论 -
linux根据端口好查看进程名称
一 、 前言在linux定位服务启动时,需要知道对应端口是启动(标识服务正常启动或运行),或者不知道某个服务的域名,无法确定属哪个服务,故需要定位其属于哪个进程名称二.定位常见服务有tcp,http服务,故根据lsof 或netstat进行搜索后,确定其属于哪类服务,进而进行搜索1.lsof/netstat定位lsof -i:80812.根据服务类型进行定位netstat -tnlp | grep 80813.根据上面查询端口好,搜索到进程名称...原创 2020-10-31 17:32:54 · 566 阅读 · 0 评论 -
linux 查看修改swap空间
1.查看swap空间下面Swap一行即是,一共11G,占用4.4,空闲7.5# free -h total used free shared buffers cachedMem: 252G 246G 5.8G 426M 105M 134G-/+ buffers/cache: 111G 140GSw...原创 2020-10-29 16:55:04 · 750 阅读 · 0 评论 -
linux find 查找文件
1.根据名称查找某个目录下的文件/目录例子:查找根目录下的文件名字为a.txtfind / -name a.txt2.根据名称查找某个目录下类型为文件的a.txt [ -type f(文件)d(目录) ]find / -name a.txt -type f3.查找某目录下大小为在某个范围的文件例子:查找hive目录下 文件大小为100M至400M的文件find hive -type f -mtime -1 -size +100M-size...原创 2020-10-28 18:50:30 · 195 阅读 · 1 评论 -
linux expr 算术运算
linux shell 算术运算{expr、bc、dc、(( ))和[ ]}查看如下链接https://blog.youkuaiyun.com/whatday/article/details/90416243原创 2020-07-30 15:31:38 · 415 阅读 · 0 评论 -
WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!
从远程机器拉取文件报错:[root@snamenode keytab]# scp dp.jerry.keytab http.jerry.keytab jerry@localhost:/home/jerry/14keytab@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ WARNING: REMOTE HOST...原创 2019-03-30 15:14:24 · 190 阅读 · 0 评论 -
linux vim总结
一、把空格替换为换行:%s/ /\r/g :\r :是换行的转义二、根据逗号进行换行:%s/,/\r/g :\r:是换行的转义二、把空行删除^$ : ^:开始 $:结束 ,开始结束都是空的:g/^$/d 三 排序1.指定分隔符,以第几个内容排序(以 ":" 分割后,以第二个内容排序)cat /etc/passwd | sort -t...原创 2019-03-26 15:44:34 · 2767 阅读 · 0 评论 -
linux visudo 免密登录
sudo配置 Host_Alias 定义主机别名;User_Alias 用户别名,别名成员可以是用户,用户组(前面要加%号)Runas_Alias 用来定义runas别名,这个别名指定的是“目的用户”,即sudo 允许切换至的用户;Cmnd_Alias 定义命令别名; beinan ALL=(root) NOPASSWD: /bin/chown,/bin/chm...原创 2018-08-02 12:22:33 · 1244 阅读 · 0 评论 -
linux系统资源管理
一 .查看CPU核数1查看CPU 物理核数cat /proc/cpuinfo | grep "physical id" |sort -u | wc -l2查看CPU 逻辑核数hadoop@hadoop:~$ cat /proc/cpuinfo | grep "core id" |sort -u | wc -l二 .top top -p PID 查看该进程的信息top...原创 2018-07-27 10:18:15 · 324 阅读 · 0 评论 -
kafka 监控工具
一 kafka某个offset的监控工具(1).开源社区有相应的组件进行监控a.下载 kafka offset监控 (地址链接)https://pan.baidu.com/s/1sj0YERV (如果失效,可以上社区搜索)b. 解压后发现KafkaOffsetMonitor-assembly-0.2.1.jar,即为监控组件c.编写脚本(可定时启动)KafkaOffsetMonitor...原创 2018-07-13 10:58:37 · 1787 阅读 · 0 评论 -
定时 关闭Spark-Submit ,Kafka
一.spark-submitvim stopSparksubmit.sh#! /bin/basha=0while true do#SparkSubmitid=`/usr/jdk8/bin/jps | /bin/grep -v grep | /bin/grep SparkSubmit | /usr/bin/cut -d " " -f 1`SparkSubmitid=`/usr/jdk8/bi...原创 2018-07-12 16:21:34 · 1322 阅读 · 0 评论 -
crontab 无法执行脚本
最近在服务端夜间运行脚本,发现未执行,但是本地却能执行,百思不得其解.后来查证:crontab 内无环境变量,所以任何shell命令需要使用全路径才能执行添加完毕即可执行.援引链接http://bbs.chinaunix.net/thread-1926428-1-1.htmlcrontab -e23 11 4 7 * sh killKafkaConsoleConsume...原创 2018-07-04 13:46:40 · 1158 阅读 · 0 评论 -
linux生成时间戳,转换时间戳成格式时间
1.linux当前时间(2018-05-09 00:12:00)转换为timestampdate +%s ==> 2.将某个时间的timestamp转换成格式时间date -d @1525795920 +"%Y-%m-%d %H:%M:%S"2018-05-09 00:12:003.将某个时间转换为timstamp date -d "2018-05-09 00:12:00" "+...原创 2018-05-15 14:38:12 · 7342 阅读 · 0 评论 -
shell函数
shell 函数:同开发语言函数一样,shell同样有函数签名,函数体,返回值函数签名: 函数名,入參(shell一般为空,可以通过${变量名},read 变量名进行外部获取)函数体: 具体shell命令返回值: 返回值以最后一行命令的结果为准;只能是整数,如果想要接受字符串 ,函数前部声明变量,用于返回值的承接.函数调用:vim shellFunction.sh#!/bin/bashfunWi...原创 2018-05-04 18:40:53 · 288 阅读 · 0 评论