Linux & Shell

Linux常用高级命令

• top
  实时显示系统中各个进程的资源占用状况（CPU、内存和执行时间）
• jmap -heap 进程号
  查看某个进程内存
• free -m
  查看系统内存使用情况
• ps -ef
  查看进程
• netstat -tunlp | grep 端口号
  查看端口占用情况
• du -sh 路径*
  查看路径下的磁盘使用情况
• df -h
  查看磁盘存储情况
• chmod 777
  修改目录或文件的权限设为所有人可读取
• touch 文件名
  修改文件或者目录的时间属性（包括存取时间和更改时间），若文件不存在，系统会建立一个新的文件。
• mkdir 目录名
  新建目录
• rm -f
  直接删除文件
• rm -rf
  直接删除目录和目录中的所有文件
• mv
  修改文件或目录名称，或将其移动到其它位置
• tar打包压缩命令
  （1）-z：对文件压缩或解压
  （2）-c：创建新的包文件
  （3）-x：从包文件中还原文件
  （4）-v：显示命令的执行过程
  （5）-f：指定包文件的名称
  tar -zxvf（对.tar.gz后缀文件解压）
• find
  在指定目录下查找文件
• grep
  从指定文件中查找指定的文本内容
• ps -ef | grep
  查找进程ip
• kill -9 进程ip
  杀死进程

Shell脚本

• 集群启动，分发脚本

#!/bin/bash

case $1 in
"start")
	for i in hadoop102 hadoop103 hadoop104
	do
		ssh $i "绝对路径"
	done
;;
"stop")

;;
esac

• 数仓层级内部的导入：ODS -> DWD -> DWS -> ADS

#!/bin/bash
定义变量 APP=gmall
获取时间
   传入  按照传入时间
   不传  T+1
sql="
	先按照当前天  写sql => 遇到时间 $do_date 遇到表 {$APP}
	自定义函数 UDF UDTF    {$APP}
	"
执行sql

• Shell中单引号和双引号的区别
  文件名为test.sh

#!/bin/bash
do_date=$1

echo '$do_date'
echo "$do_date"
echo "'$do_date'"
echo '"$do_date"'
echo 'date'

执行结果：

[~]$ test.sh 2023-05-09
$do_date
2023-05-09
'2023-05-09'
"$do_date"

单引号不去变量值；
双引号取变量值；
反引号 '，执行引号中命令；
双引号内部嵌套单引号，取出变量值；
单引号内部嵌套双引号，不取出变量值。