
Linux
Linux相关
专注于大数据技术栈
记录点点滴滴
展开
-
Shell通过特定字符把字符串分割成数组
数据样例:/tmp/data/test.txtaaaa,bbbb,cccc,dddd#!/bin/bashfor line in `cat /tmp/data/test.txt`do str=${line//,/ }; arr=($str); echo ${arr[0]}','${arr[1]} fidone原创 2021-11-02 17:54:36 · 277 阅读 · 0 评论 -
shell判断一个变量是否为空方法总结
shell中如何判断一个变量是否为空shell编程中,对参数的错误检查项中,包含了变量是否赋值(即一个变量是否为空),判断变量为空方法如下:1.变量通过" "引号引起来#!/bin/shpara1=if [ ! -n "$para1" ]; then echo "IS NULL"else echo "NOT NULL"fi【输出结果】"IS NULL"2.直接通过变量判断#!/bin/shpara1=if [ ! $para1 ]; then echo ...转载 2021-11-02 17:39:42 · 1347 阅读 · 0 评论 -
shell删除指定行以下几行数据
sed -i '/# Partition/,+2d' formatted_ceshi.txt原创 2021-09-22 17:09:30 · 349 阅读 · 0 评论 -
shell删除指定行以下几行数据
sed -i '/# Partition/,+2d' formatted_ceshi.txt原创 2021-09-22 17:08:30 · 564 阅读 · 0 评论 -
shell删除指定行以下的几行
sed -i '/# Partition/,+2d' formatted_ceshi.txt原创 2021-09-22 17:07:39 · 456 阅读 · 0 评论 -
shell awk、去重、排序
数据原创 2021-06-03 18:01:38 · 1822 阅读 · 0 评论 -
hdfs统计库下有多少表
#!/bin/bashcat 20210419.txt | while read line ;docountt=`hdfs dfs -ls /user/hive/warehouse/$line | grep Found | cut -d " " -f2`echo $line $counttdone原创 2021-04-19 16:14:42 · 210 阅读 · 0 评论 -
查看Linux服务器相关配置命令
1.查看服务器品牌和型号grep'DMI'/var/log/dmesgDMI: HP ProLiant DL380p Gen8, BIOS P70 12/20/20132.查看CPU个数cat /proc/cpuinfo | grep "physical id" | uniq | wc -l323.查看CPU核数cat /proc/cpuinfo | grep "cpu cores" | uniqcpu cores : 84.查看CPU型号cat /proc...原创 2021-04-13 14:41:15 · 188 阅读 · 0 评论 -
Shell sleep指定延迟时间
#!/bin/bashsleep 1 #睡眠1秒echo "睡眠1秒"sleep 1s #睡眠1秒echo "睡眠1秒"sleep 1m #睡眠1分echo "睡眠1分"sleep 1h #睡眠1小时echo "睡眠1小时"原创 2020-12-21 11:44:05 · 648 阅读 · 0 评论 -
Linux安装jdk1.8.0_131案例
1.下载jar包2.解压tar.gztar -zxvfjdk-8u131-linux-x64.tar.gz3.配置环境变量vim /etc/profile在文件末尾添加:export JAVA_HOME=/data/jdk1.8.0_131export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/export PATH=$PATH:$JAVA_HOME/bin4.更新环境变量:source /etc/profile5.验证配.原创 2020-11-16 11:06:59 · 712 阅读 · 0 评论 -
Linux 安装netcat,简称nc
1.使用yum工具进行安装yum install nc.x86_64测试下:可能会遇到:protocol not available这个提示首先: 1.cd ~ 2.yum erase nc 3.wget http://vault.centos.org/6.6/os/x86_64/Packages/nc-1.84-22.el6.x86_64.rpm 4.rpm -iUv nc-1.84-22.el6.x86_64.rpm~~~~以...原创 2020-11-13 14:36:22 · 210 阅读 · 0 评论 -
Linux中删除OpenJDK方法
1.首先输入【java -verison】,查看到自带的OpenJDK。2.输入【rpm -qa | grep java】查看当前Linux系统中java相关的rpm包。3.然后输入【rpm -e --nodeps 前面查出来的包名】就可以删除这些rpm包。===经过本人亲测===...原创 2020-11-12 17:22:55 · 399 阅读 · 0 评论 -
在Linux下不同机器之间拷贝文件
一、将本地文件拷贝到远程机器:scp /home/zhangsan/zhangsan.txtroot@127.0.0.1:/test/zhangsan解释如下:/home/zhangsan/ 本地文件的绝对路径zhangsan.txt 要复制到服务器上的本地文件root 通过root用户登录到远程服务器(也可以使用其他拥有同等权限的用户)127.0.0.1 ...原创 2020-08-06 17:59:49 · 229 阅读 · 1 评论 -
shell脚本并发执行
#!/bin/bashyour_func(){ # use your cmd or func instead of sleep here. don't end with background(&) date +%s echo "scp HOSTNAME:/home/USER/path/from/file.$1 REMOTE_HOST:/home/USER/path...原创 2020-03-30 18:30:44 · 225 阅读 · 0 评论 -
linux:shell:执行hive查询并将返回值赋值给shell变量
while循环的使用,if循环的使用,执行hive语句并赋值给shell变量grep过滤无效字符的使用#!/bin/bashstart_date=$1end_date=$2company=$3#while循环的使用,注意[] 这两个符号内侧都要留有空格while [ "$start_date" -le "$end_date" ];do current_...原创 2020-04-20 17:58:28 · 2460 阅读 · 0 评论 -
linux中追加和覆盖的区别
linux中>表示覆盖原文件内容,>>表示追加内容。原创 2020-05-28 14:39:18 · 2544 阅读 · 0 评论