码不停歇的博客

iostat命令的使用。

【代码】top命令的使用。

场景：需要从一台服务器登录到另一台服务器，没有设置免密登录，跳到另一台服务器非常繁琐，可配置ssh免密登录。二.配置ssh免密登录流程如下。一.未配置ssh免密登录。三.未配置ssh免密登录。

场景：根据shell脚本传参执行不同的功能。shell如何把字符串按分割为数组。

shell统计当前目录所有文件的字节数行数字符数单词数。

服务器日志清理的几种方式。

不同hadoop集群之间数据同步的shell脚本。

shell脚本监控数据量差异。

shell中xargs命令的用法。

【代码】漏洞修复步骤。

原因: 删除文件操作只是标记删除,并没有物理删除,依旧会占用磁盘空间。du -h -s /var/log 显示磁盘已使用1G。linux使用df与du命令查看磁盘大小不一致问题。df -h 再次查询磁盘大小,空间已被释放出来。df -h 显示磁盘已使用99G。先查询删除文件操作对应的进程号。kill -9 进程号。

【代码】找出linux某路径下最近修改的文件。

echo ‘|AUTOCLAIM|CE_AUTOCHECK_RESULT|ERROR_MESSAGE|VARCHAR2|3000|Y|异常信息|8|(null)|’ | sed -r ‘s#^|##g’|FLAG|AUTOCLAIM|CE_AUTOCHECK_RESULT|ERROR_MESSAGE|VARCHAR2|3000|Y|异常信息|8|(null)||FLAG|AUTOCLAIM|CE_AUTOCHECK_RESULT|SEND_DATE|DATE|7|Y|发送时间|10|(null)|

linux自带的crontab调度配置说明。

注意:以下脚本day变量会自增:20240628,20240629,20240630,20240631,20240632…场景:shell脚本统计hive外表天分区的数据量。

场景:使用sed将多个空格变成单空格,再使用cut来切分得到需要的结果。

【代码】spark与flink的wordcount示例。

需求:邮件服务器脚本ip做了切换,由原先的11.22.33.44,切换为11.22.33.55。需要把所有使用了11.22.33.44该ip的脚本改为11.22.33.55。

​ 修改ip地址 vim /etc/sysconfig/network-scripts/ifcfg-eth0。echo [-e] history ln [原文件或目录] [软链接名]/dev 类似Windows的设备管理器,所有硬件用文件的形式存储。tar -zxvf xxx.tar.gz -C 解压到指定的目录。unzip xxx.zip [-d] 解压后文件的存放目录。/var 习惯将经常被修改的目录放这里,包括各种日志文件。tar -zcvf xxx.tar.gz 要打包的内容。

4.awk [选项参数] ‘pattern1{action1} pattern2{action2}’ filename。[ condition ] (注意condition前后要有空格,条件非空即为true)-u u为unique的缩写,即如果出现相同的数据,只出现一行。​ while [ 条件判断式] | ((表达式))@ (把每个参数区分对待) 代表命令行中所有的参数。$n $0代表该脚本名称 $1-9代表1-9的参数。​ 基本语法: read (选项) (参数)

功能:shell获取多个oracle库mysql库所有的表。输出:每张表的属主,表名,表注释。输入:数据库连接串配置文件。

需求: 检查文件编码格式是否utf-8。

【代码】sqoop导入导出测试。

【代码】统计hdfs昨天分区的数据量。

【代码】shell脚本实现每天备份hdfs增量数据。

示例: 把一个大文件切分成小文件。

在Shell脚本中，将小写字母转换为大写字母可以通过tr命令或awk命令来实现。

需求:备份test@10.22.33.96上的文件到 test@10.22.33.97的定时脚本,需要使用scp命令传输文件,两台节点没有ssh互信,需要配置服务器之间的SSH互信为了让两台或多台服务器之间能够无密码自动登录。

如果Java应用程序内嵌了如Log4j、SLF4J+Logback等日志框架，日志可能直接写入到配置好的日志文件中。这时你需要查看具体日志框架的配置文件（如log4j.properties或logback.xml），了解日志输出的位置，然后直接查看相应日志文件。如果在启动JAR包时没有重定向日志输出，那么默认情况下，日志会输出到当前终端窗口。综上所述，根据实际情况选择合适的方法来查看和管理你的JAR包运行时产生的日志。这样所有的标准输出（包括日志）都会被写入到。若要将日志输出保存到特定文件，可以使用。

需求:需要批量查某个高斯数据库某属主下所有表的表结构。

功能:shell获取多个oracle库mysql库所有的表主键。输出:每张表的属主,表名,主键。输入:数据库连接串配置文件。

用于从文件或标准输入中提取指定的字段或字符。cut命令在Unix/Linux shell中是一个非常有用的命令，

磁盘空间不够需要清理历史数据,此时需要对hdfs文件按归日期升序或按文件大小降序。常用参数: -n 按数字顺序 -r 降序。优先清理日期排前面的数据和文件大的数据。

在shell脚本中,经常要读取配置文件,如果配置文件一行中的空格,第一种方式可能会存在问题,推荐使用第二种方式示例如下:配置文件内容为cat file.txthello worldhello shell第一种: 用cat来读取配置文件cat cat_file.sh#!/bin/bashfor line in `cat file.txt`do echo $linedone效果如下:2行变成了4行sh cat_file.shhelloworldhelloshell