长臂人猿的博客

xxl-job是一个轻量级分布式任务调度平台，相比于crontab -e，具备分布式/并发/可视化监控/分片等优点。缺点在于相对于单机任务过于重量级以及需要部署中心和执行器。

方式一：-v指定多个参数，全局变量awk -v arg5="参数一" -v arg6="参数六" 'BEGIN{print "输出：" ,arg5,arg6}'//或者 加文件每行数据处理awk -v arg5="参数一" -v arg6="参数六" 'BEGIN{print "输出：" ,arg5,arg6}{print "一行数据",arg6}' awkTest.txt方式二：代码块局部变量awk 'BEGIN{arg5="参数一";arg6="参数六";

echo guangge{01…100…2} 第二个是间隔多少个计数命令别名 alias， unalias ，作用是封装命令命令历史 history!行号!!上一次的命令ctrl + a 移动到行首ctrl + e 移动到行尾。

https://codingdict.com/questions/42913 ， 或者输入她到文件中，再cat出来。getopts命令识别出各个入参选项之后（用:分隔），遍历case判断。其操作中，有两个"常量"，一个是。java -cp 命令跟jar路径和指定的编译类（main）路径；java -jar 跟jar路径也ok，但是需要打包的时候指定。，反映下一个要处理的参数索引，初始值是1。，用来获取当前选项的值；即默认运行的main函数。代表最后执行的进程的PID。使用getopts命令。

文章目录1 解压安装到e3base下面2 改名实现截图3 创建$E3_INFO_HOME/hadoop目录4 用户环境变量配置5 修改配置文件5.1修改hadoop-env.sh文件5.2修改core-site.xml文件5.3修改hdfs-site.xml文件5.3.1修改对应的管理节点主机名5.3.2 nn和jn路径5.3.3 存放硬盘数据目录5.3.4 namenode节点6 slaves文件配置7 机架感知配置1 解压安装到e3base下面​ 前面安装过到默认文件目录下，现在进行移动操作：mv

1启动SSH服务Linux自带SSH服务无需下载：在/usr/sbin/有一个文件为sshd，然后输入绝对路径usr/sbin/sshd即可开启ssh服务。然后输入命令netstat -tunlp|grep sshd查看开启情况：可以看到22号端口已经开启，证明我们SSH服务启动成功，22是SSH的默认端口号。2生成密钥对· 下载git；· 我们注意到免密登陆实际上是采用密钥登陆，方便验证，我们采用将真机（windows）生成密钥，发送公钥给虚拟机· 在windows的git（cmd也可以

目录文档方法无法永久关闭集群防火墙 查看防火墙状态 临时关闭防火墙 永久关闭 禁用透明页面压缩（Transparent Huge Pages），无效 原因 更改主机名 修改主机名 将主机名和ip绑定在一起 检测 创建群组和用户 设置ulimit参数 创建hadoop-hdfs目录 创建e3-info目录 .bash_profile配置 查看端口占用情况 时间同步问题 查看时间 同步时间 修改时区 安装ntpdate 关于e3base目录 文档方法无法永久关闭集群

二进制安装JDK卸载自带的OpenJDKrpm -qa | grep java rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.252.b09-2.el7_8.x86_64 解压安装jdk到指定目录下ftp传输文件压缩包；tar -zxvf exmple.tar.gz解压安装即可配置java环境路径JAVA_HOME 你jdk安装路径即可vim /etc/profile #java environment export

前言​ kafka接数程序存在数据丢失的问题，且A、B文件数据乱序，需要编写一个脚本来输出丢失的元数据并生成脚本C。且属于样例抽测，量级不大。其它基本的语法整合：Shell_字符串操作（sed命令操作文本和数字自增方式）源和输出文件数据样式A（全量）文件数据：zhangsan,1001,男,浙江杭州lisi,1004,男,湖北武汉wangwu,1003,女,湖南长沙B（存在缺失）文件数据：USER_INFO|lisi|1004|男|湖北武汉C（漏掉的）文件数据：zhan

文章目录前言Maven 打包Maven建立外部依赖目录Maven打成不含依赖的Jar未指定main函数带依赖的包（舍弃）不含依赖的Jar运行Jar程序端口占用问题前言分为：​ maven打成不含依赖的jar包；​ 服务器上传项目需要的lib目录；​ 运行jar并指定外部依赖lib；Maven 打包Maven打包和遇到的问题在：Maven打包项目及其遇到的问题解决方案Maven打包错误找不到api依赖项目以及找不到符号Maven建立外部依赖目录在Maveb build命令中Goa

前面上次看一个文件比较脚本，他们是这样比较的：将文件写入（二进制相当于）txt，然后对文件进行比较；二进制文件对比法：gz >> txt，再用diff对比txt文件，那为什么不用MD5进行校验呢？MD5SUM安装了Linux后，就会有md5sum这个工具，直接在命令行终端直接运行。或者使用md5的hash值来校验。md5sum用于计算与校验RFC 1321所描述的128位MD5哈希值，可以作为文件的数字指纹使用。因为MD5算法安全性已遭质疑，如果安全性要求很高，应使用sha256sum哈

前言在对某些主机可以采用如下方式直连#!/bin/bashssh IP <<EOFPasswordcd file_pathsh create_file.shEOF但是有些主机之间依旧会让你输入密码：输入密码在密码命令后面。这个时候就需要安装expect组件来自动化运行了。异常原因flink_monitor.sh: line 32: warning: here-document at line 29 delimited by end-of-file (wanted `EO

参考shell切割字符串切割字符串filepath="/realtime/temp/lxg/params.txt"while read linedoarray=(${line//,/ }) for var in ${array[@]} do echo $var donedone < $filepatharray=(${line//,/})这里是空白：${parameter//pattern/string}用string来替换par

前言虚拟机安装系统，首先你需要一个镜像文件。以VMBOX为例，新建一个虚拟机，傻瓜式直接操作。分配内存的时候稍微多分配点一个GB（1024）就好，免得无法加载图形界面。后续傻瓜式操作。引入镜像直接启动失败，那不是肯定的吗？镜像文件都没配置，右键虚拟机设置：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传选择你的镜像文件即可。注意：安装选项选好：你需要什么样功能的系统？以及联网。尤其发现到软件选择的最小安装是默认选项。如果体验建议点进去选择合适的图形系统。如果搭建集群学习使用还

循环读取文本filepath = "/root/temp/启动进程.txt"echo $filepathwhile read linedo echo $linedone < $filepathfilepath="/root/temp/启动进程.txt"echo $filepathwhile read linedo echo $linedone < $filepath注意到：filepath="/root/temp/启动进程.txt"空格的缘故：linux she

前言Linux中常用到，nohup command>文件路径 2>&1 &，来后台执行命令。/dev/null 表示空设备文件 0 表示stdin标准输入 1 表示stdout标准输出 2 表示stderr标准错误nohup 始终不停的运行命令，即使在你的用户账户已经退出的情况下。如果需要在后台永久的运行命令采用：nohup + ... (Commnd) + & 值得注意的是&：在后台运行命令，账户退出后，命令自动跟着退出。...

Linux环境下crontab创建组件/进程的守护进程，让挂掉的程序尝试重启，使其一直存活。