eyeofeagle的博客

【代码】kafka 集群迁移：topic原数据备份。

【代码】shell脚本传参调用http接口。

elastic-curator在信创环境无现成安装包，且现成一般无法联网，此时通过脚本管理es索引是最佳选择

【代码】logstash 消费kafka数据，转发到tcp端口。

【代码】比较并获取两个文件：共同点，各自的差异数据。

【代码】python脚本参数解析。读取csv文件，调用http接口，解析jsons数据

1，执行shell命令：需要远程登录，并输入密码样例1#ssh xx@ip 执行命令，需要交互式确认：主机是否授信，输入登录密码#[test@c7 ~]$ ssh vagrant@localhost#The authenticity of host 'localhost (::1)' can't be established.#ECDSA key fingerprint is SHA256:7IYMcIBmMQ6QAekpkziKLrWvaTkRCWR9O6HRKIcXt6I.#ECDSA ke

文章目录1, 规划概览a, 服务拆分：多个小角色b, 目录结构，使用帮助2, 具体操作内容3, 具体模板内容1, 规划概览a, 服务拆分：多个小角色b, 目录结构，使用帮助[vagrant@c7 ansible-cdh-el7-playbook]$ tree.├── ansible7.tar├── group_vars│ └── all├── help.txt├── hosts├── hosts-cdh -> roles/common/files/hosts├── ins

需求： 如何调用一个脚本或函数，并判断任务是否执行成功wang@wang-T58-V:~/sh/test-invoke-scripts$ cat slave.sh #!/bin/bash#name: slave.shtest_fun(){ ls /var/lib/docker return 200 #返回方法调用的状态码}test_fun echo "test_fun -...

linux系统没有回收站机制，删除文件就很难找回，如果把系统的/bin/rm文件替换为自定义的脚本，则可以做到回收站的功能########## 第一步： 备份系统的/bin/rm文件 ##########mv /bin/rm /bin/rm.bak########## 第二步： 编写/bin/rm脚本 ##########[root@eadage ~]# cat /bin/rm ...

1, service脚本启动原理Centos服务器启动流程：POST加电自检 --> boot sequence(BIOS) --> bootloader(MBR)–>加载内核: chroot -->设置启动级别，启动init程序和各开机启动程序service脚本的路径：/etc/init.d/xx开机启动脚本路径： /etc/rc[运行级别0-6].d/2,...

需求：docker安装的mysql, 需要数据备份（此月数据>20天，删除上月数据）1, docker-mysql数据卷备份cat > mysql_dump_docker.sh <<EOF#取出月份：本月，前月month=$( date +%Y_%m) #2019_11month_former=$( date -d "1 month ago" +%Y_%m)...

sed： 单个文件：增删改查 单个文件：复制粘贴 多个文件：导入/导出新文件 1，增加： 在指定行前/后增加 在某行前插入：ni [insert]在某行后追加：na [append] 2，删除： 删除一行/多行 删除某行删除多行： 第1行，第3行...

1，使用命令date -sfor((i=101;i&amp;amp;amp;amp;amp;lt;=103;i++))do #获取当前机器时间: 年月日， 时分秒 datestr=`date +%y-%m-%d` datestr2=`date +%H:%M:%S` #同步其他主机时间 echo &amp;amp;amp;amp;quot;ssh s$idate -s--------$date

定时任务执行：crontab -e 编辑任务1, crontab命令： 定时任务管理crontab -e : 此命令会打开一个定时任务管理文件，格式为#每天23:00 定时关机分 时 天 月 周几 具体命令0 23 * * * sudo poweroff#crontab -r: 删除该用户所有的定时任务#crontab...

条件判断： 布尔值，非空常用小脚本part1： shell中的条件判断条件并列判断#!/bin/bashif [ 1 -gt 2 ] &amp;amp;amp;&amp;amp;amp; [ 1 -gt 0 ] #if [ 1 -gt 2 ] || [ 1 -gt 0 ] #if [ 1 -gt 2 -a 1 -gt 0 ] #if [ 1 -gt 2 -o 1 -gt 0 ] #if (( 1 &amp;amp;gt...

hadoop集群管理脚本：diy-ssh.sh==&amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;gt; ssh免密登录diy-syn.sh==&amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;gt; 同步节点配置文件diy-op.sh==&amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;gt; jps查看进程, 更

bin目录： spark-shell, spark-submitsbin目录：part1: bin目录spark-shellfunction main() { export SPARK_SUBMIT_OPTS &amp;amp;amp;amp;amp;amp;amp;amp;quot;${SPARK_HOME}&amp;amp;amp;amp;amp;amp;amp;amp;quot;/bin/spark-submit --class org.apache.spa

1， 定义数组arr=(1 2 3)arr2=("a" "b" "c")2， 获取基本数据：arrLen,arr[i]3， 遍历元素

融合python的类库和shell的全部功能于一体： 在python脚本中调用shell命令1，使用python解析参数2，调用shell命令，并获取对应的输出结果py_shell_arr.sh: 脚本内容如下#!/usr/bin/python# -*- coding: UTF-8 -*-import os,sys#定义数组table_prefix="xyz"#arr=(...

create_hbase_table.sh#!/bin/bash#1,判断执行脚本时，是否输入正确的参数[[ $# < 1 ]] && echo "请输入hbase表名!" && exit 1#2,定义hbase表#hbase_table="'test111'"hbase_table="'$1'"cf="'f'"echo "输入的hba...

基本组织架构角色启动的服务使用的脚本cm-servercloudera-scm-server, cloudera-scm-agentserver.shcm-agentcloudera-scm-agentagent.sh脚本安装： 所用到的文件及目录├── agent.sh├── server.sh├── cdh│ ├── CDH-5.12.0...

安装ssh服务后，执行以下命令：　即可自动完成免密码登陆本机 ssh-keygen -t rsa -f ~/.ssh/id_rsa -P '' && cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys sed -i s/'# StrictHostKeyChecking ask'/'StrictHostKeyCheck...

场景：后台运行多个springboot或者npm的前端项目， 使用nohup提交后，使用ps -ef |grep spring 产生了多个pid, 不方便管理程序1，借鉴kylin后台运行脚本：kylin.sh运行kylin.sh start 的时候，实际调用的是如下脚本内容：if [ "$1" == "start" ]then retrieveStartCommand $...

在网络不稳定时，利用wget的断点下载功能，再加上脚本的自动重复下载，即可完成大文件的下载任务wget -c -t 3 -T 3 http://xxx/a.tar.gzresult=$?echo $result"============="while [ $result -ne 0 ]do wget -c -t 3 -T 3 http://218.245.1.135:99...

原文件如下：问题如下：统计两个文件中，单词频数 求出ip 的频数 求出两个文件的交集 求出文件b 和 (文件a 交集 文件b) 的补集1，统计单词频数2，统计ip频数3，求出两个文件的交集4，求出文件b (补集) （文件a 交集 文件b）...

1，基本输入输出2，cat的高级使用3，find查找匹配删除匹配的文件4, 数字，时间使用5， 数组6，字符串处理： st7, 文件完整性校验：加密解密8， 文件内容排序： sort9, 文件拆分： split...

1，什么是shell脚本？vi 1.sh, 写入内容给1.sh添加执行权限： 运行脚本（相对路径，绝对路径，bash , source ）2， 管道| 重定向 >3，shell 脚本变量A: 系统变量：date, envB: 自定义变量C: 位置变量：$1,$2....vi 4.sh 输入内容：...

awk 对比cutroot@wang-pc:/home/wang# echo "a b c" |cut -d" " -f2broot@wang-pc:/home/wang# echo "a b c" |cut -d" " -f1aroot@wang-pc:/home/wang# echo "a b c" |cut -d" " -f3croot@wang-pc:/home/wan...

要点如下：脚本之间调用关系 脚本的具体内容hadoop启动脚本之间的调用关系：脚本的具体内容（简化后）1，start- all.sh# start hdfs daemons if hdfs is present "${HADOOP_HDFS_HOME}"/sbin/start-dfs.sh --config $HADOOP_CONF_DIR# start yarn...