
linux
lhxsir
Unto a full grown man.
展开
-
虚拟机docker安装kafka
准备工作:如果是虚拟机,调整网络为桥接模式第一部分:安装zookeeper和kafka#下载docker镜像docker pull docker.io/wurstmeister/zookeeperdocker pull docker.io/wurstmeister/kafka:2.12-2.1.0#安装docker镜像docker run -d --name zookeeper --net=host -p 2181:2181 wurstmeister/zookeeperdocker ru原创 2021-08-18 11:03:21 · 686 阅读 · 0 评论 -
Docker组件安装(centos7)
查看linux版本号uname -acat /etc/redhat-release使用 yum方式安装Docker组件#修改主机名hostnamectl --static set-hostname docker-node1#安装 Docker组件yum -y install docker-ioyum list installed | grep docker#修改镜像加速...原创 2019-08-29 14:57:11 · 372 阅读 · 0 评论 -
获取指定hive库的schema
列表[]元祖()sql ='''select * from test where day='%s' and hour='%s';'''sql = sql % (20190805, 11)print(sql)字典{key:value,key:value} 无序ab = {'a':'1','c':'2'}print(ab['a'])print(ab['b'])如果获取不存...原创 2019-08-09 16:04:43 · 5905 阅读 · 1 评论 -
hive表数据迁移(生产集群->测试集群)
由于需要在测试环境测试hive表逻辑,但是测试集群没有相关表及数据,所以采用最简单的方式:通过hue从生产集群下载文件,然后通过hue上传到测试集群但是。。hive表是分区的而且每个分区下面都N多个小文件,于是编写shell脚本:#! /bin/bashmkdir -p ./tmp/tablerssc_array=("201901" "201902" "201903" "201904...原创 2019-05-17 11:28:37 · 722 阅读 · 0 评论 -
Linux中zip文件解压
假设当前目录下有多个zip文件 ( data_1.zip data_2.zip data_3.zip )方法一unzip '*.zip' 或者 unzip \*.zip 方法二( 先合并为一个zip包,后解压) cat data* > data.zipunzip data.zip...原创 2018-11-29 16:42:11 · 5938 阅读 · 0 评论 -
unix shell 监控文件夹发送邮件
根据需求监控某些文件夹下是否生成文件,定时任务执行。 由于UNIX系统使用 Bourne Shell 所以和Linux系统shell命令稍有不同:#!/bin/sharr[0]="/app_inter/production/inbound/I02"arr[1]="/app_inter/production/inbound/AP2POMS"arr[2]="/app_inter/produ...原创 2018-09-05 14:55:06 · 444 阅读 · 0 评论 -
shell 基础命令
数组#数组定义法1:arr=(1 2 3 4 5)#数组定义法2:array[0]="a"array[1]="b"array[2]="c"#遍历(For循环法):for var in ${arr[@]};do echo $vardone#遍历(带数组下标):for i in "${!arr[@]}"; do printf "%s\t%s\n"...原创 2018-09-05 10:07:06 · 136 阅读 · 0 评论 -
生产环境安装centos7系统教程(组装服务器)
一台服务器配置:12核/64G/18T主板:超微 X10DRLU盘:CentOS-7-x86_64-DVD-1804.iso步骤一:按DEL 进入bios配置好 raid 0步骤二:按F11 进入U盘启动按Enter 进入centos7安装界面后按Tab 将底下的命令修改为:vmlinuz initrd=initrd.img linux dd quiet 回车,然后就会列出你的设备列表找到安装U盘...原创 2018-06-06 10:47:04 · 3178 阅读 · 0 评论 -
n2n内网穿透搭建
(一)外网服务器 centos7(腾讯云)#安装依赖包yum install subversion gcc-c++ openssl-devel git cmake#下载n2n源码包git clone https://github.com/meyerd/n2n.git#编译cd n2n/n2n_v2mkdir buildcd buildcmake ..makemake insta...原创 2018-05-23 10:02:22 · 10460 阅读 · 0 评论 -
frp内网穿透搭建
(一)外网服务器 centos7(腾讯云)#创建目录mkdir -p /usr/local/frp#下载frp安装包wget https://github.com/fatedier/frp/releases/download/v0.13.0/frp_0.13.0_linux_amd64.tar.gz#解压安装包tar -zxvf frp_0.13.0_linux_amd64.tar.g...原创 2018-05-20 22:51:36 · 447 阅读 · 0 评论 -
压缩与解压
(1)zip命令 解压:unzip FileName.zip 压缩:zip FileName.zip DirName(2)tar命令 解压:tar zxvf FileName.tar 压缩:tar czvf FileName.tar DirName(3)gz命令 解压1:gunzip FileName.gz 解压2:gzip -d FileName.gz 压缩:gzip File...原创 2018-05-02 14:05:32 · 214 阅读 · 0 评论