
Linux
Linux
docsz
擅长大数据平台架构,数仓设计,数据湖落地;构建企业级数据平台
展开
-
Shell控监Kafka积压
Kafka消息积压原创 2025-01-17 12:54:37 · 466 阅读 · 0 评论 -
VMware NAT连接外网
VMware NAT 连接外网原创 2024-09-04 23:21:59 · 487 阅读 · 0 评论 -
Linux开发环境变量配置
Linux开发环境变量配置原创 2023-07-11 14:39:25 · 236 阅读 · 0 评论 -
Linux中MySQL导入csv文件
1、查看secure_file_privshow global variables like ‘%secure_file_priv%’;必须先将csv文件放在MySQL的files文件夹内才能导入:/var/lib/mysql-files/或vi my.cnfsecure_file_priv=2、MySQL插入参数insert ignore当出现主键或唯一索引重复之后,插入会失败,但不会报错,会忽略此次插入用法:#id为主键insert into user(id,name,age)va原创 2021-01-15 17:22:03 · 2862 阅读 · 0 评论 -
shell脚本实现Hive库表迁移
待完善,比如何删除建表语句的倒数第2到13行;欢迎指正原创 2018-12-10 09:45:19 · 369 阅读 · 0 评论 -
Shell脚步发送HTTP请求
#!/bin/bashusername=$1passwd=$2url=$3task=$4yh_token=curl -d "adminv=${username}&passv=${passwd}" ${url}/bi/api?action=loginv_token=echo ${yh_token} | grep -oP '(?<=<message>).*(?=</message>)'echo ${v_token}task_url="KaTeX parse原创 2020-07-16 17:01:52 · 641 阅读 · 0 评论 -
Hadoop-集群维护
1、HDFS Safemode退出安全模式的办法:强制离开进入安全模式hdfs dfsadmin -safemode enter离开安全模式hdfs dfsadmin -safemode leavesudo -u hdfs hdfs dfsadmin -safemode leave安全模式是否开启 on:开启 off关闭hdfs dfsadmin -safemode get- 修改配置修改dfs.safemode.threshold.pct,缺省是0.999,修改为一个比较小的值原创 2021-07-01 15:20:00 · 627 阅读 · 0 评论 -
shell实现ssh批量免密登录操作
1、ip.txtvi /root/shell/ip.txt#IP 用户名 密码;空格隔开changxin-132 root Api03132changxin-133 root Api03133changxin-134 root Api03134changxin-135 root Api031352、ssh-auto.sh版本-1#!/bin/bashwhile read linedo #获取IP ip=`echo $line | cut -d " " -f1` #获取用户名原创 2022-03-10 11:26:54 · 1781 阅读 · 0 评论 -
shell多服务器创建用户和文件操作
1、生成复杂密码tr -dc '_A-Z#\-+=a-z(0-9%^>)]{<|' </dev/urandom | head -c 15; echo2、ip.txtmkdir -p /root/shell#服务器ip root密码 创建的用户名 创建用的用户密码,空格隔开vi ip.txt192.168.37.71 123456 hive 123456192.168.37.72 123456 hive 1234563、user.shvi /root/shell/u原创 2022-03-09 17:19:07 · 436 阅读 · 0 评论 -
shell批量操作脚本
1、xcall.sh脚本vi /usr/local/bin/xcall.sh#!/bin/bash#命令参数params=$@for((i=1;i<=3;i=$i+1));do echo ====== fate0$i $params ====== ssh fate0$i $paramsdone赋权限chmod +x /usr/local/bin/xcall.sh执行 xcall.sh jps -l2、xsync.sh脚本vi /usr/local原创 2022-03-09 15:51:32 · 2255 阅读 · 0 评论 -
Maven3.6.3镜像文件配置
settings配置如下: <mirror> <id>nexus-aliyun</id> <mirrorOf>*,!cloudera</mirrorOf> <name>Nexus aliyun</name> <url>http://maven.aliyun.com/nexus/content/groups/public</url> </mirror> <mirr原创 2021-01-27 16:37:30 · 313 阅读 · 0 评论 -
Linux磁盘挂载
Linux硬盘挂载1、查看磁盘fdisk -l注意:/dev/vdb 1TB2、创建一个新分区执行:fdisk /dev/vdb依次输入n,p,1,w其中n分别表示创建一个新分区,p表示分区类型为主分区,1表示分区编号是1,w表示保存3、格式化为ext4格式mkfs.ext4 /dev/vdb1或mkfs -t ext4 /dev/vdb14、挂载根目录创建/data作为此分区的挂载点mkdir /data将分区挂载到目录下mount /dev/vdb1 /da原创 2021-01-09 16:24:35 · 392 阅读 · 0 评论