Sqoop 脚本开发规范

本文档详细介绍了Sqoop脚本的开发规范,包括目录结构、脚本命名、运行环境、调用与终止脚本的方法、脚本注释、变量和参数命名规则、配置文件管理以及具体的脚本编写示例。通过遵循这些规范,可以提高脚本的可维护性和团队协作效率。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.目录结构体系

/home/hadoop(开发用户)/app/yw(数据来源、业务)/sh/sqoop

示例:/home/hadoop/app/yw/sh/sqoop

home/hadoop(开发用户)/app/yw(数据来源、业务)/sh/param

示例:/home/hadoop/app/yw/sh/param

2.脚本文件命名规范

2.1文件名规范:数据库类型_数据层_日期_表实体命名。

2.2文件扩展名规范:扩展名为sh。

2.3文件名命名举例:sq_ods_d_yw_user_copy.sh

3.脚本运行、调试、编辑

3.1脚本运行环境:在liunx操作系统上运行,通过命令方式调用脚本

3.2调用脚本和终止脚本

3.2.1多种方式调用:a)Sh 脚本名 b)./脚本名 c).Source 脚本名 /xxxx/xxx/脚本名 -----脚本的全路径

3.2.2终止脚本:通过ps命令查询到正在执行脚本的进程,用kill命令杀掉执行中的脚本。

ps –ef|grep 脚本名;

kill 脚本的进程

3.2.3编辑工具

使用linux系统自带的vi编辑,UE等

4.脚本注释说明

脚本中需要有基本的注释信息方便以后维护,如参数、执行示例、脚本存放位置、日志文件地址、创建人、创建日期等信息。

脚本注释示例:

#说明:将用户数据从HDFS导入MySQL

#参数CONNECTURL 说明:MySQL 连接地址

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值