Big data enthusiast

好久之前的笔记了，搬出来和大家共享：参数解释：find用来查询某个目录下的文件几种常用的参数如下-path 后面跟着要查询的路径-prune 表示不再指定目录下查询，如果同时使用-depth，那么-prune命令将会被忽略-name 要查询的文件名，可以使用正则表达式来查询-mtime 查询近n天更改过的文件+表示大于n，-n表示n天以内-另外还有-atime和-cti

今天学习了awk的一些用法与大家分享准备工作：首先准备的ls.out中的内容如下：[oracle@localhost testDir]$ cat ls.out total 68-rwxr--r-- 1 oracle oinstall 885 Feb 23 16:23 awk.sh-rw-r--r-- 1 oracle oinstall 216 Feb 23 11:53

最近工作中遇到这样一个需求，需要定期备份主机上的脚本文件，但是因为脚本文件分布在各个目录下，有的目录如日志文件并不需要备份，那么就需要排序部分目录或者指定的文件了，方法如下，可供参考（系统环境AIX）：1.将需要排除的目录或者文件每个一行以列表的形式编辑到某个文件中：

ETL工具中最基础的功能是加载远程服务器的文件，如下小程序以二进制方式获取远程服务器上的文件：#!/usr/bin/bash#created by lubinsu#2014source ~/.bash_profilefilename=$6srcdir=$4descdir=$5ftpip=$1ftpusr=$2ftppwd=$3#get filesftp -i -in <<

一般我们使用tr来做字符串的替换，或者删除指定的字符串tr的语法如下：  tr [OPTION]... SET1 [SET2]       -c, -C, --complement              first complement SET1将非SET1中的字符替换为SET2[lubinsu@200-168-1-4 ~]$ echo "lubinsu"

ETL调度中读写数据信息，都需要连接数据库，下面的子程序通过传入的数据库连接字符串和数据库命令（或SQL）执行所需要的操作：#!/usr/bin/bash#created by lubinsu#2014source ~/.bash_profilevalues=`sqlplus -S $1 << EOF set heading off feedback off pagesize 0

在Oracle数据库之间不能建立数据链路情况下，该代码用于数据库之间数据同步。 操作系统环境：AIX#!/usr/bin/bash#created by lubinsu#2015source ~/.bash_profileecho "读取配置信息"connectstr=`cat ${etl_dispatch}/db_constr.txt`proc_id=$1l_d

数据文件生成方式有多种，但是大多效率低下，对于大型数据仓库来说，高效导出文件是迫切需求：这里通过shell+java的方式集成老熊写的数据文件生成工具，效率比普通的导出方法高70%：shell文件生成脚本：#!/usr/bin/bash#created by lubinsu#2015.07.13source ~/.bash_profilesrcDbNm=$1sr