- 博客(58)
- 收藏
- 关注
RSS订阅
1原创 pgsql命令
alter命令1.修改聚集函数定义2.修改排序规则定义3.修改编码转义定义 4.修改数据库5.定义默认的访问权限6.修改域定义7.修改函数定义8.修改用户组9.修改索引的定义10.修改一个过程语言的定义11.改变一个操作符的定义12.修改一个操作符表的定义13.修改一个模式的定义14.修改一个序列生成器的定义15.修改表的定义16.修改表空间的定义17.修改改变一个触发器的定义18.修改一个类型的定义19.修改数据库用户帐号...
2020-06-13 10:03:49
199
原创 hive卸数脚本
#!/bin/bashsource ~/.bash_profile#时间参数data_dt=$1#格式化时间参数data_chk=`date -d $data_dt`if [$? -ne 0] then exit -1fi#时间格式转为yyyyMMddfile_dt=`date -d "$data_dt" +%Y%m%d`#输出目录exp_path=/OUTPUT#判断目录是否存在不存在则新建if [! -d $exp_path/aaa];thenmkdir -p
2020-06-11 19:20:31
842
原创 hbaseRegion的划分
hbase默认的region划分，不利于批量写入速度，有可能出现拆分风暴。解决方法：关闭自动拆分命令，手动条用split和major_compact命令预设隔离的数据分片（预分区），以加快批量写入速度通过分析业务读写吞吐了以及总的数据量信息，设定合理的region数量目标，表的预分区按照未来5年的存储量估计| 容量|预分区个数 ||-100G以内-|-8-|| 100-500 | 32 || 500-1T | 64 || 1T-2T | 128 || 2T 以上| 256 |官方建议每
2020-06-11 19:17:48
573
原创 hbaseRowkey设计
1.RowKey的设计需要充分考虑到业务的读写特点当客户端需要频繁写一张表，随机的RowKey会获得更好的性能当客户端需要频繁的读一张表，有序的rowkey则会获得更好的性能2. Rowkey特性唯一性：Rowkey必须能够唯一的识别一行数据散列性：避免访问热点，降低查询效率尽可能短：在不影响业务的前提下，建议越短越好2.1 唯一性必须设计上保证其唯一性，rowkey是按照字典顺序排序存储的，可充分利用这个特点，将经常一起读的数据存储到一起。2.2 散列性rowkey的第一个字段
2020-06-11 19:15:54
165
原创 gp数据库同步数据
Select copy_table_between_cluster(‘ods.test_data’,‘minnie’,‘ods.test_data_1’,‘10.239.44.32’,‘5432’,‘1=1’);
2020-06-11 18:36:14
900
转载 正则表达式中/i,/g,/ig,/gi,/m的区别和含义
正则表达式中/i,/g,/ig,/gi,/m的区别和含义/i (忽略大小写)/g (全文查找出现的所有匹配字符)/m (多行查找)/gi(全文查找、忽略大小写)/ig(全文查找、忽略大小写
2020-06-11 18:12:52
211
原创 find命令
find . -name "xxx" 2> /dev/null -exec ls -l {} \;#查找出的xxx文件将权限不够的过滤 并ls
2020-06-11 10:17:40
99
原创 shell脚本定义日志输出函数
logger(){echo -e `date +%F\ %T` : ${0##*/} : "${1}"}logger “aaaaaa”
2020-06-10 18:05:09
692
原创 perl脚本中的特殊字符也与V字符串
#特殊字符以下我们将演示 Perl 中特殊字符的应用，如 FILE, LINE, 和 PACKAGE 分别表示当前执行脚本的文件名，行号，包名。注意： __ 是两条下划线，FILE 前后各两条下划线。这些特殊字符是单独的标记，不能写在字符串中，例如：实例#!/usr/bin/perl print "文件名 ". __FILE__ . "\n";print "行号 " . __LINE__ ."\n";print "包名 " . __PACKAGE__ ."\n"; print "__
2020-06-09 18:42:54
1117
原创 gp数据库中Appendonly与compresslevel
gp数据库中Appendonly（1）压缩表的应用场景业务上不需要对表进行更新和删除操作，用truncate + insert 就可以实现业务逻辑访问表的时候基本上是全表扫描，不需要在表上建立索引不能经常对表进行加字段或修改字段类型，对Appendonly表加字段比普通表慢很多（2）语法介绍建表的时候加上 with(appendonly=true) 就可以指定表是Appendonly表。如果需要建压缩表，则加上 with(appendonly=true,compresslevel=5)，其中com
2020-06-03 16:51:09
4300
原创 perl脚本中的ENDOFINPUT
print SQLPLUS <<ENDOFINPUT;some textENDOFINPUTSQLPLUS是一个打开的文件表示向SQLPLUS文件里写入 ENDOFINPUT括起来的字符串.。
2020-06-03 16:36:30
1207
原创 perl语言数据类型
1.标量标量是 Perl 语言中最简单的一种数据类型。这种数据类型的变量可以是数字，字符串，浮点数，不作严格的区分。在使用时在变量的名字前面加上一个 $，表示是标量。例如：$myfirst=123; #数字123 $mysecond="123"; #字符串1232 数组数组变量以字符 @ 开头，索引从 0 开始，如：@arr=(1,2,3)@arr=(1,2,3)3 哈希哈希是一个无序的 key/value 对集合。可以使用键作为下标获取值。哈希变量以字符 % 开头。%h
2020-06-01 17:11:23
162
转载 perl中shift 和unshift 操作
perl中shift 和unshift 操作unshift 和shift 对一个数组的开头进行操作（数组的左端有最小下标的元素）。unshift 和shift，如果其数组变量为空，则返回undef。#!/usr/bin/perl -w@array = qw#one two three#;KaTeX parse error: Expected 'EOF', got '#' at position 23: …ft (@array); #̲m 得到“one”, @array 现在为(“two”, “
2020-06-01 14:12:27
652
原创 PostgreSQL条件语句
PostgreSQL条件用于从数据库获取更具体的结果。 它们通常与WHERE子句一起使用。 具有子句的条件就像双层过滤器。以下是PostgreSQL条件的列表：AND 条件OR 条件AND & OR 条件NOT 条件LIKE 条件IN 条件NOT IN 条件BETWEEN 条件...
2020-06-01 10:49:53
720
原创 PostgresSQL模式
使用架构的优点：模式有助于多用户使用一个数据库，而不会互相干扰。它将数据库对象组织成逻辑组，使其更易于管理。可以将第三方模式放入单独的模式中，以避免与其他对象的名称相冲突。...
2020-06-01 10:11:31
140
原创 PostgresSQL数据类型
数据类型：1.数值数据类型2.字符串数据类型3.日期/时间数据类型数值数据类型smallint 存储整数，小范围 2字节 -32768 至 +32767integer 存储整数。使用这个类型可存储典型的整数 4字节 -2147483648 至 +2147483647bigint 存储整数，大范围。 8字节 -9223372036854775808 至 9223372036854775807decimal 用户指定的精度，精确 变量 小数点前最多为131072个数字; 小数点后最多为16383
2020-06-01 09:26:40
510
原创 ue常用快捷键
UltraEdit常用快捷键Ctrl+N ：创建一个新文件Ctrl+O ：打开文件Ctrl+Q ：快速打开文件Ctrl+F4 ：关闭文件Ctrl+S ：保存活动文件F12 ：另存为Ctrl+P :打印当前活动文件Ctrl+0~9 （0~9为对应的粘贴板号，一共可建十个）:编辑指定的粘贴板 Ctrl+Y (previously Ctrl+A) :重做Ctrl+J :选择一个单词（与双击一样的效果）Ctrl+E :删除当前行Ctrl+F11:删除当前光标至行头的所有内容
2020-05-30 17:36:18
2378
原创 oracle decode函数
decode(条件，值1，返回值1，值2，返回值2，…值n,返回值n，缺省值)decode(X，A，B，C，D，E）这个函数运行的结果是，当X = A，函数返回B；当X != A 且 X = C，函数返回D；当X != A 且 X != C，函数返回E。 其中，X、A、B、C、D、E都可以是表达式，这个函数使得某些sql语句简单了许多。...
2020-05-29 10:57:53
163
原创 sparksql与hql语法差异
sparksql2.0兼容大多数hive1.1语法，不支持的基本很少用到。sparksql2.0不兼容的hive1.1语法主要有一下几个方面：分桶建表语法差异
2020-05-24 03:26:07
1313
原创 shell输出标准化xml
xmlfile=aaa/bbb/ccc.xmlecho "<$xml version \"1.0\"?><name=\"sss\" aname=\"sss2\"></name>">${xmlfile}if [$? -ne 0] then exit -1fi
2020-05-24 02:09:21
311
原创 计算文件大小与文件行数
filesize=`ls -lrt ${file} | awk '{print $5}'`filerows=`wc -l ${file} | awk '{print $1}'`#判断执行是否成功if [$? -ne 0] then exit -1fi
2020-05-24 02:01:59
617
原创 hbase shell相关命令
alter //修改列族模式count //统计表中的行的数量create //创建表describe //显示表相关的详细信息delete //删除指定对象值（可以为表、行、列对应的值）deleteall //删除指定行的所有元素disable //使表无效drop //删除表enable //使表有效exists // 测试表是否存在exit //退出hbase shellget //获取行或单元（cell）的值incr //增加指定表、行或列的值list //列出h
2020-05-11 03:40:07
137
原创 shell里执行执行mysql 语句
shell里执行执行mysql 语句#!/bin/shmysql -uroot -p123456 databsename <<EOFselect * from table;desc table;EOF备份数据库#!/bin/shmysqldump -u root -p123456 databsename >./msyql.sql.bak
2020-05-11 03:15:53
174
原创 统计文件大小与文件行数
统计文件大小filesize=`ls -lrt ${filename} | awk 'print $5' `if [$? -ne 0] then exit -1fi文件行数filerows=`wc -l ${filename} | awk 'print $1' `if [$? -ne 0] then exit -1fi
2020-05-11 03:08:48
156
原创 iconv命令utf-8文件转为gbk文件
iconv命令utf-8文件转为gbk文件iconv -c -f UTF-8 -t GDK /filename > /filename
2020-05-11 03:03:29
2391
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人