- 博客(69)
- 收藏
- 关注
RSS订阅原创 shell 文件大小写替换
文件大小写替换20191030tr命令[需要文件重定向]#小写转换到大写tr [a-z] [A-Z] < $file > $newfile#大写转换到小写tr [A-Z] [a-z] < $file > $newfile参考【参考资料1】...
2019-10-30 11:56:12
489
原创 shell md5sum命令
md5sum命令20191028#生成文件的MD5值md5sum file > my.md5#my.md5文件，第一列为16进制的32位MD5值，第二列为文件名00a14c842863b0c9ef52956b107e07d6 test.sh#校验文件的MD5值md5sum --check my.md5#文件未被修改时test.sh: 确定#文件被修改时tes...
2019-10-28 17:17:45
2040
原创 shell 循环
循环20191025whlies=0i=1while [[ i < 4 ]]do s=(( $s + $i )) i=(( $i + 1 ))doneecho $s # 输出：6fors=0nu=4for (( i = 1; i < $nu; i++ ))do s=$(( $s + $i ))doneecho $s # 输出：6co...
2019-10-25 11:27:26
226
原创 hive union all
hive union all 问题20191025（1） hive中使用union all要保证联结的字段类型一致（2）要保持字段名称一致，否则报错Schema of both sides of union should match.insert into table mytable1select acol1 as mycol1,acol2 as mycol2from...
2019-10-25 09:29:55
532
原创 shell脚本后台运行
#shell脚本后台运行20191024nohup ( no hang up)(CTRL-C)无效，但是关掉终端会终止执行& (后天执行)(CTRL-C)有效，但是关掉终端不会终止执行一般配合使用nohup sh my.sh >my.log 2>&1 &参考参考1参考2参考3...
2019-10-24 16:14:36
4722
原创 nmp 设置淘宝镜像
nmp 设置淘宝镜像·20191018·nmp 设置淘宝镜像2019/8/17 9:18:21一、通过命令设置1.命令npm config set registry https://registry.npm.taobao.org2.验证命令npm config get registry如果返回下面，则成功！https://registry.npm.taobao...
2019-10-18 09:00:09
1133
原创 shell转码脚本
shell转码脚本20191017!/bin/bash#iconv -f GB2312 -t utf-8 "filename.sql" -o "newfilename.sql"#将GB2312文件转换为UTF-8文件#1个参数：# filename:单个文件名称# 要保证源文件确实是gb2312编码，否则转换之后为乱码！！！# 不能确定的就一个一个打开看看，一个...
2019-10-17 20:50:48
1353
原创 hive 分区
hive分区操作20191017（1）hive建表时创建分区create table `mytable`( `column1` string, `column2` string)partitioned by ( `mydate` string, `mytype` int)row format delimited fields terminated by ',';...
2019-10-17 20:20:32
118
原创 shell 解压压缩文件[zip][tar][tar.gz]
shell 解压文件20191017zip文件(参考资料1)压缩zip -r mydata.zip mydata #压缩mydata目录zip -r mydata.zip ./*txt #压缩当前目录下后缀名为.txt的文件为mydata.zip解压unzip mydata.zip -d mydatabak #把mydata.zip解压到mydatabak目录里面参...
2019-10-17 19:31:53
10966
原创 shell 多行注释
shell 多行注释20191017学习一下shell脚本中多行注释的方法方法一:<<!#被注释的内容 !方法二：'#被注释的内容'方法三if false;then#被注释的内容fi方法四:<<任意字符或者数字#被煮熟的内容任意字符或者数字方法五((0)) && {#被注释的内...
2019-10-17 18:56:18
249
原创 hive科学计数法转字符串
科学计数法转字符串20191014有时需要将表里的int, double, float转为string类型的（主要的是int）,但有时int在hive里是用科学计数法来表示的，不能直接转string.参考文章【链接】.对于int类型，可以直接先转为bigint再转为stringcast(cast(intnum bigint) as string)对于一般类型可用下面的语句（不是我...
2019-10-14 09:33:12
3392
原创 hive科学计数法引发的问题
hive科学计数法引发的问题20191011（1）20191010 hive 中数值类型和字符串类型string运算hive中数值类型可以和和字符串类型string运算，其中字符串为纯数字类型，都转为了浮点类型double.若字符串不为纯数字类型，计算结果则为NULL.select 3 * '2'6.0select 3 * '2.2'6.6select '3' * '2...
2019-10-11 15:37:45
2537
原创 datax Github项目链接
datax20190920DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。Github项目链接： Github-datax简介参考：CNSD-datax简介...
2019-09-20 08:57:44
2023
原创 hive isnull或ifnull的替代方法if()方法
hive isnull或ifnull的替代方法if()方法hive没有isnull和ifnull函数，可以用if()函数替代if(条件，值1，值2) 条件为真：值1，否则值2（相当于c++里的三目运算？：） select if(column2 is null, 0, cslt.self_cancel_amount) as nwe_column from table_name; sele...
2019-09-17 12:40:29
26285
原创 shell脚本中变量接受hive语句的返回值问题
问题有时在写shell脚本时，脚本变量可以接受hive语句的返回值#!bin/bashsql1="use mydatabase;select min(colmun) from table_name;"var1=`hive -S -e "${sql1}"`sql2="use mydatabase;select cast(1 as tinyint) as flag;"var...
2019-09-16 09:22:15
1743
原创 MaHua简介
MaHua是什么?一个在线编辑markdown文档的编辑器向Mac下优秀的markdown编辑器mou致敬MaHua有哪些功能？方便的导入导出功能直接把一个markdown的文本文件拖放到当前这个页面就可以了导出为一个html格式的文件，样式一点也不会丢失编辑和预览同步滚动，所见即所得（右上角设置）VIM快捷键支持，方便vim党们快速的操作 （右上角设置）
2019-09-16 08:56:23
590
原创 hive 时间函数
hive 时间函数20190910时间截断函数 trunc(string date, string format)返回stringselect trunc("2016-06-26","MM") --得到：2016-06-01select trunc("2016-06-26","YY") --得到：2016-01-01【注意】 format所支持的格式为MONTH/MON/MM,...
2019-09-10 23:03:20
208
原创 T-SQL时间函数
T-SQL时间函数DAY()，MONTH()，YEAR()，DATEADD()，DATEDIFF()，DATENAME()，DATEPART()，GETDATE()
2019-08-31 20:22:20
1224
转载 Pandas速查手册中文版
本文翻译自文章：Pandas Cheat Sheet - Python for Data Science，同时添加了部分注解。对于数据科学家，无论是数据分析还是数据挖掘来说，Pandas是一个非常重要的Python包。它不仅提供了很多方法，使得数据处理非常简单，同时在数据处理速度上也做了很多优化，使得和Python内置方法相比时有...
2018-03-13 11:05:53
1229
转载 指针数组和数组指针的使用
指针数组：指针的数组，表示一个数组，并且数组的每一个元素都是指针类型。数组指针：数组的指针，表示一个指针，并且是指向数组的指针。不运行程序，问下面代码的输出是什么？1#include<iostream>2 using namespace std;3 int main()4 {5  ...
2018-03-08 20:39:42
8467
转载 一道字符指针题
看到网上一道面试题，主要是考指针的。我做了下，幸好没错，分享下。[cpp] view plain copy print?1#include<iostream> 2 using namespace std; 3 int main(...
2018-03-08 20:37:30
234
转载 数组作为函数参数传递
数组有两个特殊的性质。一是不能复制数组；二是使用数组名字时，数组会自动转化为指向其第一个元素的指针。由于数组不能复制，所以无法编写使用数组类型形参的函数，因为数组会被自动转化为指针。一、一维数组1.三种定义形式： [cpp] view plain copy print?void printvalues(int...
2018-03-08 20:34:51
21758
2
转载 C++ 中如何用 vector类作为函数的参数
今天学些了C++中的vector容器，如何让vector作为参数呢？贴出我的代码： [cpp] view plain copy print?#include<iostream> //vector 是C++中最常...
2018-03-08 20:31:31
11960
转载 原来Github上的README.md文件这么有意思——Markdown语言详解
转载请注明出处：http://blog.youkuaiyun.com/zhaokaiqiang1992 之前一直在使用github，也在上面分享了不少的项目和Demo，每次创建新项目的时候，使用的都是默认的README.md文件，也不曾对这个文件...
2018-03-08 20:24:34
277
转载 协同过滤算法的Python实现
今天要讲的主要内容是协同过滤，即Collaborative Filtering，简称CF。 Contents 1. 协同过滤的简介 2. 协同过滤的核心 3. 协同过滤的实现 4....
2018-03-08 20:18:13
4215
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人