- 博客(21)
- 收藏
- 关注
RSS订阅原创 between的应用
between在不同的SQL中，范围是不同的，下面分别介绍一下：between and在hive中：包头又包尾select * from a.rrr where id between 1 and 5;返回值是1,2,3,4,5未完待续
2019-12-28 11:10:51
561
原创 distinct的优化
如果要对select语句中的字段进行distinct，比较优化的做法如下：selectdistinct t.* from (select aaa,bbb,ccc from rrr) t
2019-12-25 17:53:39
1325
原创 distinct的位置，开窗函数，限制小数点取值位数，not exists运用实例
select distinct t.* from --<---distinct的位置 (select a.fperiod ,a.matnr ,round((a.sum_cost/(count(1) over(partition by a.fperiod,a.matnr)* b.peinh)),15) as ...
2019-12-05 16:02:22
1084
原创 时间戳,处理时间戳concat,substr,from_unixtime,unix_timestamp,to_date,add_months,trunc,current_timestamp,unix
截取a.rrr字段的前4位，和从第6位开始的2位，拼接，取名位uuuconcat(substr(a.rrr,1,4),substr(a.form_no,6,2)) as uuu
2019-11-13 16:58:41
1689
原创 给为0或者null或者nan的字段赋值
当rrr字段没有值或者null或者nan时赋值为0，否者现实rrr本身,case when length(cast (t.rrr as string))=0 or t.rrr is null or cast(t.rrr as string)=‘nan’ then 0 else round(t.rrr,15) end rrr...
2019-11-13 16:43:26
1605
原创 删除表中数据，并重新查询插入
删除表中数据truncate table 数据库.表名;重新插入查询到的数据insert overwrite table 数据库.表名select …
2019-11-13 16:38:26
744
原创 impala中转换字段类型，类型强转
cast(字段名 as 要转换为的类型)例如：要将student表中的age字段（原本是int类型）转成string类型，如下：cast(student.age as string) as age --年龄
2019-10-30 12:10:17
7876
原创 hive切分字段，hive函数：正则函数regexp_replace
SELECTcase when length(split_part(regexp_replace(txtlg,’’,’-’),’-’,4))>0 then split_part(regexp_replace(txtlg,’’,’-’),’-’,4)when length(split_part(regexp_replace(txtlg,’’,’-’),’-’,3))>0 then s...
2019-09-26 18:16:24
2141
原创 hive截取当前系统时间
指截取系统时间的年和系统时间的月，作为时间字段concat(substr(from_unixtime(unix_timestamp()),1,4),substr(from_unixtime(unix_timestamp()),6,2)) as fperiod
2019-09-17 17:44:03
6502
原创 hive查看数据库表中字段是否唯一
查看ods.ods_prj_phasedate表中project_id字段是否唯一：select project_id,count() from ods.ods_prj_phasedate group by project_id having count() >1;
2019-08-30 10:32:22
1616
原创 impalasql和hivesql的窗口函数和根据月份时间增量取数
窗口函数今天跟大家分享一下窗口函数举个例子：假设当前环境为impala，drop table if exists dw.stu;----dw库中的stu表-------------------create table dw.stu(fperiod string comment’年月’,name string comment’姓名’,age int ...
2019-08-28 18:03:36
1547
转载 SQL Union作用
SQL Union作用动态构造一个SQL语句然后执行,构造动态语句的查询语句如下SELECT REPLACE(WMSYS.WM_CONCAT(STR),’,’,’ UNION ') FROM(SELECT 'SELECT class_no,stu_name,sex,age FROM ’ || TABLE_NAME STR FROM USER_TABLES)Union因为要进行重复值扫描，所...
2019-07-18 22:35:26
2272
1
转载 Impala 技术点梳理
1.优点1.1 快！主节点生成执行计划树并分发执行计划至各节点并行执行的拉式获取数据（MR：推式获取数据）计算的中间结果不写入磁盘1.2 便利提供SQL语义，可以方便的进行复杂的数据分析任务2.缺点2.1 啃内存对于内存的依赖过于严重，内存溢出直接导致技术任务的失败2.2 SQL支持度低不支持UDF，不支持UPDATE/DELTE操作，不支持同一SELECT中多个DISTIN...
2019-07-18 22:20:35
199
原创 Linux关闭防火墙命令:即时关闭和永久关闭
即时生效，重启后复原开:service iptables start关:service iptables stop永久性生效，重启后不会复原开:chkconfig iptables on关:chkconfig iptables off运行状态下永远关闭(组合着用)service iptables stopchkconfig iptables off...
2019-05-07 19:52:03
4071
原创 zookeeper一键启动脚本内容及使用
zookeeper一键启动脚本内容及使用之前和大家说道zookeeper的启动埋下了这个伏笔,我说我有一键启动的脚本.现在我就来填这个坑,把我的zookeeper一键启动脚本内容分享给大家.zookeeper一键启动脚本内容说明1.我的脚本名字叫zkmanage.sh,2.我搭建了3台机器,分别取名为node-1, node-2, node-3,3.我使用的zookeeper是这个版本...
2019-04-14 11:03:41
1096
1
原创 搭建集群如何时间同步?
搭建集群如何时间同步?查看Linux时间输入:date 回车,即可查看时间时间同步的操作时间同步的重要性,我想大家都很了解,其实解决也很简单:输入:ntpdate -u 0.uk.pool.ntp.org然后再输入date检查一下吧...
2019-04-13 21:59:51
1486
原创 Hadoop集群启动,zookeeper,hive,kafka和flume等相关工具启动
Hadoop集群启动,zookeeper,hive和flume等相关工具启动Hadoop集群启动zookeeper服务的启动启动mysql启动hiveflume agent启动配置文件Hadoop集群启动进入Hadoop的sbin目录下,输入:start-all.sh 即可启动你所搭建的集群.当你看到下列画面时,就成功了(我搭了三个node供参考).zookeeper服务的启动首先进入...
2019-03-31 20:04:51
645
原创 解决向MySQL中插入中文显示乱码和报错的问题
解决向MySQL中插入中文显示乱码和报错的问题MySQL中文乱码产生的原因首先查看数据库中与字符集相关参数修改MySQL数据库中的客户端如何更改MySQL数据库服务器中客户端部分的字符集重新启动MySQL数据库服务器重新记录MySQL数据库MySQL中文乱码产生的原因 因为我们使用的系统中(客户端命令)默认为gbk编译,而MySQL数据库默认为utf8编译.也就是说MySQL数据库听不懂我们对...
2019-03-04 14:13:00
2672
3
原创 修改maven 本地仓库的位置
修改maven 本地仓库的位置maven安装后本地仓库的位置maven本地仓库设置在其他磁盘下的方法朋友前几天告诉我他突然忘记怎么修改maven中本地仓库的位置了,我回忆了一下,哈哈哈…这种细节有时很容易被遗忘.于是写篇小博客吧,给朋友也和大家分享一下:maven安装后本地仓库的位置maven安装后的默认位置在C:\Users\Administrator.m2文件.因为本地仓库里放着我们满...
2019-02-21 18:52:33
598
2
原创 Solr的下载,安装,启动及配置目录
Solr的下载&amp;amp;gt;安装&amp;amp;gt;启动及配置目录先说几句话,希望我提供的内容可以对你有一定的帮助,希望让你觉得既轻松又好用,如果有这样的体验感觉,请告诉我,让我也分享一下你的快乐!简述:啥是Solr?Solr里面有啥?Solr怎么用?Solr的下载:官网：[此网址已经指向Solr的下载界面了](http://www.apache.org/dyn/closer.lua/lucene/solr/7.6...
2019-01-22 16:07:23
3318
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人