weixin_45744450的博客

原创 Windows10 中eclipse的自动对齐（代码格式化）快捷键 Ctrl + shift + F不能使用

Windows10 中eclipse的自动对齐（代码格式化）Source==>Format 可以使用，但是其 快捷键 Ctrl + shift + F不能使用。在开发过程中造成不必要的麻烦。下面介绍一下原因和解决方法发生原因：快捷键被占用，搜狗输入法的繁简体切换。解决方法：关闭或者更改搜狗输入法的快捷键步骤如下：右键选择"属性设置"选择“高级”>“系统功能快捷键”>简繁...

原创 IDEA中 ‘mvn‘不是内部命令

在Terminal中运行 mvn -v 时候显示 'mvn’不是内部命令解决办法:配置maven的环境变量将D:\idea\IntelliJ IDEA Community Edition 2020.1\plugins\maven\lib\maven3配置到环境变量

原创 hive中explode报错UDTF‘s are not supported outside the SELECT clause, nor nested in expressions

hive中使用explode 查询多列时候报错hue中报错信息:Error while compiling statement: FAILED: SemanticException [Error 10081]: UDTF's are not supported outside the SELECT clause, nor nested in expressions原因:UDTF只能查询一个一段也可报错SemanticException 1:40 Only a single expression

原创 spark dataframe打印宽度限制

现象result_df.show()解决办法result_df.show(10,false)结果全部打印不会阶截断

原创 main ERROR Unable to invoke factory method in class class org.apache.hadoop.hive.ql.log.HushableRand

报错信息main ERROR Unable to invoke factory method in class class org.apache.hadoop.hive.ql.log.HushableRandomAccessFileAppender for element HushableMutableRandomAccess. java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invo

原创 hive count distinct多个字段

解决办法set hive.groupby.skewindata=false;即可查询 hive>select count(distinct id, name) from test; 默认是false由于大部分时候会设置成true来减少数据倾斜现象.

原创 maven打包中的一些错误

maven打包中的一些错误

原创 shell脚本中的等于和不等于

shell中’等于’和’不等于’不能用’=‘或者’!=’例如判断 a时候等于a 和a是否等于b正确的代码如下a -eq a和a -ne b

原创 AirFlow调度入门

原创 linux内crontab传时间参数

linux内crontab传时间参数15 4 * * * /home/temp/post_analysis/post_analysis_sqoop.sh $(date -d "1 day ago" +"\%Y-\%m-\%d")

原创 2020-09-01

scala无法传参问题

原创 写HDFS文件

用java向hdfs中写文件import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path; import java.io.*;import java.net.URI;import java.net.URISyntaxException;public class testCreate { public stati

原创 java.lang.NoClassDefFoundError: org/codehaus/janino/InternalCompilerException

解决Exception in thread “main” java.lang.NoClassDefFoundError: org/codehaus/janino/InternalCompilerException问题描述spark读取hdfs文件时候报错解决方法 <dependency> <groupId>org.codehaus.janino</groupId> <artifactId>janino</artifactI

原创 shell获取日期是当年中的第几周(中美式周)

实现语句#!/bin/shnum1=`date -d $1 +%U`num2=`date -d $1 +%V`echo "Start with Sunday as a week,"$1" week number is "$num1;echo "Start with Monday as a week,"$1" week number is "$num2;执行结果Start with Sunday as a week,2020-07-27 week number is 30Start with

原创 将‘MM/dd/yyyy‘格式的日期转化成‘yyyy-MM-dd‘形式

实现语句select from_unixtime(unix_timestamp('02/22/2015' ,'MM/dd/yyyy'), 'yyyy-MM-dd')查询结果'2015-02-22'

原创 hive 模糊匹配 join之locate

locate基本用法locate(string substr, string str[, int pos])hive> select locate(‘a’,‘abcd’), locate(‘b’, ‘abcd’), locate(‘f’, ‘abcd’),locate(‘20’, ‘222002’)结果: 1 2 0 3join模糊匹配在这里插入代码片...

原创 shell中获取时间戳及时间戳和日期字符串之间的转化

shell中获取时间戳的方式为：date -d “$currentTime” +%s$ date -d @1337743485671 “+%c”Sun 28 May 44361 12:41:11 PM CST如果要将一个字符串 日期 时间戳之间的转化，方式如下：1、得到当前时间currentTime=date “+%Y-%m-%d %H:%M:%S”``2、将日期转为时间戳currentTimeStamp=date -d “$currentTime” +%secho $currentTim

原创 用sqoop从mysql导入到hive中时Hive exited with status 1

错误详情错误原因1.安装了sqoop的服务器上安装了hive和hbase2.sqoop/hive/hbase都在etc/profile中配置了环境变量3.sqoop读取了hbase中的libthrift-xx.jar和sqoop中的jar包不匹配问题解决办法将etc/profile中的HBASE_HOME指向一个不存在目录然后source etc/profile...

原创 sql实现上抬一列或者下压一列

目的sql为逐行运算和分组运算,有时候需要本行数据和下一行(上一行)数据进行计算,如间隔多少天登录.元数据需要的算子lead() over()lead(start_dt , 1 , null) over(partition by guid order by start_dt)算子解释...

原创 hive中查看某一函数的具体使用方法描述

问题描述当不知道函数的具体名称或者函数的具体使用方法的时候需要进行查询.查询函数的具体名称show functions;查询函数的具体使用方法和作用desc function 加上函数名称;...

原创 SQL拼接字符串

目标有时候某些字段需要查询出来的数字前后拼接汉字,如"第n天" 其中n需要时查询出来的具体数字需要算子concat concat_wsselect concat('是','吗');结果select concat_ws('-','是','吗');结果实现代码select concat_ws('n','第','天');select concat_ws(cast(2 as...

原创 sql 取出一行中最大值对应的字段名

原始数据目标结果实现思路先把最大品类的字段添加到最后,作为值出现(sql中不能直接拿到字段名)在查询最大值对应的字段名添加最大值对应的字段名到值中selectshop,month,dz,fz,sp,case when dz>fz and dz>sp then 'dz' when fz>dz and fz>sp then 'fz' ...

原创 sql求各季度总和,已知每月数据

原始数据目标数据实现思路1.由于元数据中没有季度标记,需对数据处理,添加上正确的季度,2.按shop和季度进行分组 再进行聚合实现代码添加季度字段selectshop,month,dz,fz,sp,case when month between '2019-01' and '2019-03' then '1季度' when month between '20...

原创 sql中取一行最大值或者最小值

原始数据和目标数据实现SQL语句(最大)selectshop,month,greatest(dz,fz,sp) as maxfromtablename;实现SQL语句(最小)selectshop,month,least (dz,fz,sp) as minfromtablename;...

原创 idea快速找到maven中冲突的依赖,解决依赖冲突

问题原因:一个项目中需要jar包A和jar包B,而jar包A和jar包B都需要依赖jar包C,但A需要1.2.16版本的C,B需要1.2.17版本的C,这时候就可能会产生依赖冲突.大多数情况下不会对系统造成异常,但特殊条件下也会产生异常.idea2019版用pom.xml上右键->Diagrams–Show Dependencies这种方法解决时候连接线太长,不便于查找解决方法:添加...

原创 sql算子的执行顺序

sql的运算顺序： from t1 准备起始数据 join t2 拼接另一份数据，按某个拼接条件 where x>10 对数据过滤：按行过滤 group by y 对数据分组 having sum(x)>10 对数据过滤：按分组进行过滤 select ...

原创 Spark创建Dataframe的方法

通过RDD创建dataframe的方式1: 把rdd[T]变成 RDD[case class类型]就可以直接toDF通过RDD[tuple]创建dataframe通过RDD[JavaBean]创建dataframe通过RDD[scala bean] 创建dataframe通过 RDD[Row] 来创建dataframe1.通过RDD创建dataframeimport org.apa...

原创 DF保存到mysql中或者保存成.csv .json parquet文件

DataFrame保存到mysqlimport java.util.Propertiesimport cn.doit.sparksql.day01.utils.SparkUtilsimport org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}/** * @description:DataFrame保存到mysql **...

原创 spark用DSL形式和sql形式实现连续三天登录以上用户统计

- 这个问题可以扩展到很多相似的问题：连续几个月充值会员、连续天数有商品卖出、连续打滴滴、连续逾期。- 测试数据：用户ID、登入日期uid,dtguid01,2018-02-28guid01,2018-03-01guid01,2018-03-02guid01,2018-03-04guid01,2018-03-05guid01,2018-03-06guid01,2018-03-07...

原创 hadoop中实现两表结合 MapReduce中map过程获取操作的文件名

当MapReduce中map阶段同时多个文件时候为了区分数据来自哪个文件就要求获取该文件的文件名。补充map中重写setup方法//在map任务开始之前执行。表一order：order001,u006order002,u006order003,u005order004,u006order005,u003order006,u002表二：u001,senge,18,male,ang...

原创 eclipse中Map Set List 集合的排序

Java中集合分为 List Set Map三种。其中只有ArrayList具有排序功能，因此可以将其他两种集合转换成ArrayList集合进行排序。实现代码：public class sort {public static void main(String[] args) {//创建Map集合并添加值HashMap<String, Integer> hm = new Has...