- 博客(8)
- 收藏
- 关注
RSS订阅原创 自定义UDF函数和UDTF函数
文章目录1.创建maven项目，引入依赖2.自定义函数自定义UDF函数自定义UDTF函数hive调用jar包创造函数方法1：上传到linux下导入hive方法2：上传到hdfs上再导入hive测试问题：1.创建maven项目，引入依赖pom.xml在pom.xml文件中添加如下内容<properties> <project.build.sourceEncoding>UTF8</project.build.sourceEncoding> <hi
2021-03-01 09:28:05
562
1
原创 Hive实战之谷粒影音
Hive实战之谷粒影音尚硅谷的实战项目文章目录需求描述1．视频表2.用户表步骤1：ETLlog4j配置文件ETLUtils 工具类Mapper类Driver类报错步骤二、建表，导入数据建表导入数据步骤三、解题1.统计视频观看数Top102.统计视频类别热度Top103.统计出视频观看数最高的20个视频的所属类别以及类别包含Top20视频的个数附加：统计出视频观看数最高的20个视频的所属类别以及类别包含视频的个数4.统计视频观看数Top50所关联视频的所属类别(最热(总观看数最多))Rank5.统计每
2021-02-26 22:26:50
5798
转载 修改hdfs和yarn的pid文件位置
https://blog.youkuaiyun.com/qq_37408712/article/details/80954615由于启动hdfs和yarn时，它们的pid文件默认生成在/tmp下，/tmp内的数据一段时间后会被系统自动删除，而关闭hdfs和yarn又需要它们各自的pid文件因此为了避免hdfs长期未关闭后，使用脚本关闭hdfs和yarn时会报错no namenode/nodemanager/XXXX to stop 的情况。这里对pid文件的位置进行修改/tmp目录默认一个月清理一次临时文件.
2021-02-26 22:12:25
986
原创 java流处理应用汇总（持续更新）
写这篇文章完全是为了跟scalas的流处理做比对，看java中的streamAPI做的怎么样。（个人认为java想把stream做好还是很难的）
2021-01-20 15:05:07
347
1
原创 scala自定义运算符
问：如何让自己定义的运算符具有右结合性呢？像+=:一样通过隐式转换来实现自定义运算符需求：定义运算符 /% ，使得num1/%num2可以获取到对偶，两个元素分别为/的结果和%的结果//当使用Int调用一个Int中不存在的方法的时候，就会来这个类中寻找该方法implicit class RichInt(num1:Int){ //定义 /% 函数，返回一个对偶，两个元素分别为除和余的结果 def /%(num2:Int) = (num1/num2,num1%num2)}测试：prin.
2021-01-19 14:17:55
391
原创 java中String，数组，ArrayList三者之间的转换
今天在学习scala的集合的时候突然在想，在java中 ArrayList，数组，String三者之间如何进行简洁的转换，于是便花了点时间回忆了一下java的知识
2021-01-18 20:41:51
1000
6
转载 解决ssh免密登录失效问题
> 2021-01-17> 问题：在将flume上执行生成日志脚本的时候发现101主机无法ssh自身> 原因：/root目录权限问题！> 总结：不要随意递归修改整个目录的权限！
2021-01-17 13:18:42
1444
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人