2018年上班第二天

今天是18年第二个工作日,总觉得要开始一些以前没有做过的事,今天写博客的意愿特别强烈,就这样开始吧~

今天工作之余想起了maven,动手装了起来

1、首先,确保jdk已安装且正确的配置环境变量,maven支持jdk1.5及以上版本

dos 下输入java -version可以查看安装是否成功及版本

2、第1步OK后,在maven官网下载http://maven.apache.org/download.cgi

下载后,解压即可,不需要安装,可以把解压后的包放在准备目录下,我直接放在的D盘

然后是配置环境变量

新增个环境变量“MAVEN_HOME”或“M2_HOME”都可以,不知道为什么好几个贴子都会出现这个M2

这个变量存放maven包的路径,比如我的是MAVEN_HOME=D:\apache-maven-3.5.2

然后PATH变量中加入%MAVEN_HOME%\bin(PS:bin前忘了加\,以致后续怎么都识别不了mvn命令)

环境变量配置完成后

dos下输入mvn -v即可验证是否成功




我想编写一个udaf,实现: 假设用户表记录 工号(empid) 名称(name),自然日(date),如果上班就有数据 在hive中编写udaf,要求压缩每个员工2018的全部考勤记录分别压缩在2进制数字里, 1表示工作,0表示没有工作最后存储为100010000......00000111这样的格式, 第一位代表第一天,第二位代表第二天...第N位代表第N天,最后存入user_info_zip表里 存入zip_record里,3个字段,empid,name,zipDates(上班日期压缩) 表 user_info_zip(压缩表) empid name zipDates 111 张三 0001...000 222 李四 0000...001 表B (原始表) empid name date 111 张三 '2018-01-03' 222 李四 '2018-01-05' 代码如下: package com.example.hive.udaf; import org.apache.hadoop.hive.ql.exec.UDAF; import org.apache.hadoop.hive.ql.exec.UDAFEvaluator; import org.apache.hadoop.io.Text; import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.BitSet; /** * 将员工2018出勤日期压缩为二进制字符串的UDAF * 每位代表一天:1=工作,0=未工作 */ public class AttendanceCompressor extends UDAF { public static class Evaluator implements UDAFEvaluator { // 2018总天数 private static final int DAYS_2018 = 365; // 2018第一天的时间戳 private static final long FIRST_DAY = getDay("2018-01-01"); // 使用BitSet存储每天的出勤状态 private BitSet attendance; // 初始化评估器 @Override public void init() { attendance = new BitSet(DAYS_2018); } // 处理每行输入的日期 public boolean iterate(Text dateStr) { if (dateStr != null) { long day = getDay(dateStr.toString()); // 只处理2018的有效日期 if (day >= 0 && day < DAYS_2018) { attendance.set((int) day); // 设置对应位为1 } } return true; } // 返回部分聚合结果 public BitSet terminatePartial() { return attendance; } // 合并多个部分结果 public boolean merge(BitSet other) { if (other != null) { attendance.or(other); // 按位或合并 } return true; } // 返回最终二进制字符串结果 public Text terminate() { StringBuilder sb = new StringBuilder(DAYS_2018); // 生成365位二进制字符串 for (int i = 0; i < DAYS_2018; i++) { sb.append(attendance.get(i) ? '1' : '0'); } return new Text(sb.toString()); } // 计算日期相对于2018-01-01的天数偏移 private static long getDay(String dateStr) { try { long time = new SimpleDateFormat("yyyy-MM-dd").parse(dateStr).getTime(); return (time - FIRST_DAY) / (24 * 60 * 60 * 1000); } catch (ParseException e) { return -1; // 日期格式错误时返回-1 } } } } 我这样写对吗?只需要告诉我对不对,最终能不能使用这个函数即可
最新发布
07-03
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值