Ranger的使用
1.问题:Hive无法添加UDF函数
2.解决办法:开通Ranger的权限
3. add jar hdfs://10.63.2.16:50070/user/udf/hive-udf-1.0.jar;
(hdfs://10.63.2.16:50070 这部分前缀也可不要,主要看哪种方式能找到本地文件)
总结:没有权限的时候,找到权限不足的用户,赋予权限
数仓的ods建设
- 统一文件的输出的日期标准:YYYYmmdd或者YYYY-mm-dd,不要夹杂,后期改动耗时间。
- 编码格式,UTF-8还是GB2312,防止乱码出现 文件类型,txt还是Excel,csv
- 确定文件首段是否为表字段,如果有的话,需要删除首行
- 中间的分割符号,推荐\u0001,其他的如,|等,都会存在文本里有,造成数据的错位。
- 数据字段的顺序:建表语句中无序的数据字段,也会导致数据是错位的,导入之后,就检查数据的正确,养成习惯
- 数据源有无数据,没有的话,统一和数据源提供伙伴交流 自身产品端的功能实现,Excel文件记载下来,一个个找产品端对,人人都是产品经理
- 基本组件的使用比如:Ranger权限的赋予,windows账号权限的开通
总结:以上都是博主用时间和精力踩坑出来的经验,懂的人点头,不以为然的伙伴在来坑的路上,祝成长愉快~