- 博客(7)
- 收藏
- 关注
原创 通过位运算交换两个变量
1.什么是拉链表拉链表是用来记录历史的,记录一个事物从开始,一直到当前状态的所有变化的信息。2.适用场景(1)数据量比较大,每天全量同步一份快照数据浪费存储空间。(2)某些字段有状态变化,业务需求需要关注这些状态的变化。3.拉链表的设计和数据更新新增 start_date 和 end_date 字段(拉链开始字段和拉链结束字段),start_date表示该条记录的生命周期开始时间,e...
2019-07-24 14:35:18
1650
原创 Hugo博客自定义配置
问题:安装yarn后,在命令行输入yarn --version 报错Error: Could not create the Java Virtual Machine.输入yarn install ,报错:错误: 找不到或无法加载主类 install原因:环境变量冲突,在yarn的环境变量之前有默认的yarn环境变量。解决:打开环境变量设置界面,将yarn的环境变量上移到最前...
2019-07-20 15:52:04
4233
1
原创 将hdfs文件加载到hive分区表
shell脚本如下:如果目标表有分区,先清除分区alter table table_name drop partition (dt >= ‘20181211’);#!/bin/bashcu_date=`date +%Y%m%d`begin_date="20181211"while [ "$begin_date" -le "$cu_date" ];do echo "${b...
2019-01-11 18:05:27
5726
1
原创 将Hive查询的数据导出到本地
1.在Hive上执行: set mapred.reduce.tasks =50; insert overwrite directory '/user/hdfspath/part_0000' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select ...2.将hdfs上的文件拷贝到Linux本地: su...
2018-08-14 15:47:44
6857
原创 Hive数据导入Mysql
1.在Hive上查看表的存储路径:show create table tablename2.在hdfs上将路径复制到Linux本地: sudo -u user hadoop fs -get /.../part-00000 /localpath/part-000003.将拷贝下来的数据导入Mysql: mysql -h host -u user -P 3...
2018-08-14 15:28:45
1710
5
原创 Excel数据导入hive
Excel导hive: 1. hive建表; 2. 将Excel 导出另存为文本文档(制表符分隔); 3. 上传到Linux上:SecureCRT 可用rz命令; 4. 更改编码格式:文件路径上执行 piconv -f gb2312 -t UTF-8 a.txt > c.txt (解决中文乱码) 5. 导入Hive:hive上执行 load data local inpa...
2018-08-14 15:11:40
1388
原创 java求两个int类型平均数的正确姿势
JAVA求两个int类型平均数的正确姿势博主近日正在学习java基础,一天,正在看一本《JAVA从入门到精通》的书,java代码的清香不断飘来,心情愉悦 突然!一个问题进入了我的眼睛:求两个int类型的平均数? 呵,这还不简单吗 int a; int c=(a+b)/2; system.out.println(c); 三行代码,搞定。 如果
2018-01-11 16:04:54
1980
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人