十天搞定大数据
最短的时间学最多的bigdata
bijack
走在资深大数据的道路上
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
linux系统时间和硬件时间的同步解决
1.系统时间和硬件时间不准确影响了程序的一些数据展示 2.修改系统时间需要在 /etc/sysconfig/clock文件中输入ZONE="America/Los_Angeles" 3.在.bash_profile中修改为 TZ='Asia/Shanghai'; 4.source文件 source .bash_profile 5.执行命令: 硬件时间去同步系统时间 hwclock --systohc 或者 系统时间去同步硬件时间 hwclock --hctosys 来使两个时间保持一致 6.nt原创 2021-10-25 23:14:28 · 3374 阅读 · 0 评论 -
hive中数据存储格式
Hive支持的存储数的格式主要有:TEXTFILE(行式存储) 、SEQUENCEFILE(行式存储)、ORC(列式存储)、PARQUET(列式存储)。 1 行式存储和列式存储 [外链图片转存失败(img-dOuxrqGC-1567955011190)(assets/1565922054140.png)] 上图左边为逻辑表,右边第一个为行式存储,第二个为列式存储。 行存储的特点: 查询满足条件的...原创 2019-09-08 23:09:17 · 544 阅读 · 0 评论 -
导入数据到Hive表中的常用四大方式
查阅资料发现大家往表中添加数据多少有误,在此献上常用的导入方式 1.从本地系统向hive表添加数据 : load data local inpath "filePath" into table 表名 ; 本质上执行一条: hdfs dfs -put 本地路径 hdfs对应数据表放置的路径(表加载路径下) 2.从hdfs向hive表添加数据: ...原创 2019-09-08 23:30:58 · 1980 阅读 · 0 评论 -
Sqoop:从0到1(简介安装和使用)
Sqoop工作机制是将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。 Hadoop生态系统包括:HDFS、Hive、Hbase等 RDBMS体系包括:Mysql、Oracle、DB2等 Sqoop可以理解为:“SQL 到 Hadoop 和 Hadoop 到SQL”。 简介之后就到了安装环节 配...原创 2019-09-13 09:47:12 · 200 阅读 · 0 评论 -
Sqoop:Hadoop生态体系和RDBMS体系之间传送数据的实战
一: Sqoop将数据从关系型数据库导入到大数据平台: 首先在本地Mysql中建一个表 create table customertest(id int,name varchar(20),last_mod timestamp default current_timestamp on update current_timestamp); 往数据库中添加数据 insert into custome...原创 2019-09-13 09:47:17 · 270 阅读 · 0 评论
分享