HIVE的基本使用03(数据插入导入导出)

三、Hive数据仓库应用之Hive数据操作语言(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7) Hive数据仓库应用实验之Hive数据操作语言,熟悉了解加载文件、基本查询、插入查询以及IMPORT和EXPORT的基本操作,WIN10系统,虚拟机软件VMware Workstation 15.5 PRO,Linux版本CentOS-6.7,超详细步骤配图详解,对新手友好。 阅读详情

--------------------------------------------数据导入--------------------------------------------------

1.直接向分区表中插入数据(强烈不推荐使用,会调用MR程序,非常慢)

insert into table score3 partition(month ='201807') values ('001','002','100');

2.通过load方式加载数据

load data local inpath '/export/servers/hivedatas/score.csv' overwrite into table score partition(month='201806');

3.通过查询方式加载数据

insert overwrite table score4 partition(month = '201806') select s_id,c_id,s_score from score;

4.多插入模式(from table提前 insert into A部分 select A部分 insert into B部分 select B部分)

将一张表分别插入到两张表里,拆表的时候可以使用

from score insert overwrite table score_first partition(month='201806') select s_id,c_id insert overwrite table score_second partition(month = '201806')  select c_id,s_score;

5.将查询的结果保存到一张表当中去

create table score5 as select * from score;

6.创建表时通过location指定加载数据路径(建表时就指定要加载的数据文件的位置)

create external table score6 (s_id string,c_id string,s_score int) row format delimited fields terminated by '\t' location '/myscore6';

此外部表因为指定了数据文件的位置,如果此时上传数据文件,score6就会有对应数据

7.export导出与import 导入 hive表数据(内部表操作)

先将techer的数据文件导出

export table techer to  '/export/techer';

再将导出的数据文件导入到techer2中,要保证表结构

import table techer2 from '/export/techer';

8.数据导出(了解)

1.将查询的结果导出到本地

insert overwrite local directory '/export/servers/exporthive' select * from score;

2.将查询的结果格式化导出到本地

insert overwrite local directory '/export/servers/exporthive' row format delimited fields terminated by '\t' collection items terminated by '#' select * from student;

3.将查询的结果导出到HDFS上(没有local)

insert overwrite directory '/export/servers/exporthive' row format delimited fields terminated by '\t' collection items terminated by '#' select * from score;

 4.Hadoop命令导出到本地(在hive命令窗口不用hdfs dfs直接dfs执行hadoop命令) 

dfs -get /export/servers/exporthive/000000_0 /export/servers/exporthive/local.txt;

5.hive shell 命令导出(本质命令是一样的只是用了命令和文件的方式去执行)

基本语法:(hive -f/-e 执行语句或者脚本 > file)

bin/hive -e "select * from myhive.score;" > /export/servers/exporthive/score.txt

此处管道>重定向直接将结果输出到/export/servers/exporthive/score.txt文件中。

Pyspark读取hive表数据进行处理,将结果插入到hive及hbase 文章目录前言一、基本思路1.创建参数初始化方法ReadConfig();2.创建一个数据处理类DataDeal():二、实现过程及说明1.初始化sparksession2.读取hive数据3.数据处理4.插入到hive5.插入到hbase主函数及参数处理总结 前言 项目需要使用pyspark将hive数据进行处理插入到hive表及hbase中,刚开始接触spark,记录了学习的过程帮助初学者。 一、基本思路 1.创建参数初始化方法ReadConfig(); 读取key:value格式的配置.. 阅读详情

相关推荐

Hive基本操作

在删除表的时候,内部表的元数据和数据会被一起删除, 而外部表只删除元数据,不删除数据。例如,table总bucket数为32,tablesample(bucket 3 out of 16),表示总共抽取(32/16=)2个bucket的数据,分别为第3个bucket和第(3+16=)19个bucket的数据。创建表分区,在Hive中创建一个分区表goods,包含goods_id和goods_status两个字段,字符类型为string,分区为cat_id,字符类型为string,以“\t“为分隔符。

2301_79969409的博客 1850

hive坑之insert overwrite local directory xx目录 select * from xx表

今天遇到了一个关于hive导出数据的一个坑,我想把数据导出到/demo下,没曾想竟然会把/demo下的所有数据给覆盖了。 来看一下把数据导出到路径深的目录,导入之前可以看到/demo目录下有如下内容。 insert overwrite local directory ‘/demo/test3/hive/result’ ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t’ select * from dept; 执行完以后查看文件result中

mo 8430

在Hive中如何向分桶表中插入数据

在Hive中如何向分桶表中插入数据 我们知道,对于分桶表,是不能使用 load data 的方式进行插入数据的操作的,因为load data 导入数据不会有分桶结构. 为了避免针对桶表使用load data 进行插入数据的操作,我们可以限制对桶表进行load操作, set hive.strict.checks.bucketing = true; 也可以在CM的hive配置项中修改此配置,当针对桶表执行load data操作时会报错。 针对文本数据,想要导入到Hive分桶

LLDDDS的博客 3323

INSERT OVERWRITE LOCAL DIRECTORY

最近在hive操作导数据时,碰到了一些问题,主要是通过INSERT OVERWRITE LOCAL DIRECTORY来进行数据的导出操作,现在主要说一下需要注意的事项: INSERT OVERWRITE LOCAL DIRECTORY ‘路径’ select * from datas; 该语句是将datas中的数据导出到本地的路径中。 INSERT OVERWRITE LOCAL DIRECTO...

为援不可图 8088

数据库领域Hive的数据导入导出方法汇总

在大数据时代,数据的处理和分析变得至关重要。Hive作为基于Hadoop的数据仓库基础设施,提供了类似于SQL的查询语言HQL,方便用户进行数据的存储和查询。然而,在实际应用中,我们常常需要将外部数据导入到Hive中进行分析,或者将Hive中的数据导出到其他系统进行进一步处理。本文的目的就是全面汇总Hive的数据导入导出方法,涵盖从常见的文本文件、CSV文件到其他数据库的数据导入,以及将Hive数据导出到文件系统、其他数据库等多种场景。

2502_91592937的博客 901

【大数据Hive】hive 加载数据常用方案使用详解

hive 加载数据常用方案使用详解

congge_study的博客 7187

Hive基本使用(2)

hive dml

qq_37232843的博客 3427

Python爬虫:无账号无限制获取企查查信息

无限制企查查爬虫 ​通过网上爬虫获取了全国所有企业,然后就需要补充企业信息,首先想到的就是企查查,启信宝等专业网站,最终选择了企查查,尝试了多种方法: 1、selenium爬虫,绕过企查查的登录验证,但账号和IP限制太大,最终放弃 2、通过requests直接请求+cookies,遇到了cookie有效期和限制问题 不断的尝试和修改参数,最终发现一种有效方式selenium+ wep 只需要IP代理,不需要账号,没有限制,因为是没有登录,拿到的信息有限,能展示的都能获取。 一、初始化..

攻城狮的家园 1万+

Hive基本操作——Hive表中加载数据

1、hive表中加载数据 直接向分区表中插入数据 create table score3 like score; insert into table score3 partition(month ='201807') values ('001','002','100'); 通过查询插入数据 通过load方式加载数据 load data local inpath '/export/servers...

Fenggms的博客 917

使用Termux在Android设备上编译运行SpecCPU2006

SPEC2006搭配Termux,竟然还能这么玩?!

菜菜的菜园子 2960

基于Zemax的干涉仪仿真——Fizeau球面干涉仪

最近在用Zemax仿真干涉仪,在这之前查资料都是关于一些平面干涉仪的仿真,很少有关于Fizeau型的,尤其是球面干涉仪的仿真,看到很多关于这方面的问题回复都说利用多重结构仿照Zemax马赫-泽德干涉仪去做,但是也没有具体的过程,因此在这里分享一下我仿真的干涉仪步骤方法,具体是利用多重结构完成的仿真。

weixin_46657737的博客 6407

hive insert overwrite directory 问题排查

文章目录一、问题描述二、问题定位三、问题总结四、解决方案五、一些题外话 一、问题描述 线上某条hive语句出现错误,hive语句如下 insert overwrite directory '/tmp/data_works_server/41109/904723/1547802020/' STORED AS ORC select 20190117, device_model, meios_vers...

u013332124的专栏 3万+

历年北京理工大学复试专业综合题

。

A place to record sth. 2万+

在工作中往hive插入数据过程中发现的一些坑

前言:近期在工作中往hive插入数据的过程中,发现了一些坑,它们也许是Hive提倡的比关系数据库更加自由的体现(同一时候引来一些问题)。也许是一些bug。总而言之,这些都须要使用Hive的IT人员需要额外注意,希望大家注意。 一、数据导入的六种方式 1、加载本地文件到hive表 2、加载hdfs文件到hive中 3、加载数据覆盖表中已有的数据 4、创建表时通过select加载 create table if not exists default.dept_cats as select * from

李文良的博客 17万+

Dia 使用说明

简述 在linux上面能找到dia这个工具还是挺幸运的,因为之前画流程图总是使用ubuntu默认的word工具 在里面画图,感觉流程图使用起来麻烦,并且视觉效果真的不好看。 自从使用Dia后,感觉至少画起来流程图会变得越来越标准了。但是Dia也存在问题,就是使用的文档很少,使用中遇到为后,查起来比较费劲,但是至少问题不是很多,所以使用中遇到的几点问题我就记下来,和大家分享,加快大家的开发和文档整理能力。 我会按照遇到的问题来说,不存在使用的先后顺序。 1. Dia 去掉背景中的线条 首先去点那个大一点的蓝色

linan101的博客 4926

【招商银行笔试题汇总】[全网首发]2024-04-23-招商银行春秋招笔试题-三语言题解(CPP/Python/Java)

🏳️ 难难难!!!本次招商银行的笔试算是今年春招最难的场次之一了K小姐所在的公司有 NNN 个部门,编号从 111 到 NNN。由于公司网络系统比较老旧,对于同一个数据 ddd,不同部门记录的值可能不同。数据 ddd 在各部门被记录为 d1,d2,...,dNd_1, d_2, ..., d_Nd1​,d2​,...,dN​。公司提出可以通过会议来实现数据的一致性。每次会议会让相邻编号范围内的所有部门一起参加,如果有超过半数的部门能够对数据 ddd 的值达成共识,那么在此次会议后,参与会议的所有部门会将

春秋招笔试突围 3462

hive插入多条数据sql_Hive的基本操作

内容提要l Hive及beeline的命令行操作l jdbc操作Hivel Hive函数 3.1 Hive命令操作3.1.1 Hive的基本操作我们长久以来习惯于传统的关系型数据库,并且结构化查询语言(SQL)相对来说也比较容易学习,那么能否将类似于关系型数据库的架构应用到Hadoop文件系统,从而可以使用类SQL语言查询和操作数据呢?Hive应运而生。Hive提供了一个被称为Hive查询语言(H...

weixin_33376046的博客 2495

AIO-1126-JD4(RV1126)蓝牙通讯(BLE)

AIO-1126-JD4采用了正基科技推出的一款集成WiFi、蓝牙功能的模组AP6236,支持高速(HS)功能的蓝牙 4.0,集成了 1.5 类功率放大器(PA),并支持低功耗蓝牙(BLE)。提到正基就不得不提下博通。博通和正基是芯片技术与模块制造方面的合作关系,正基科技是中国台湾的公司,在无线通信模块领域有一定的市场份额,博通则是全球领先的有线和无线通信半导体公司。正基把包含博通关键IP的核心芯片和自家的射频部分等封装在一起,即SIP(System In Package)。

w1820020635的博客 1121

hive分区表插入/导入数据

数据库分区的主要目的是为了在特定的SQL操作中减少数据读写的总量以缩减响应时间,主要包括两种分区形式:水平分区与垂直分区。水平分区是对表进行行分区。而垂直分区是对列进行分区,一般是通过对表的垂直划分来减少目标表的宽度,常用的是水平分区. 1. hive建立分区表 create external table if not exists tablename( a string, b string) partitioned by (year string,month string) row format deli

ChengYanan的博客 1万+

MATLAB 基于深度学习的步态识别算法仿真

步态识别是一种通过分析人体行走方式来识别身份的技术。基于深度学习的步态识别算法利用卷积神经网络 (CNN) 提取步态特征,并通过分类器进行身份识别。基于深度学习的步态识别算法是实现身份识别的重要手段,具有广泛的应用前景。MATLAB 提供了丰富的工具和函数,可以方便地进行算法仿真和性能评估。

走向CTO的路上... 518

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

如何在hive分区表插入数据

手动在hive表插入数据时,需特别注意两点: 1、hive表不可以指定字段插入 2、如果hive表是分区表,插入数据时,需指定分区 下面以分区表为例,插入数据: 查看表结构 hive> show create table acct_wt_user_avg_stock_hold_days; OK CREATE EXTERNAL TABLE `acct_wt_user_avg_stock_hol...

ck3207的博客 4万+

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

Hive的基本使用与导入导出数据

Hive的数据导入导出 从本地文件系统中导入数据到Hive表; 从HDFS上导入数据到Hive表; 从别的表中查询出相应的数据并导入到Hive表中; 在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。 1、从本地文件系统中导入数据到Hive表先在Hive里面创建好表 如下: hive>create table wyp(idint,namestring,ageint,telstring)ROW FORMAT DELIMITED FIEL..

笑出弧度的程序员的博客 557

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

Hive数据表导入导出操作

hive针对数据表导入导出操作

super_mochi1 2284

hive学习之数据插入操作

1、插入于法 insert into 和insert overwrite INSERT INTO TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement; INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...) [IF NOT EXISTS]] s

qq_29983883的博客 1万+

如何构建Hive数据仓库Hive 、数据仓库的存储方式 以及hive数据的导入导出

官方定义:数据仓库是面向主题的、集成的、不可更新的、随时间的变化而不断变化的,这些特点决定了数据仓库的系统设计不能采用同开发传统的OLTP数据库一样的设计方法。(1)安装hive常规配置,这里不记录安装过程唯一需要注意的地方是有一个hive.metastroe.dirname属性需要配置配置的值是hive元数据的存储路径,一般为hdfs文件系统的路径。安装完成后,需要在mysql中建立配置中指定的数据库并初始化Hive源数据库(2)安装完成之后就可以启动hive。

努力!加油!! 2083

大数据基础之Hive——Hive中用load、insert装载数据以及插入文件

Hive装载数据方式装载数据:LOAD移动数据装载数据:INSERT表插入数据-1装载数据:INSERT表插入数据-2Hive数据插入文件Hive数据交换 - IMPORT/EXPORT 装载数据:LOAD移动数据 原始数据被移动到目标表/分区,不再存在于原始位置 LOCAL:指定文件位于本地文件系统 ;OVERWRITE表示覆盖现有数据 使用方法: LOAD DATA LOCAL INPATH '/home/dayongd/Downloads/employee.txt' OVERWRITE INTO T

Clozzz的博客 1070
上一篇: HIVE的基本使用02(表的创建,维护,加载数据)
下一篇: HIVE的基本使用04(数据查询,以及优化)
RZH_long
博客等级 码龄6年 17粉丝 51原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值