hive概要、数据类型、列的分割符

HIVE导出到HDFS没有分割符解决方案 困扰了我一天的问题,假设有一个表,要对他的数据进行一些处理,处理后将他直接导出到HDFS上,但是导出后查看数据会发现,没有分隔符分开都是密密麻麻的字母数字。 之后查找资料后再添加 Insert overwrite directory ‘\dir’ Row format delimited Fileds terminated by ‘\t’ Select *from table_name; 阅读详情

hive概要、数据类型、列的分割符

什么是hive

  • 构建在Hadoop之上的数据仓库
  • Hive定义了一种类SQL查询语言:HQL(类似SQL但不完全相同)
  • 通常用于进行离线数据处理(采用MapReduce)
  • 底层支持多种不同的执行引擎(Hive on MapReduce、Hive on Tez、Hive on Spark)
  • 支持多种不同的压缩格式、存储格式以及自定义函数(压缩:GZIP、LZO、Snappy、BZIP2… ; 存储:TextFile、SequenceFile、RCFile、ORC、Parquet ; UDF:自定义函数)

官网上的介绍

  • Hive 数据仓库软件为分布式存储的大数据集上的读、写、管理提供很大方便,同时还可以用SQL语法在大数据集上查询。
  • 是一种易于对数据实现提取、转换、加载的工具(ETL)的工具。可以理解为数据清洗分析展现。
  • 它有一种将大量格式化数据强加上结构的机制。
  • 它可以分析处理直接存储在hdfs中的数据或者是别的数据存储系统中的数据,如hbase。
  • 查询的执行经由mapreduce完成。
  • hive可以使用存储过程
  • 通过Apache YARN和Apache Slider实现亚秒级的查询检索。

hive的安装模式

  1. hive的单机安装(使用derby做元数据存储)
  2. hive的独立安装模式(使用mysql做元数据存储)
  3. hive的远程安装模式

hive的数据类型

1.基本数据类型
类型描述示例
TINYINT1字节 有符号整数1
SMALLINT2字节 有符号整数1
INT4字节 有符号整数1
BIGINT8字节 有符号整数1
FLOAT4字节 单精度浮点数1.0
DOUBLE8字节 双精度浮点数1.0
BOOLEANtrue/falseTRUE
STRING字符串‘a’,”a”
BINARY字节数组
TIMESTAMP精度到纳秒的时间戳132550245000,‘2016-01-01 03:04:05.123456789’

注意:新增数据类型TIMESTAMP的值可以是:

  • 整数:距离Unix新纪元时间(1970年1月1日,午夜12点)的秒数
  • 浮点数:距离Unix新纪元时间的秒数,精确到纳秒(小数点后保留9位数)
  • 字符串:JDBC所约定的时间字符串格式,格式为:YYYY-MM-DD hh: mm: ss: fffffffff

注意BINARY数据类型用于存储变长的二进制数据。

2.复杂数据类型
类型描述示例
ARRAY一组有序字段,字段的类型必须相同array(1,2)
MAP一组无需的键值对,键的类型必须是原子的,值可以是任何类型。同一个映射的键的类型必须相同,值的类型也必须相同。map(‘a’,1,’b’,2)
STRUCT一组命名的字段,字段的类型可以不同struct(‘a’,1,1,0)
数据类型的例子

创建员工表,使用默认分割符

CREATE TABLE employee(
      name STRING,
      salary FLOAT,
      leader ARRAY<STRING>,
      deductions MAP<STRING,FLOAT>,
      address STRUCT<street:STRING,city:STRING,state:STRING,zip:INT>
      )
      ;

列的分割符

HiveQL文本文件数据编码表

类型描述
\n对于文本文件来说,每行都是一条记录,因此换行符可以分割记录
^A(Ctrl+A)用于分隔字段(列)。在CREATE TABLE语句中可以使用八进制编码\001表示
^B用于分隔ARRARY或者STRUCT中的元素,或用于MAP中键-值对之间的分隔。在CREATE TABLE语句中可以使用八进制编码\002表示
^C用于MAP中键和值之间的分隔。在CREATE TABLE语句中可以使用八进制编码\003表示

例子

CREATE TABLE employee(
  name                    STRING,
  salary                   FLOAT,
  subordinates         ARRAY<STRING>,
  deductions            MAP<STRING,FLOAT>,
  address                  STRUCT<street:STRING,city:STRING,state:STRING,zip:INT>
  )
ROW FORMAT DELIMITED  
FIELDS TERMINATED BY '\001'  
COLLECTION ITEMS TERMINATED BY '\002'  
MAP KEYS TERMINATED BY '\003'  
LINES TERMINATED BY '\n'  
STORED AS TEXTFILE; 

说明:

  • **[ROW FORMAT DELIMITED]**关键字,是用来设置创建的表在加载数据的时候,支持的列分隔符;

  • FIELDS TERMINATED BY ‘\001’ ,字符\001是A的八进制数。这个子句表明Hive将使用A字符作为列分隔符。

  • COLLECTION ITEMS TERMINATED BY ‘\002’ ,字符\002是B的八进制数。这个子句表明Hive将使用B字符作为集合元素的分隔符。

  • MAP KEYS TERMINATED BY ‘\003’ ,字符\003是C的八进制数。这个子句表明Hive将使用C字符作为map的键和值之间的分隔符。

  • LINES TERMINATED BY ‘\n’ 、STORED AS TEXTFILE这个两个子句不需要ROW FORMAT DELIMITED 关键字

  • Hive目前对于LINES TERMINATED BY…仅支持字符‘\n’,行与行之间的分隔符只能为‘\n’。

WinInet 编程:MFC 中的互联网编程 WinInet 是一套 Windows API(应用程序编程接口),用于实现互联网应用程序的网络通信和数据传输。WinInet 抽象了底层网络协议和硬件细节,为程序员提供了一套统一的接口,简化了互联网应用程序的开发过程。WinInet 广泛应用于各种 Windows 应用程序中,包括网页浏览器、下载管理器、网络游戏等。MFC WinInet 是一套强大的类库,为 MFC 程序员提供了在 Windows 平台上实现互联网通信和数据传输的工具。 阅读详情

相关推荐

Quartus II 13.1 出现 ‘‘can‘t find design entity <Filename>‘‘ 问题的解决方法

Quartus II 13.1 出现 ''can't find design entity '' 问题的解决方法

qq_62076686的博客 1万+

sed替换^A(\001),\002,\003等特殊字符

替换方式1. 使用编码替换例子: 替换掉文中的^A字符 sed -i "s/\x01/\t/g" test.txt2. 符号替换其中 “^A” 这个符号 ,使用组合按键“ctrl+V+A”获得sed -i "s/^A/\t/g" test.txt 码表“`

2万+

硬件手册——PT100精密测温电路

PT100精密测温电路 一、需求分析 根据题目要求为:测温范围为0-100℃、测温精度要求为±1℃。由于铂电阻具有精度高、性能可靠、稳定性好的特点,且铂电阻的电阻相对变化率与温度的关系曲线线性度最好,故选择铂电阻作为敏感元件。而在国标中,铂电阻有几种不同的标准,如PT100、PT1000。分别对应着0摄氏度下铂电阻的阻值为100R和1000R,由于需要考虑铂电阻的自发热问题,所以尽量选择阻值小的铂电阻,故选择PT100为最终型号。 二、电路设计 2.1 热电阻接法 热电阻测温电路有多种接法,其中三线制会导致

weixin_41655430的博客 5万+

用Linux sed命令替换掉行里的不可见字符\001,\002

最近做hadoop数据统计,数据里面很多都是\001\002等不可见的字符分隔的,这样就没法直接看数据,这个时候需要给里面的这些不可见字符替换掉。 \001\002在vi里是^A,^B,所以我们可以用Linux的sed命令替换一下。 sed -e 's/^A/\t/g'  filename 附件: [root@www ~]# sed [-nefr] [动作] 选项与参数:

beagreatprogrammer的专栏 1万+

【论文阅读1】机理引导的残差学习用于电池全生命周期状态监测 | Nature Communications

本文提出了一种机理引导的残差学习框架,用于提升电池全生命周期内荷电状态(SOC)和健康状态(SOH)的监测精度。该方法融合等效电路模型的先验知识与机器学习,设计了修正模型和补偿模型两种通用框架。实验验证表明,该方法在三种不同类型电池数据集上均表现出色,SOC和SOH估计误差较传统方法降低50%以上,且在未见工况下仍保持良好外推能力。模型具有强鲁棒性,在减少训练数据量和降低采样频率时性能稳定,并兼具物理可解释性。该框架无需离线测试和运行中校准,为电池安全监测提供了有效解决方案。

qq_21843433的博客 617

详解卷积神经网络(CNN)

卷积神经网络(Convolutional Neural Network, CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。

qq_25762497的博客 25万+

ASCII码表

ascii编码 Decimal Octal Hex Binary Value ------- ----- --- ------ ----- 000 000 000 00000000 NUL (Null char.) 001 001 00

我不入地狱,谁入地狱 1142

OGG故障指南:OGG-01163 Bad column length (xxx) specified for column

OGG-01163 Bad column length (xxx) specified for column AAA in table OWNER.TABLE, maximum allowable length is yyy

qqqyyy0422的博客 719

002运算符\方法\流程控制

1.运算符 1.1概述 运算符用于连接表达式的操作数,并对操作数执行运算. Java中的运算符分为五种类型:算数运算符\赋值运算符\关系运算符\逻辑运算符和三目运算符 单目运算符只有一个操作数,双目运算符有两个两座书,三目运算符则有三个操作数 位运算涉及到二进制的运算,在java程序中运算不是很多. 1.2运算符号自查表1.2.1算数运算符之自增自减运算符 a是操作数,++是自增运算符,–是自减运算符,自增和自减运算符即可以放在变量之前也可以放在变量之后,例如:a++++a\a----a等等 自增:++:将

m0_55284524的博客 177

PLC与变频器联动控制:从开关量、模拟量到通讯的接线与编程实战

在工业自动化系统中,电机调速控制是核心需求之一,其关键在于实现可编程逻辑控制器(PLC)与变频器之间的可靠联动。其基本原理是通过PLC输出控制信号,由变频器接收并驱动电机按设定速度运行。这项技术的核心价值在于实现电机的软启停、精确调速与节能控制,广泛应用于风机、水泵、传送带及精密张力控制等场景。其中,开关量控制以其接线简单、抗干扰能力强的特点,成为基础且可靠的方案;而模拟量控制则能实现无级平滑调速,满足更高精度的工艺要求。本文以西门子、三菱等主流品牌为例,深入解析了这两种主流控制方式的硬件接线、参数设置与梯

1271

003、高通骁龙Spectra ISP架构深度解析:IFE/BPS/IPE流水线与Chromatix调优实战

摘要: 本文深入解析高通骁龙Spectra ISP架构,重点剖析IFE、BPS、IPE三阶段的流水线协作机制与Chromatix调优实战。通过夜景预览"水波纹"案例,揭示HDR对齐与TNR运动估计的关联性问题,指出ISP调优需关注模块间的时序与带宽约束。文章详解各模块核心功能:IFE负责RAW域处理(HDR合成/校正),BPS专注降噪与细节增强,IPE进行YUV域精处理。针对Chromatix调优,强调参数与寄存器映射关系,并给出LSC网格密度、TNR运动灵敏度、LTM光晕等典型问题的解决方案。最后提出实用

zzfmlxs的博客 233

Hive--字段中包含列的分割符

问题 列的分隔符不固定,一行数据中出现了多种列的分隔符【几乎很少,半结构化数据,跟数据生成格式有关】 name-age,sex phone address 列的分隔符固定,但是字段中包含了列的分割符【这种情况会比较多】 2019-08-28 00:03:00 tom 解决方案 使用正则加载数据,将非结构化或者半结构化的数据,经过ETL转为结构化数据 实现案例 创建数据 vim /export/datas/regex.txt 2019-08-28 00:03:00 tom 2019-08

qq_46893497的博客 1342

【逐函数讲解ORB_SLAM3源码】获取普通帧率、关键帧、IMU数据

获得imu的旋转 mRwc * mImuCalib.mTcb.rotationMatrix(); Sophus::SE3 mTwc 创建ORB_SLAM3系统 Create SLAM system. It initializes all system threads and gets ready to process frames. ORB_SLAM3::System SLAM(argv[1],argv[2],ORB_SLAM3::System::IMU_RGBD, true, 0, file_nam

小秋 AI SLAM 入门实战教程 1248

hive中几种分割符

分隔符 \n 每行一条记录 ^A 分隔列(八进制 \001) ^B 分隔ARRAY或者STRUCT中的元素,或者MAP中多个键值对之间分隔(八进制 \002) ^C 分隔MAP中键值对的“键”和“值”(八进制 \003) 用到了系统默认分隔符。通常下面2中情况我们需要需要用到分隔符 1,制作table的输入文件,有时候我们需要输入一些特殊的分隔符 2,把hiv...

胡八一的博客 1万+

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

Hive学习总结之列分割符和行分割符的使用

我们在Hive中在创建表时,一般会根据导入的数据格式来指定字段分隔符和列分隔符。一般导入的文本数据字段分隔符多为逗号分隔符或者制表符(但是实际开发中一般不用着这种容易在文本内容中出现的的符号作为分隔符),如果我们使用了逗号。或者分号这类分割符,一旦文本中存在,那么就会丢失数据。当然也有一些别的分隔符,也可以自定义分隔符。有时候也会使用hive默认的分隔符来存储数据。 如上可以看出hive默认的列分割类型为org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe,

weixin_38924500的博客 1862

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

Hive多字符分割列

1 简介 此手册应用于hive建表时指定列按照多字段分割的情景。 2 准备 2.1 环境说明 hive版本: 1.1.0-cdh5.4.7 3 使用 3.1 使用说明 方法一)通过org.apache.hadoop.hive.contrib.serde2.RegexSerDe格式的serde。 1) 建表语句 #指定以^|~作为分隔符 CREATE TABlE tableex3

zhengrunjian的博客 4834

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Hive默认分割符、存储格式与数据压缩

Hive支持的存储数据的格式主要有:TEXTFILE(行式存储) 、SEQUENCEFILE(行式存储)、ORC(列式存储)、PARQUET(列式存储)。企业中使用ORC较多。SNAPPY压缩在企业中使用较多。Hive的数据压缩格式通过。

Java/Python大数据随笔 1480

hive的三种复合数据类型array、map、struct以及自定义分割符示例

Hive的数据类型主要有int、boolean、date、array、map、struct等,在这只描述array,map,struct三种。 1.array(等同于数组,可以使用下标来操作相应的元素) 默认分割符下的array,示例如下: 有一群学生,id,name,hobby(多个) create table t3_arr( id int, na

dsl200970的博客 8508

hive多个字节分割符

hive0.14版本之前默认只支持单个字符。0.14版本以后提供序列化类支持多个字节。 hive官网描述: https://cwiki.apache.org/confluence/display/Hive/MultiDelimitSerDe 例子如下: CREATE TABLE test ( id string, hivearray array, hivemap map) ROW

An342647823的专栏 1637

入门篇2-Hive常用文件格式、压缩方式、分割符

压缩特性运用得当能提高性能,但运用不当也可能降低性能。CPU集型的job,少用压缩。IO密集型的job,多用压缩。

Aronup 476

hive 复合数据类型的分割符

1 描述 数据类型 描述 语法示例 *STRUCT* 和c语言中的struct类似,都可以通过“点”符号访问元素内容。例如,如果某个列的数据类型是STRUCT{first STRING, last STRING},那么第1个元素可以通过字段.first来引用。 struct() MAP MAP是一组键-值对元组集合,使用数组表示法可以访问数据。例如,如果某个列的数据类型是MAP...

andy的博客 557

Hive增加列,调整列顺序,属性名等操作

hive添加字段到指定位置 先添加字段到最后位置再移动到指定位置

ImezZ 7881

一文介绍Hive数据类型

一文介绍Hive数据类型

优快云2022博客之星Top39;华为云博主7&,优快云、稀土掘金、微信公众号、阿里云开发者社区、腾讯云社区、博客园、知乎、51CTO同名博主WHYBIGDATA; 1300

hive 数据类型 java_Hive 的数据类型

Hive 的基本数据类型与 Java 类似Hive的数据类型Java是数据类型长度TINYINTbyte1byte整数SMALINTshort2byte整数INTint4byte整数BIGINTlong8byte整数BOOLEANboolean布尔值FLOATfloat单精度浮点数DOUBLEdouble双精度浮点数STRINGstring字符串TIMESTAMP时间类型BINARY字节数组Hiv...

weixin_29840657的博客 303

hive数据清洗过程csv表格字段出现分割符逗号的解决方案

在创建表进行数据清洗的过程中 csv表格字段中可能存在csv表格的分割符号 ,如图 此时如果还是按照原来的写法: %hive create external table if not exists ext_transaction_details( transaction_id string, customer_id string, store_id string, price string, product string, `date` string, time string ) row format s

小白 1931

hive中的数据类型

hive中的数据类型: 下表列举了Hive所支持的基本数据类型: 数据类型: 基本数类型: tinyint/smallint/int/bigint: 整数类型 float/double: 浮点数类型 boolean:布尔类型 string:字符串类型 复杂数据类型: Array:数组类型,由一系列相同数据类型的元素组成Map:集合类型,包含key->value键值对,可以通过key来访问元素Struct:结构类型,可以包含不同数据类型的元。这些元素可以通过"点语法"的方式来得到所需要的元素 时间类型:

qq_42870851的博客 5230
上一篇: MapReduce自定义分区器partitioner
下一篇: hive数据库操作、数据表操作、数据的导入和导出命令
lds_include
博客等级 码龄11年 40粉丝 97原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值