hive中修改序列化格式分隔符

SerDe

SerDe 是 Serialize/Deserilize 的简称,目的是用于序列化和反序列化。序列化的格式包括:

  • 分隔符(tab、逗号、CTRL-A)
  • Thrift 协议

反序列化(内存内):

  • Java Integer/String/ArrayList/HashMap
  • Hadoop Writable 类
  • 用户自定义类
查看表结构方法有两种:
  1. desc tableName
  2. desc formatted tableName
修改表中的序列化分隔符:
hive> alter table store set SERDEPROPERTIES('field.delim'='\t');

参考资料:
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-AlterTableProperties


### Hive 使用多字符分隔符的方法 #### 方法一:使用特殊单字符替代多字符分隔符 尽管 Hive 默认仅支持单一字符作为字段间的分隔符号,但可以通过选用一个较少见的单字节符号充当实际应用中的“多字符”效果。例如,利用 `^A` 或其他少见ASCII码字符代替常见的逗号或制表符。 ```sql CREATE TABLE example_table ( field1 STRING, field2 STRING, field3 STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001'; -- 使用 ASCII 控制符 SOH (^A),即十六进制 0x01 表示 ``` 这种方法简单易行,但在某些情况下可能不够灵活[^2]。 #### 方法二:借助 SerDe 处理复杂分隔逻辑 对于确实需要处理由多个连续特定字符组成的分隔情况,则推荐采用自定义序列化器/反序列化器(SerDe)的方式实现更精细的数据解析功能。这种方式允许通过正则表达式精确描述输入文件结构并据此完成数据加载操作。 下面是一个具体实例展示如何创建一张以双冒号 (`::`) 分割各列值得表格: ```sql CREATE TABLE users ( username STRING, password STRING, nickname STRING ) ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe' WITH SERDEPROPERTIES ( "input.regex" = "([^:]+)::([^:]+)::(.*)", -- 输入模式匹配规则 "output.format.string" = "%1$s %2$s %3$s" -- 输出格式模板字符串 ); ``` 此方法虽然相对较为繁琐,却提供了极大的灵活性以及更强的数据控制力,适用于各种复杂的场景需求[^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值