hive SymlinkTextInputFormat介绍及用法-优快云博客

本文介绍了Hive中的Symlink Input Format使用方法及其应用场景。通过创建包含实际数据路径的文本文件，可以灵活地指定MapReduce任务的输入数据，并支持正则表达式。文章通过实例展示了如何设置表格和进行查询。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、介绍

先摘一段官方介绍，如下：

Symlink file is a text file which contains a list of filename / dirname.This input method reads symlink files from specified job input paths and takes the files / directories specified in those symlink files as actual map-reduce input. The target input data should be in TextInputFormat.

simlink文件其实就是一个text的文件，不过文件里面存放的不是hive表中要读取的数据，而是数据存放的地址。类似于linux下的软链接。simlink文件中的数据地址，支持正则表达式，用起来非常灵活。

2、举例说明

2.1 创建表

CREATE TABLE symlink_text_input_format (key STRING, value STRING) STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.SymlinkTextInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.IgnoreKeyTextOutputFormat';

2.2 在hdfs上上传两个text格式的文件,如下，放到/tmp目录

hadoop fs -put symlink1.txt /tmp/symlink1.txt

hadoop fs -put symlink2.txt /tmp/symlink1.txt

2.3 创建一个link文件，内容是真实的文件地址：

/tmp/symlink1.txt

2.4 上传link文件到hive表symlink_text_input_format 的目录中

hadoop fs -put link /user/hive/warehouse/test.db/symlink_text_input_format/link

2.5 查询symlink_text_input_format

select * from symlink_text_input_format ;

当查询symlink_text_input_format，首先读到的链接文件的地址，会把这些地址当做hive表中的input file。

2.6 在创建的链接文件中，支持正则表达式。如下的链接文件，会把/tmp目录下symlink开头的文件当做hive表的输入

/tmp/symlink*