Hive——巧用transform处理复杂的字符串问题

最新推荐文章于 2025-06-10 16:33:33 发布

zhiyong_will

最新推荐文章于 2025-06-10 16:33:33 发布

阅读量1w

点赞数 4

CC 4.0 BY-SA版权

分类专栏： Hadoop 文章标签： Hive transform

本文链接：https://blog.youkuaiyun.com/google19890102/article/details/72724454

Hadoop 专栏收录该内容

4 篇文章

订阅专栏

本文介绍如何使用Hive结合外部Python脚本解决复杂字符串处理难题，通过transform函数将数据传递给Python进行处理，并给出具体实例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

相比于Map-Reduce，Hive对数据的处理相对简单，但是Hive本身提供的函数，对于处理复杂的字符串问题，就显得不是很方便，此时，可以借助transform，引入外界的Python程序对字符串进行处理。

transform

transform的基本用法为：

transform中的值作为输入，然后传递给python脚本，最后经过python的处理后，输出想要得到的字符串格式。

transform的基本语法为：

select transform(intput columns)
using 'python *.py'
as (output columns)

注意：在利用本地的python处理时，首先需要add file *.py;

实例

假设目前我们有如下的一些数据：

这里写图片描述

需要取出以分号“；”分隔的倒数第二位。实际的代码如下：

Hive的代码：

function create_table(){
    sql_create_table_1="drop table if exists ${table_name_deal};
    create table if not exists ${table_name_deal}(
    deal string
    )
    row format delimited fields terminated by '\t'
    lines terminated by '\n'
    stored as rcfile
    location '${table_path}/${table_name_deal}';"
    hive -e"${sql_create_table_1}"

}

function data_deal(){
    deal_sql="add file deal.py;
    insert overwrite table ${table_name_deal}
    select a.deal
    from
    (select transform(match_id)
                using 'python deal.py'
                as (deal)
                from ${table_name_sel}
            ) a;"

    hive -e"${deal_sql}"
}

python脚本

#!/usr/bin/python
#coding:UTF-8

import sys

for line in sys.stdin:
    lines = line.strip().split(";")
    if len(lines) < 10:
        continue

    deal = lines[-2]
    print deal