pyspark读取hive数据写入到redis

最新推荐文章于 2024-02-23 09:16:45 发布

原创

最新推荐文章于 2024-02-23 09:16:45 发布 · 3.9k 阅读

8 ·

CC 4.0 BY-SA版权

1、首先把redis包引入工程，这样就不需要在集群里每台机器上安装redis客户端。
$pip install redis
$cd /usr/local/lib/python3.6/dist-packages/ 找到自己环境的路径
$zip -r redis.zip redis/*
$hdfs dfs -put redis.zip /user/data/

2、在代码里使用 addPyFile加载redis.zip

    sc = SparkContext(conf=conf)
    sc.addPyFile("hdfs:///user/data/redis.zip")

#定义一个写入redis函数
def DataToRedis(data):
    r = redis.StrictRedis(host='IP', port=6379, password='passwd')
    for i in data:
        r.set(str(i[0]), str(i[1]))

    #读取Hive数据
    sqlContext = HiveContext(sc)
    read_hive_score = sqlContext.sql("Select id,item from recom.result limit 10")
    hiveRDD_score =read_hive_score.rdd
    result_dataSet = hiveRDD_score.map(lambda x: (x['id'], x['item'])).collect()
    #调用函数
    DataToRedis(result_dataSet)

参考：
Write data to Redis from PySpark
https://www.e-learn.cn/content/wangluowenzhang/1347480
https://stackoverflow.com/questions/32274540/