Spark 协同过滤（CF）如何将一直为Long类型的user转换为Rating中要求的int类型（测试通过）

卢子墨

于 2018-12-17 17:49:18 发布

阅读量993

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark原理、实战、总结文章标签： spark kafka

本文链接：https://blog.youkuaiyun.com/lukabruce/article/details/84816981

Spark原理、实战、总结专栏收录该内容

56 篇文章 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了在Spark协同过滤（CF）中如何将Long类型的user转换为Rating所需的int类型。通过编写impalaJdbcDao实现数据转换，并在Hive中创建user_id_mapping和news_number_mapping两张表进行映射。在BatchNewsStreaming.scala调用类中完成具体操作，确保测试通过。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

/**
* 问题：
*      在对数据进行训练时，Rating要求的是int,int,double，但是现有的数据是long,string,double类 
       型，使用toInt进行转换时依然会报错，这是因为long类型转换成int类型已经超出了int的最大值。
* 
* 解决思路：
*      创建两张映射表，将long类型的字段映射成int类型(使用row_number()添加自增序列)，然后拿映射的 
*      字段进行训练，训练完成后，再将映射的字段转换成原有字段，而后进行推荐。
*
*/