2020大数据数据处理综合练习

魔元

于 2020-01-07 08:43:29 发布

阅读量489

点赞数 1

本文链接：https://blog.youkuaiyun.com/Moyuan233/article/details/103867785

版权

这篇博客详细介绍了大数据数据处理的过程，从预处理阶段的Mapper、Reducer、Driver和Util开始，然后是数据入库操作，包括创建数据库和表，以及数据导入。接着，对数据进行分析，使用Hive SQL查询高评分视频信息。分析后的数据保存到HBase数据库，创建了Hive外部表和映射表。最后，通过HBase API查询特定列的评论内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2020大数据数据处理综合练习

1.数据的预处理阶段

Mapper：

public class Mapper02 extends Mapper<LongWritable, Text,LongWritable,Text> {
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        //每行按：切分
        String[] line = value.toString().split(":");

        //
        if (line.length>=10){

        //处理 视频类别
            //调用Uitl方法切分重组 视频类别
            String Category=Util.replacedata(line[3]);
        //处理相关视频id
            String RelatedIds="";
            //相关视频数量id=1 不需要切分重组
            if (line.length==10){
                RelatedIds=line[9];
            //相关视频数量id>1
            }else if (line.length>10){
                String newRelatedId="";
                //从第一个相关视频id遍历重组
                for (int i = 9; i < line.length; i++) {
                    newRelatedId+=line[i]+",";
                }
                RelatedIds=newRelatedId.substring(0,newRelatedId.lastIndexOf(","));
            }

         //处理整段数据
            //第一次处理：将原视频类别替换
            String data=value.toString().replace(line[3],Category);