同一种搜索词,哪个网站被用户访问的最多

爬取优快云百度搜索词制作词云图 通过Python爬取优快云百度关键页的搜索词和入口页次数,通过Word Art制作词云图。 效果: login.py(登录优快云) # -*- coding: utf-8 -*- from selenium import webdriver from selenium.webdriver.chrome.options import Options import time user... 阅读详情

同一种搜索词,哪个网站被用户访问的最多

FourMapper.java

package com.hniu.bigdata.hadoop.Four;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.util.StringUtils;

import java.io.IOException;
import java.text.SimpleDateFormat;
import java.util.Date;

public class FourMapper extends Mapper<LongWritable, Text,Text, FourSortBean> {

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

        String line = value.toString();
        // 日期数据处理
        String[] values = line.split("\\s");
        String time = values[values.length - 1];
        SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd");
        String dateTime = format.format(new Date(Long.parseLong(time)));
        // 域名切分
        String url = values[4];
        values[values.length - 1] = dateTime;
        String domain = url.split("/")[0];
        values[4] = domain;
        line = StringUtils.join(" ",values);
        String keyStr =values[0] +"_"+domain;
        if(dateTime.contains("2019")) {
            FourSortBean data = new FourSortBean();
            data.setUser_id(values[0]);
            data.setDomain(domain);
            data.setTotal_click(1);
            context.write(new Text(keyStr), data);
        }
    }
}

FourReducer.java

package com.hniu.bigdata.hadoop.Four;

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;
import java.util.ArrayList;
import java.util.Map;
import java.util.TreeMap;

public class FourReducer extends Reducer<Text, FourSortBean, Text, FourSortBean> {

    private TreeMap<FourSortBean,String> topTen = new TreeMap<FourSortBean, String>();
    @Override
    protected void reduce(Text key, Iterable<FourSortBean> values, Context context) throws IOException, InterruptedException {

        FourSortBean result = new FourSortBean();
        int total_click = 0;
        for (FourSortBean data : values){
            total_click += data.getTotal_click();
            result.setUser_id(data.getUser_id());
            result.setDomain(data.getDomain());
        }
        result.setTotal_click(total_click);
        // context.write(key,new IntWritable(total_click));
        String keywords = key.toString().split("_")[0];
        if (topTen.values().contains(keywords)){
            int index=new ArrayList<String>(topTen.values()).indexOf(keywords);
            FourSortBean tmpData= (FourSortBean) topTen.keySet().toArray()[index];
            if(total_click > tmpData.getTotal_click()){
                topTen.remove(tmpData);
                topTen.put(result,keywords);
            }
        }else {
            topTen.put(result,keywords);
        }
        if (topTen.size()>10){
            topTen.remove(topTen.lastKey());
        }
        //context.write(key,new IntWritable(total_click));
    }

    @Override
    protected void cleanup(Context context) throws IOException, InterruptedException {
        for (Map.Entry<FourSortBean,String> entry:topTen.entrySet()){
            context.write(new Text(entry.getValue()),entry.getKey());
        }
    }
}

FourSortBean.java

package com.hniu.bigdata.hadoop.Four;


import org.apache.hadoop.io.WritableComparable;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

public class FourSortBean implements WritableComparable<FourSortBean> {
    private String User_id;
    private String  domain;
    private int  total_click;


    public FourSortBean(){}

    public FourSortBean(String User_id, String domain, int total_click) {
        this.User_id = User_id;
        this.domain = domain;
        this.total_click = total_click;
    }

    public String getUser_id() {
        return User_id;
    }

    public void setUser_id(String user_id) {
        this.User_id = user_id;
    }

    public String getDomain() {
        return domain;
    }

    public void setDomain(String domain) {
        this.domain = domain;
    }

    public int getTotal_click() {
        return total_click;
    }

    public void setTotal_click(int total_click) {
        this.total_click = total_click;
    }

    public int compareTo(FourSortBean o) {
        return  total_click > o.getTotal_click() ? -1 :(total_click == o.getTotal_click() ? 0 :1);
    }

    public void write(DataOutput dataOutput) throws IOException {
        dataOutput.writeUTF(User_id);
        dataOutput.writeUTF(domain);
        dataOutput.writeInt(total_click);
    }

    public void readFields(DataInput dataInput) throws IOException {
        User_id = dataInput.readUTF();
        domain = dataInput.readUTF();
        total_click = dataInput.readInt();
    }

    @Override
    public String toString() {
        return "{" +
                "User_id='" + User_id + '\'' +
                ", domain='" + domain + '\'' +
                ", total_click=" + total_click +
                '}';
    }
}

FourDriver.java

package com.hniu.bigdata.hadoop.Four;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class FourDriver {
    public static void main(String[] args) throws Exception{
        Configuration configuration = new Configuration();

        configuration.set("fs.defaultFS","hdfs://192.168.179.46:8020");

        Job job = Job.getInstance(configuration, "word count");

        job.setJarByClass(FourDriver.class);
        job.setMapperClass(FourMapper.class);
        job.setReducerClass(FourReducer.class);

        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(FourSortBean.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(FourSortBean.class);

        FileInputFormat.addInputPath(job, new Path("/xyz"));
        FileOutputFormat.setOutputPath(job, new Path("/Four_Data"));
        job.waitForCompletion(true);

    }

}

educoder中Hive综合应用案例 — 用户搜索日志分析 Hive综合应用案例 — 用户搜索日志分析 阅读详情

相关推荐

hive(六)案例专用

hive六中案例所需要的资源,本案例是对sql语句的练习。

Hive综合应用案例 — 用户搜索日志分析

---------- 禁止修改 ---------- drop database if exists mydb cascade; ---------- 禁止修改 ---------- ---------- begin ---------- ---创建mydb数据库 create database mydb; ---使用mydb数据库 use mydb; ---创建表db_search create table db_search( id int, key1 string, ranking .

J_zrm的博客 9567

别再手动上传了!用宝塔面板的‘Let‘s Encrypt’免费SSL证书,3分钟自动续期

本文详细介绍了如何利用宝塔面板的‘Let‘s Encrypt’功能实现SSL证书的自动申请和续期,3分钟完成配置即可永久免费使用。通过对比不同SSL证书方案,突出Let's Encrypt的免费、自动续期和高安全性优势,特别适合个人博客和中小企业官网。

weixin_30415113的博客 152

分析同一种搜索词,哪个网站域名被用户访问最多——头歌

在右侧编辑器补充代码,分析同一种搜索词,哪个网站域名被用户访问最多,并根据访问次数降序取前十。本关任务:分析同一种搜索词,哪个网站域名被用户访问最多,并根据访问次数降序取前十。开始你的任务吧,祝你成功!

m0_68235882的博客 3529

AMCL实战:如何用2D激光雷达在ROS中实现稳定重定位(附参数调优指南)

本文深入解析了在ROS中使用2D激光雷达实现稳定AMCL重定位的实战技巧与参数调优指南。针对粒子发散、位姿跳变等常见问题,文章从算法核心原理出发,系统讲解了初始化、粒子滤波、运动与观测模型等关键参数的分类与调优策略,并提供了一套经过验证的调优框架,帮助开发者提升移动机器人在已知地图环境下的定位鲁棒性和稳定性。

sql99的博客 137

Spark Graphx 项目实战(航班飞行网图分析)

航班飞行网图分析一.需要的技能点二.任务描述三.数据探索1.下载数据2.数据格式四.航班飞行网图问题分析1.构建航班飞行网图2.统计航班飞行网图中机场与航线的数量3.计算最长的飞行航线4.找出最繁忙的机场5.找出最重要的飞行航线6.找出最便宜的飞行航线五.代码实现 一.需要的技能点 Spark GraphX API Spark GraphX PageRank Spark GraphX Pregel 二.任务描述 需求概述: 探索航班飞行网图数据 构建航班飞行网图 使用Spark GraphX完成下列任

May_J_Oldhu的博客 1542

hive 网站流量分析

需求: 统计24小时 ,每个时段的 PV 和UV 分析过程: 1. PV:统计每一条记录  (每个链接就是一个) UV:  访问人数 (guid 唯一用户的ID)   distenct 去重复 2. 字段过滤 id  / url / guid / tracktime  3. 预期结果 日期 小时 PV UV 28 18 21212 61312 28 19 23111

ytf8848的专栏 799

多思计组实验实验三、存储器读写实验

实验三、存储器读写实验

qq_53089329的博客 3653

2018年点击量最高的10个网站域名——头歌

在右侧编辑器补充代码,分析出。开始你的任务吧,祝你成功!

m0_68235882的博客 3821

安装Office程序时无法安装的解决方案

本文主要介绍了安装Office程序时无法安装的解决方案,希望能对安装Office的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案 2.1 前置步骤 2.2 方法一 2.3 方法二

weixin_43178406的博客 15万+

SpringBoot 插件化开发详细总结

SpringBoot 插件化开发方案总结

congge 1万+

Spark实例项目—每个域名下访问次数最多的URL

生活在于积累,你所遇到的困难,问题,,,,都将成为你生活的财富,而博客,就是记录你一路成长的最好见证。 ————————送给正在写作业的你 Spark 项目分析网络URL数据。加深RDD理解 要求分析出每个域名的前三个访问量是哪些 URL 数据的格式: https://blog.youkuaiyun.com/qq_43688472/article/details/84307884 [2015-07-07 13...

qq_43688472的博客 674

在 ABAP CDS View 里把 Conversion Functions 用到极致:FLTP 精度、单位换算、货币换算与小数位处理的工程化实践

数据格式转换在真实项目中比业务逻辑更容易引发问题。ABAP CDS中的转换函数(如FLTP_TO_DEC、UNIT_CONVERSION、CURRENCY_CONVERSION和DECIMAL_SHIFT)可帮助在数据库层统一数据口径,避免应用层重复处理。这些函数支持数值精度治理、单位换算、货币转换和小数位调整,能显著提升报表性能并减少逻辑分散。通过将格式转换前移到数据模型层,可以确保服务层和UI层的数据一致性,同时降低接口传输错误风险。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 2353

基于关键字的网站域名相关性研究项目

基于关键字的网站域名相关性研究项目 启动:基于关键字的网站相关性研究项目 项目地址: http://www.domolo.com/website/domainClouds 常有一些问题困扰着我。 比如: 和 donews最相关和相似的网站是那个? 和 baidu 最相关和相似的网站是那个? 和 alibaba 最相关和相似的网站是那个? 和 csdn 最相关和相似的网站是那个? 和 s...

totoxian 82

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

百度统计搜索词是广告怎么办?建议设置过滤规则排除

最近经常在百度统计中看到有很多垃圾广告的搜索词,甚至连 Top 搜索词、Top 来源网站、Top 入口页面中都出现很多垃圾广告。比如老古的一个测试网站就出现这种情况,具体如下图所示: 据了解,网络上有很多站长也反馈有类似的情况出现,至于如何解决这个问题,有些站长说“不用理会,不影响我们的网站,过段时间就自己消失了”,有些站长说“在百度统计中删除网站,然后重新添加获取另一个 JS 代码,然后将这个 JS 代码加密后再添加到网站中即可”,还有些站长说“设置白名单,只统计白名单中的来源域名”等等。其实,对于

boke112的博客 1675

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

百度统计搜索词的IP对比悟空统计,谁更精准?

在网站数据分析领域,精准的搜索词和IP追踪是优化流量、提升转化的关键。许多站长习惯使用百度统计来监控搜索词来源和用户IP,但你是否遇到过数据延迟、统计不全或功能受限的问题?如果你正在寻找更高效、更精准的替代方案,不妨试试。

yiyi5243的博客 426

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

对用户访问session进行分析

一、模块的目标:对用户访问session进行分析 1、可以根据使用者指定的某些条件,筛选出指定的一些用户(有特定年龄、职业、城市); 2、对这些用户在指定日期范围内发起的session,进行聚合统计,比如,统计出访问时长在0~3s的session占总session数量的比例; 3、按时间比例,比如一天有24个小时,其中12:00~13:00的session数量占当天总session数量的50...

chbxw 8060

无涯教程-用户搜索习惯分析

行为分析,是由美国心理学家亨特提出,他的观点认为,心理学已由争论心理学是什么和是怎样的思辨时代进入了实验时代,心理学已走上了客观地研究人类行为的道路。行为分析,一般是指利用心理学去分析人类的某些行为。用户搜索习惯分析,也可以称之为用户行为分析,是指在获得网站或APP等平台访问量基本数据的情况下,对有关数据进行统计、分析,从中发现用户访问网站或APP等平台的规律,并将这些规律与网络营销策略等相结合,从而发现目前网络营销活动中可能存在的问题,并为进一步修正或重新制定网络营销策略提供依据。

无涯教程 1280

百度统计后台出现不相关的搜索词是什么原因?有什么解决办法吗?

近期百度统计后台,移动端经常出现类似恶意刷词的无关搜索词,并且其他用户反馈近期也出现过类似问题。 大概是什么原因,请问对网站权重是否有影响? 如何剔除或补全该漏洞?

GSH2019的博客 923

可以判断用户打开页面次数吗?_网站用户行为分析

一、背景以及问题主要研究对象是“XXXX官网”的网站访问情况,本网站是公司用于展示信息以及招商加盟的网址。目标问题分析: 1)网站用户行为分析,挖掘各种行为特征(针对用户整体,分群),如访问量,访问页面类别,点击次数,停留时间等 2)根据用户访问需求特征(习惯),更加高效,人性化的服务推荐(推荐高相关度的,热门的,未浏览过的等)二、数据探索性分析1、相关库的导入import panda...

weixin_39609051的博客 512

网站推广工具-批量网站推广管理软件下载

网站推广工具,网站怎么才能推广?怎么让网站推广到大量的平台,一个网站要有大量的流量。就得有大量的关键词排名,今天给大家分享一款免费网站自动SEO优化推广工具,自动更新网站内容,自动SEO优化配置,让网站自动更新获得大量的关键词排名。详细看图一、二、三、四、五、 新站在做SEO优化时期选择关键词就必定这个网站为了开展方向,这也就形成了很多网站关键词有排名的很多有的很少,而取得搜索引擎用户数量也就不同,有很多SEO站长们就有很多疑问了,为什么其他网站和我的网站关键词排名数量不一样呢?都是差不多的网站,

qq_787143156的博客 615

设置ip过滤规则_百度统计搜索词是广告怎么办?建议设置过滤规则排除

最近经常在百度统计中看到有很多垃圾广告的搜索词,甚至连 Top 搜索词、Top 来源网站、Top 入口页面中都出现很多垃圾广告。比如老古的一个测试网站就出现这种情况,具体如下图所示:据了解,网络上有很多站长也反馈有类似的情况出现,至于如何解决这个问题,有些站长说“不用理会,不影响我们的网站,过段时间就自己消失了”,有些站长说“在百度统计中删除网站,然后重新添加获取另一个 JS 代码,然后...

weixin_42299728的博客 876
上一篇: 访问次数最多的前十个搜索词
下一篇: 三台虚拟机spark的配置与安装
study_46
博客等级 码龄7年 6粉丝 8原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值