初级案例

取证初级案例操作大纲 取证初级案例 阅读详情

Hadoop MapReduce 手机流量统计

1)分析业务需求:

用户使用手机上网,存在流量的消耗。流量包括两部分:其一是上行流量(发送),其二是下行流量(接收)。每种流量在网络传输过程中,有两种形式说明:包的大小,流量的大小。使用手机上网,以手机号为唯一标识进行记录。这个记录包括很多信息,需要的信息字段:
这里写图片描述

实际需要的字段:
手机号码,上行数据包数,下行数据包数,上行总流量,下行总流量

2)自定义数据类型(五个字段)

DataWritable 实现 WritableComparable 接口。

3)分析MapReduce写法

分析MapReduce写法,哪些业务逻辑在Map阶段执行,那些业务逻辑在Reduce阶段执行。

Map阶段:从文件中获取数据,抽取需要的五个字段,输出的key为手机号码,输出的value为数据流量的类型DataWritable对象。

Reduce阶段:将相同手机号码的value中的数据流量进行相加,得出手机流量的总数(数据包和数据流量)。输出到文件中,以制表符分开。

package org.apache.hadoop.mapreduce.app;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class DataTotalMapReduce {

    // Mapper Class
    static class DataTotalMapper extends Mapper<LongWritable, Text, Text, DataWritable> {
        private Text mapOutputKey = new Text();
        private DataWritable dataWritable = new DataWritable();

        public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

            String lineValue = value.toString();

            // 数据分割 split
            String[] strs = lineValue.split("\t");

            // 从strs中获取我们需要的几个字段
            String phoneNum = strs[1];
            int upPackNum = Integer.valueOf(strs[6]);
            int downPackNum = Integer.valueOf(strs[7]);
            int upPayLoad = Integer.valueOf(strs[8]);
            int downPayLoad = Integer.valueOf(strs[9]);

            // 设置map输出的key/value
            mapOutputKey.set(phoneNum);
            dataWritable.set(upPackNum, upPayLoad, downPackNum, downPayLoad);

            // 设置map输出
            context.write(mapOutputKey, dataWritable);
        }
    }

    // Reducer Class
    static class DataTotalReducer extends Reducer<Text, DataWritable, Text, DataWritable> {
        private DataWritable dataWritable = new DataWritable();

        public void reduce(Text key, Iterable<DataWritable> values, Context context)
                throws IOException, InterruptedException {

            int upPackNum = 0;
            int downPackNum = 0;
            int upPayLoad = 0;
            int downPayLoad = 0;

            // 循环
            for (DataWritable data : values) {
                upPackNum += data.getUpPackNum();
                downPackNum += data.getDownPackNum();
                upPayLoad += data.getUpPayLoad();
                downPayLoad += data.getDownPayLoad();
            }

            // 设置输出
            dataWritable.set(upPackNum, upPayLoad, downPackNum, downPayLoad);

            // 设置reduce/job输出
            context.write(key, dataWritable);
        }
    }

    // Driver Code
    public int run(String[] args) throws Exception {
        // get conf
        Configuration conf = new Configuration();

        // create job
        Job job = new Job(conf, DataTotalMapReduce.class.getSimpleName());

        // set job
        job.setJarByClass(DataWritable.class);

        // 1)input
        Path inputDir = new Path(args[0]);
        FileInputFormat.addInputPath(job, inputDir);

        // 2)map
        job.setMapperClass(DataTotalMapper.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(DataWritable.class);

        // 3)reduce
        job.setReducerClass(DataTotalReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(DataWritable.class);

        // 4)output
        Path outputDir = new Path(args[1]);
        FileOutputFormat.setOutputPath(job, outputDir);

        // submit job
        boolean isSuccess = job.waitForCompletion(true);

        // return status
        return isSuccess ? 0 : 1;
    }

    // run mapreduce
    public static void main(String[] args) throws Exception {
        // set args
        args = new String[] {
                // input path

                // output path

        };

        // run job
        int status = new DataTotalMapReduce().run(args);

        // exit
        System.exit(status);
    }
}
#Linux 初级 I/O 接口与相关案例文档 Linux 初级 I/O 接口与相关案例文档 阅读详情

相关推荐

泣血之作——初级领域设计详解,附带案例与代码

需求:实现电商订单创建与库存扣减的原子操作。领域服务(OrderService)1.1 领域设计三大支柱。1.2 核心要素说明。二、电商订单系统案例。2.1 业务场景描述。2.2 领域模型设计。三、完整Java实现。3.2 核心代码实现。值对象(Money)聚合根(Order)

ZhooooYuChEnG的博客 1038

hadoop学习--MapReduce初级案例

MapReduce初级案例--虾皮的博客

大葱 475

nnUnet代码解读--优化策略

优化策略 nnUNetTrainer def initialize_optimizer_and_scheduler(self): assert self.network is not None, "self.initialize_network must be called first" self.optimizer = torch.optim.Adam(self.network.parameters(), self.initial_lr, weight_decay=self.weight_

weixin_44858814的博客 3828

MapReduce初级案例

今天发现了一篇特别棒的mapreduce案例,对初学者帮助很大,赶紧收集过来,今晚就看这个了。         一个学习很踏实的男孩子说,大数据有好多坑,踩了个遍。学东西就是踩坑的过程吧,看谁踩得多,看谁坚持的下去。        附上地址        MapReduce初级案例

lyn1539815919的博客 507

MCP4728 电路及stm32F103程序移植

写在前面 通过优快云查到一些MCP4728 的程序,结合程序及datasheet对于驱动的描述,理清了思路 感谢开路者! MCP4728的电路比较简单,见下文描述 应用电路 datasheet: 实际测试电路: SCL接stm32的PB10,SDA接PB11 RDY/BSY引脚和LDCA引脚,悬空 解释见截图: MCP4728地址 选择任意输出通道写入DAC输入寄存器 应用程序 int mcp4728_write_all_channel(float vol1, float vol2, fl

u013074298的专栏 5428

【TI毫米波雷达】IWR6843AOPEVM-G与DCA1000EVM实战:从硬件连接到数据流解析

本文详细解析了TI毫米波雷达开发套件IWR6843AOPEVM-G与DCA1000EVM的硬件连接、模式配置及数据流处理全流程。针对官方手册中的常见配置错误,提供了避坑指南和实测验证的正确设置方法,包括开关配置、网络参数等关键步骤。通过mmWave Studio软件配置雷达参数,并深入解析数据采集与处理流程,帮助开发者高效实现毫米波雷达应用开发。

weixin_30653023的博客 368

excel初级应用案例——杜邦分析仪

杜邦分析法详解

前景 3006

044、Edge Impulse的音频分类实战

上周调试一块STM32WBA52开发板,板载PDM麦克风死活采不到有效数据。示波器怼上去,时钟线波形漂亮得像教科书,数据线却像心电图——全是毛刺。折腾半天发现是电源纹波干扰,给麦克风单独加了个LC滤波,世界清净了。这种坑,做音频分类的嵌入式工程师迟早要踩一遍。

2401_88858637的博客 58

三个使用R语言进行数据分析的案例【初级版】

假设我们有一个包含城市空气质量的数据集,数据集包含四列:城市、PM2.5、PM10和空气质量指数(AQI)。数据背景 假设我们有一个包含电影评分的数据集,数据集包含三列:电影名称、评分和评论数量。假设我们有一个包含员工绩效的数据集,数据集包含四列:员工ID、销售额、工作年限和满意度。2.5. 找出工作年限最长的员工。3.5. 找出AQI最高的城市。1.5.找出评分最高的电影。2.4. 计算销售额中位数。3.4. 计算AQI平均值。1.4.计算评分平均值。2.3. 数据可视化。3.3. 数据可视化。

weixin_44304280的博客 2684

第一章:基础知识 - 概念与基础,理解什么是功耗

电源管理与功耗调优:实战项目经验分享

坚韧与专注 886

【华为OD机试真题 新系统】960、 面试叫号系统 | 机试真题+思路参考+代码解析(C++、Java、Py、C语言、JS)

【华为OD机试真题 2026C卷】960、 面试叫号系统 | 机试真题+思路参考+代码解析(C++、Java、Py、C语言、JS) 华为od机试,华为od机试真题,华为od机试E卷,华为odE卷,华为od机试真题E卷,华为OD,华为OD机试,华为OD机试真题,华为od机考,华为od机试D卷,华为od机试真题D卷,华为od手撕代码,华为od,华为od机试C卷,华为od e卷,华为2025e卷,od机试,2025E卷,华为OD机试E卷,什么是华为od,华为od介绍,全面了解华为od,2025华为od,如何备战华

KJ.JK 2363

siki学院unity初级案例炸弹人取空位置点的Bug

InitMap(2,2)取值不正确

qq_42540393的博客 841

华为OD机试双机位C卷:补种未成活胡杨 (C/C++/Py/Java/Js/Go)

华为OD机试双机位C卷 补种未成活胡杨,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解。华为OD机试 - 补种未成活胡杨。

qq_45776114的博客 4008

中小企业信息化规划案例--初级篇

                 

xudxy的专栏 2939

详解大模型微调数据集构建方法(持续更新)

本文详细介绍了大模型微调数据集构建方法,希望能对学习大模型的同学们有所帮助。 文章目录 1. 前言 2. 微调数据集构建方法 2.1 方法一 2.2 方法二 2.3 方法三 2.4 方法四 2.5 方法五

herosunly的博客 28万+

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

Hadoop集群MapReduce初级案例

http://www.cnblogs.com/xia520pi/archive/2012/06/04/2534533.html Hadoop集群(第9期)_MapReduce初级案例 1、数据去重    "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的Ma

u011674177的专栏 816

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

python之pandas初级使用案例(2)对数据的访问和操作

python之pandas初级使用案例(1) 中已经可以操作csv 文件了; 以下开始对数据的访问和操作 1、

airanl的博客 275

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

python新手小案例_适合刚入门Python的初级新手用来练习的案例,需要请拿走

今天小编给大家分享10个保存下来的小案例,都是一些很实用的知识点,适合入门Python不久的初级新手用来练习….话不多说,开始我们今天的案例吧!案例一:排列组合要求:将4个数字可能组成的所有互不相同且无重复数字的排列组合列出。有什么好分析的…排列就好了代码:案例二:阶梯求和要求:企业实行阶梯制销售绩效方案。现规定:销售额低于或等于10万时,提成10%;销售额低于或等于20万时,超过10万的部分提成...

weixin_39717026的博客 110

安卓初级开发教程 ppt+视频+案例源码

安卓初级开发教程 ppt+视频+案例源码 来自明日科技安卓初级开发教程 ppt+视频+案例源码 链接:https://pan.baidu.com/s/1yLugAJdPnNuN31OIZ1ludg 密码:2ehg

刘联其的个人分享 1400

Unity实战案例全解析 类宝可梦回合制的初级案例 源码分析

分析源码要比视频教程快很多,看不懂可以借助ai

咩咩的博客 1317

JS初级案例解析

JS初级的知识点所衍生的案例练习

qq_44930306的博客 2274

第25章-C++初级实战案例(20个)

本章提供20个精选的C++初级实战案例,涵盖基础语法、控制流程、函数、数组、字符串、结构体等核心知识点。每个案例包含完整的代码实现、详细的注释说明和运行示例,帮助初学者通过实践巩固所学知识,培养编程思维和解决问题的能力。

qq_31762031的博客 994

Canvas初级小案例

canvas 画直线 画虚线 画矩形 画坐标系 随机生成柱状图 画圆 小案例 —— 绘制五环 小案例 —— 画一个字母 “S” 小案例 —— 画八卦镇 小案例 —— 圆形进度条 小案例 —— 饼状图 小案例 —— 小球弹一弹 小案例 —— 小球弹一弹封装 画文字 画一个闹钟

cloki的博客 1704

初级JS小案例

初级JS---敏感词过滤

欢迎 187
上一篇: Hadoop数据类型讲解
飞鸿踏雪泥-
博客等级 码龄12年 4粉丝 48原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值