一、MapReduce练习 IpAction，统计ip 和 操作

最新推荐文章于 2024-07-01 02:25:02 发布
最新推荐文章于 2024-07-01 02:25:02 发布
阅读量396 收藏 2
点赞数 1
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_44020302/article/details/103565580
版权
  1. 统计每个 ip 做了多少次 操作## 1. 统计每个 ip 做了多少次 操作
  2. 统计每个 操作，执行了多少次
  3. 每个 ip 的每个操作 执行了多少次
  4. 192.168.10.109 这个 ip 执行了多少次操作
  5. 每个 ip 的每个操作 执行了多少次，只看次数大于 350 的

ip数据文档：https://pan.baidu.com/s/1OX1Cv8p-xzEy_A9jTB6d6w

代码：

统计每个 ip 做了多少次 操作## 1. 统计每个 ip 做了多少次 操作

package com.it666.ipcount;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class IpCount1 {
	
	//1. 统计每个 ip 做了多少次 操作
	
	// 自定义类继承自 Mapper 类，还需要设置 4 个泛型，前两个是固定的，后两个根据分析结果决定
	private static class IpCountMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
		
		// 声明 map 程序输出的 outputKey 和 outputValue 变量
		private static Text outputkey = new Text();
		private static IntWritable outputvalue = new IntWritable(1);
		
		// 重写父类的 map 方法实现数据分析并输出结果
		protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, IntWritable>.Context context) 
				throws IOException, InterruptedException {
			
			// 转换 Text 类型的数据为 String 类型
			String line = value.toString();
			
			// 以空格拆分该行数据，得到所有ip数组
			String[] ips = line.split("\\s+");
			
			//获取ip字符串
			String ip = ips[0];
			
			outputkey.set(ip);
			context.write(outputkey, outputvalue);
		}	
	}
	
	// 自定义类继承 Reducer 类，还需要设置 4 个泛型，前两个和 map 的输出类型保持一致，后两个根据分析结果决定
	private static class IpCountReducer extends Reducer<Text, IntWritable, Text, IntWritable>{
		
		// 2. 声明 reduce 程序输出的 outputKey 和 outputValue 变量
		private Text outputkey = new Text();
		private IntWritable outputvalue =new IntWritable();
		
		// 重写父类的 reduce 方法实现数据汇总并输出结果
		protected void reduce(Text key, Iterable<IntWritable> value,
				Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException{
			
			// 声明累加结果次数
			int count = 0;

			// 遍历 value 累加到 count
			for (IntWritable i : value) {
				// i 就是集合中的每个 1，通过 get() 方法转换为 int 类型
				count += i.get();
			}
			// 以ip为 key
			outputkey = key;
			// 以次数为 value
			outputvalue.set(count);
			// 进行输出
			context.write(outputkey, outputvalue);

		}
	}

	// 在 main 方法中编写 job 相关代码
	public static void main(String[] args) {
		// 创建 Hadoop 集群的配置信息对象 Configuration
		Configuration conf = new Configuration();

		try {
			// 使用 Configuration 对象获取 Job 对象，需要捕获异常
			Job job = Job.getInstance(conf);

			// 设置 Job 程序的主类（main 方法所在的类）
			job.setJarByClass(IpCount1.class);

			// 设置 map 和 reduce 程序的类
			job.setMapperClass(IpCountMapper.class);
			job.setReducerClass(IpCountReducer.class);

			// 设置 map 程序输出数据的 key 和 value 类型
			job.setMapOutputKeyClass(Text.class);
			job.setMapOutputValueClass(IntWritable.class);

			// 设置 reduce 程序输出数据的 key 和 value 类型
			job.setOutputKeyClass(Text.class);
			job.setOutputValueClass(IntWritable.class);

			// 设置输入数据的保存位置
			// org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
			FileInputFormat.addInputPath(job, new Path("E:/java/ip-action.dat"));
			FileSystem.get(conf).delete(new Path("E:/java/IpAction/result1"), true);

			// 设置输出数据的保存位置
			FileOutputFormat.setOutputPath(job, new Path("E:/java/IpAction/result1"));

			// 执行 job 程序进行数据分析，注意捕获异常
			job.waitForCompletion(true);

		} catch (IOException e) {
			e.printStackTrace();
		} catch (ClassNotFoundException e) {
			e.printStackTrace();
		} catch (InterruptedException e) {
			e.printStackTrace();
		}

	}
	
}

2. 统计每个 操作，执行了多少次

package com.it666.ipcount;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;


public class IpCount2 {
	
	//2. 统计每个 操作，执行了多少次
	
	
	// 自定义类继承自 Mapper 类，还需要设置 4 个泛型，前两个是固定的，后两个根据分析结果决定
	private static class IpCountMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
		
		// 声明 map 程序输出的 outputKey 和 outputValue 变量
		private static Text outputkey = new Text();
		private static IntWritable outputvalue = new IntWritable(1);
		
		// 重写父类的 map 方法实现数据分析并输出结果
		protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, IntWritable>.Context context) 
				throws IOException, InterruptedException {
			
			// 转换 Text 类型的数据为 String 类型
			String line = value.toString();
			
			// 以空格拆分该行数据，得到所有ip数组
			String[] ips = line.split("\\s+");
			
			String ip = ips[1];
			
			outputkey.set(ip);
			context.write(outputkey, outputvalue);
		}	
	}
	
	// 自定义类继承 Reducer 类，还需要设置 4 个泛型，前两个和 map 的输出类型保持一致，后两个根据分析结果决定
	private static class IpCountReducer extends Reducer<Text, IntWritable, Text, IntWritable>{
		
		// 2. 声明 reduce 程序输出的 outputKey 和 outputValue 变量
		private Text outputkey = new Text();
		private IntWritable outputvalue =new IntWritable();
		
		// 重写父类的 reduce 方法实现数据汇总并输出结果
		protected void reduce(Text key, Iterable<IntWritable> value,
				Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException{
			
			// 声明累加结果次数
			int count = 0;

			// 遍历 value 累加到 count
			for (IntWritable i : value) {
				// i 就是集合中的每个 1，通过 get() 方法转换为 int 类型
				count += i.get();
			}
			// 以ip为 key
			outputkey = key;
			// 以次数为 value
			outputvalue.set(count);
			// 进行输出
			context.write(outputkey, outputvalue);

		}
	}

	// 在 main 方法中编写 job 相关代码
	public static void main(String[] args) {
		// 创建 Hadoop 集群的配置信息对象 Configuration
		Configuration conf = new Configuration();

		try {
			// 使用 Configuration 对象获取 Job 对象，需要捕获异常
			Job job = Job.getInstance(conf);

			// 设置 Job 程序的主类（main 方法所在的类）
			job.setJarByClass(IpCount2.class);

			// 设置 map 和 reduce 程序的类
			job.setMapperClass(IpCountMapper.class);
			job.setReducerClass(IpCountReducer.class);

			// 设置 map 程序输出数据的 key 和 value 类型
			job.setMapOutputKeyClass(Text.class);
			job.setMapOutputValueClass(IntWritable.class);

			// 设置 reduce 程序输出数据的 key 和 value 类型
			job.setOutputKeyClass(Text.class);
			job.setOutputValueClass(IntWritable.class);

			// 设置输入数据的保存位置
			// org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
			FileInputFormat.addInputPath(job, new Path("E:/java/ip-action.dat"));
			FileSystem.get(conf).delete(new Path("E:/java/IpAction/result2"), true);

			// 设置输出数据的保存位置
			FileOutputFormat.setOutputPath(job, new Path("E:/java/IpAction/result2"));

			// 执行 job 程序进行数据分析，注意捕获异常
			job.waitForCompletion(true);

		} catch (IOException e) {
			e.printStackTrace();
		} catch (ClassNotFoundException e) {
			e.printStackTrace();
		} catch (InterruptedException e) {
			e.printStackTrace();
		}

	}
	
}

3. 每个 ip 的每个操作 执行了多少次

package com.it666.ipcount;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class IpCount3 {
	
	//1. 每个 ip 的每个操作 执行了多少次
	
	// 自定义类继承自 Mapper 类，还需要设置 4 个泛型，前两个是固定的，后两个根据分析结果决定
	private static class IpCountMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
		
		// 声明 map 程序输出的 outputKey 和 outputValue 变量
		private static Text outputkey = new Text();
		private static IntWritable outputvalue = new IntWritable(1);
		
		// 重写父类的 map 方法实现数据分析并输出结果
		protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, IntWritable>.Context context) 
				throws IOException, InterruptedException {
			
			// 转换 Text 类型的数据为 String 类型
			String line = value.toString();
			
			// 每一行作为一个数据
			outputkey.set(line);
			context.write(outputkey, outputvalue);
		}	
	}
	
	// 自定义类继承 Reducer 类，还需要设置 4 个泛型，前两个和 map 的输出类型保持一致，后两个根据分析结果决定
	private static class IpCountReducer extends Reducer<Text, IntWritable, Text, IntWritable>{
		
		// 2. 声明 reduce 程序输出的 outputKey 和 outputValue 变量
		private Text outputkey = new Text();
		private IntWritable outputvalue =new IntWritable();
		
		// 重写父类的 reduce 方法实现数据汇总并输出结果
		protected void reduce(Text key, Iterable<IntWritable> value,
				Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException{
			
			// 声明累加结果次数
			int count = 0;

			// 遍历 value 累加到 count
			for (IntWritable i : value) {
				// i 就是集合中的每个 1，通过 get() 方法转换为 int 类型
				count += i.get();
			}
			// 以ip为 key
			outputkey = key;
			// 以次数为 value
			outputvalue.set(count);
			// 进行输出
			context.write(outputkey, outputvalue);

		}
	}

	// 在 main 方法中编写 job 相关代码
	public static void main(String[] args) {
		// 创建 Hadoop 集群的配置信息对象 Configuration
		Configuration conf = new Configuration();

		try {
			// 使用 Configuration 对象获取 Job 对象，需要捕获异常
			Job job = Job.getInstance(conf);

			// 设置 Job 程序的主类（main 方法所在的类）
			job.setJarByClass(IpCount3.class);

			// 设置 map 和 reduce 程序的类
			job.setMapperClass(IpCountMapper.class);
			job.setReducerClass(IpCountReducer.class);

			// 设置 map 程序输出数据的 key 和 value 类型
			job.setMapOutputKeyClass(Text.class);
			job.setMapOutputValueClass(IntWritable.class);

			// 设置 reduce 程序输出数据的 key 和 value 类型
			job.setOutputKeyClass(Text.class);
			job.setOutputValueClass(IntWritable.class);

			// 设置输入数据的保存位置
			// org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
			FileInputFormat.addInputPath(job, new Path("E:/java/ip-action.dat"));
			FileSystem.get(conf).delete(new Path("E:/java/IpAction/result3"), true);

			// 设置输出数据的保存位置
			FileOutputFormat.setOutputPath(job, new Path("E:/java/IpAction/result3"));

			// 执行 job 程序进行数据分析，注意捕获异常
			job.waitForCompletion(true);

		} catch (IOException e) {
			e.printStackTrace();
		} catch (ClassNotFoundException e) {
			e.printStackTrace();
		} catch (InterruptedException e) {
			e.printStackTrace();
		}

	}
	
}

4. 192.168.10.109 这个 ip 执行了多少次操作

package com.it666.ipcount;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;


public class IpCount4 {
	
	//4. 192.168.10.109    这个 ip 执行了多少次操作
	
	
	// 自定义类继承自 Mapper 类，还需要设置 4 个泛型，前两个是固定的，后两个根据分析结果决定
	private static class IpCountMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
		
		// 声明 map 程序输出的 outputKey 和 outputValue 变量
		private static Text outputkey = new Text();
		private static IntWritable outputvalue = new IntWritable(1);
		
		// 重写父类的 map 方法实现数据分析并输出结果
		protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, IntWritable>.Context context) 
				throws IOException, InterruptedException {
			
			// 转换 Text 类型的数据为 String 类型
			String line = value.toString();
			
			// 以空格拆分该行数据，得到所有ip数组
			String[] ips = line.split("\\s+");
			
			//获取ip字符串
			String ip = ips[0];
			
			if (ip.equals("192.168.10.109")) {
				
				outputkey.set(ip);
				context.write(outputkey, outputvalue);
				
			}
			
		}	
	}
	
	// 自定义类继承 Reducer 类，还需要设置 4 个泛型，前两个和 map 的输出类型保持一致，后两个根据分析结果决定
	private static class IpCountReducer extends Reducer<Text, IntWritable, Text, IntWritable>{
		
		// 2. 声明 reduce 程序输出的 outputKey 和 outputValue 变量
		private Text outputkey = new Text();
		private IntWritable outputvalue =new IntWritable();
		
		// 重写父类的 reduce 方法实现数据汇总并输出结果
		protected void reduce(Text key, Iterable<IntWritable> value,
				Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException{
			
			// 声明累加结果次数
			int count = 0;

			// 遍历 value 累加到 count
			for (IntWritable i : value) {
				// i 就是集合中的每个 1，通过 get() 方法转换为 int 类型
				count += i.get();
			}
			// 以ip为 key
			outputkey = key;
			// 以次数为 value
			outputvalue.set(count);
			// 进行输出
			context.write(outputkey, outputvalue);

		}
	}

	// 在 main 方法中编写 job 相关代码
	public static void main(String[] args) {
		// 创建 Hadoop 集群的配置信息对象 Configuration
		Configuration conf = new Configuration();

		try {
			// 使用 Configuration 对象获取 Job 对象，需要捕获异常
			Job job = Job.getInstance(conf);

			// 设置 Job 程序的主类（main 方法所在的类）
			job.setJarByClass(IpCount1.class);

			// 设置 map 和 reduce 程序的类
			job.setMapperClass(IpCountMapper.class);
			job.setReducerClass(IpCountReducer.class);

			// 设置 map 程序输出数据的 key 和 value 类型
			job.setMapOutputKeyClass(Text.class);
			job.setMapOutputValueClass(IntWritable.class);

			// 设置 reduce 程序输出数据的 key 和 value 类型
			job.setOutputKeyClass(Text.class);
			job.setOutputValueClass(IntWritable.class);

			// 设置输入数据的保存位置
			// org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
			FileInputFormat.addInputPath(job, new Path("E:/java/ip-action.dat"));
			FileSystem.get(conf).delete(new Path("E:/java/IpAction/result4"), true);

			// 设置输出数据的保存位置
			FileOutputFormat.setOutputPath(job, new Path("E:/java/IpAction/result4"));

			// 执行 job 程序进行数据分析，注意捕获异常
			job.waitForCompletion(true);

		} catch (IOException e) {
			e.printStackTrace();
		} catch (ClassNotFoundException e) {
			e.printStackTrace();
		} catch (InterruptedException e) {
			e.printStackTrace();
		}

	}
	
}

5. 每个 ip 的每个操作 执行了多少次，只看次数大于 350 的

package com.it666.ipcount;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;


public class IpCount5 {
	
	//1. 每个 ip 的每个操作 执行了多少次
	
	
	// 自定义类继承自 Mapper 类，还需要设置 4 个泛型，前两个是固定的，后两个根据分析结果决定
	private static class IpCountMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
		
		// 声明 map 程序输出的 outputKey 和 outputValue 变量
		private static Text outputkey = new Text();
		private static IntWritable outputvalue = new IntWritable(1);
		
		// 重写父类的 map 方法实现数据分析并输出结果
		protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, IntWritable>.Context context) 
				throws IOException, InterruptedException {
			
			// 转换 Text 类型的数据为 String 类型
			String line = value.toString();
			
			// 每一行作为一个数据
			outputkey.set(line);
			context.write(outputkey, outputvalue);
		}	
	}
	
	// 自定义类继承 Reducer 类，还需要设置 4 个泛型，前两个和 map 的输出类型保持一致，后两个根据分析结果决定
	private static class IpCountReducer extends Reducer<Text, IntWritable, Text, IntWritable>{
		
		// 2. 声明 reduce 程序输出的 outputKey 和 outputValue 变量
		private Text outputkey = new Text();
		private IntWritable outputvalue =new IntWritable();
		
		// 重写父类的 reduce 方法实现数据汇总并输出结果
		protected void reduce(Text key, Iterable<IntWritable> value,
				Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException{
			
			// 声明累加结果次数
			int count = 0;

			// 遍历 value 累加到 count
			for (IntWritable i : value) {
				// i 就是集合中的每个 1，通过 get() 方法转换为 int 类型
				count += i.get();
			}
			if (count > 350) {
				
				// 以ip为 key
				outputkey = key;
				// 以次数为 value
				outputvalue.set(count);
				// 进行输出
				context.write(outputkey, outputvalue);
				
			}
		}
	}

	// 在 main 方法中编写 job 相关代码
	public static void main(String[] args) {
		// 创建 Hadoop 集群的配置信息对象 Configuration
		Configuration conf = new Configuration();

		try {
			// 使用 Configuration 对象获取 Job 对象，需要捕获异常
			Job job = Job.getInstance(conf);

			// 设置 Job 程序的主类（main 方法所在的类）
			job.setJarByClass(IpCount3.class);

			// 设置 map 和 reduce 程序的类
			job.setMapperClass(IpCountMapper.class);
			job.setReducerClass(IpCountReducer.class);

			// 设置 map 程序输出数据的 key 和 value 类型
			job.setMapOutputKeyClass(Text.class);
			job.setMapOutputValueClass(IntWritable.class);

			// 设置 reduce 程序输出数据的 key 和 value 类型
			job.setOutputKeyClass(Text.class);
			job.setOutputValueClass(IntWritable.class);

			// 设置输入数据的保存位置
			// org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
			FileInputFormat.addInputPath(job, new Path("E:/java/ip-action.dat"));
			FileSystem.get(conf).delete(new Path("E:/java/IpAction/result5"), true);

			// 设置输出数据的保存位置
			FileOutputFormat.setOutputPath(job, new Path("E:/java/IpAction/result5"));

			// 执行 job 程序进行数据分析，注意捕获异常
			job.waitForCompletion(true);

		} catch (IOException e) {
			e.printStackTrace();
		} catch (ClassNotFoundException e) {
			e.printStackTrace();
		} catch (InterruptedException e) {
			e.printStackTrace();
		}

	}
	
}
Spark入门指南：大数据处理的第一个Hello World程序
AI天才研究院
05-10 984
随着数据量呈指数级增长，传统单机数据处理技术已无法满足需求。Apache Spark作为当前最主流的大数据处理框架，凭借其“快如闪电”的计算速度（基于内存计算）和“简单易用”的API设计，成为企业级大数据平台的核心工具。本文的目标是通过一个经典的“Hello World”程序（即WordCount词频统计），引导读者完成从环境搭建到程序运行的全流程，并深入理解Spark的核心机制。Spark的核心概念与架构分布式计算的基础逻辑PySpark环境搭建与配置。
Spark大数据处理讲课笔记2.2 搭建Spark开发环境
howard2005的专栏
03-20 1506
1. Spark开发环境准备工作； 2. 了解Spark的三种部署方式； 3. 搭建Spark单机版环境； 4. 搭建Spark Standalone集群； 5. 体验第一个Spark程序； 6. 在Spark Shell里基本操作； 7. 初识弹性分布式数据集RDD
使用hadoop实现ip地理位置统计~ip归属地和运营商
小鸡慢慢的专栏
10-29 2940
使用hadoop实现IP归属地的统计，为分析用户的地区分布提供数据
通过map reduce统计应用ip访问次数
04-17 3958
通过map reduce统计应用ip访问次数 shu
mapreduce数据统计实战总结
静湖微风
08-07 2921
问题: 日志文件是从若干台线上服务器用工具自动同步到HDFS,  每天几百G,  要统计某个字段的出现次数. 先后尝试过以下方法: 1.最初是用php写的mapreduce脚本.  少量测试文件ok, 但真正那hdfs中日志跑起来, 内存占用超高,  ini_set("memory_limit", "800M");时hadoop任务仍然以超内存限制失败.    但用memory_ge
Hadoop之MapReduce入门经典案列三：ip去重
m0_37657725的博客
07-01 1256
文件内容： 10.9.80.16 10.9.132.111 10.9.152.65 10.9.21.119 10.9.132.111 10.9.130.83 10.9.80.16 10.9.152.65 10.9.162.13 10.9.162.133 10.9.21.119 10.9.132.111 10.9.130.83 10.9.80.133 10.9.129.86 10.9.132.1...
使用MapReduce计算框架统计CDN日志IP数、流量等数据
赵侠客
05-26 2781
写在前面前面两篇文章中，我们使用Spark RDD及Spark Streaming 从CDN日志中计算出了独立IP数、每个视频独立IP数、每时CDN流量，这里我们将使用MapReduce计算框架，从同样的日志中完成相同的计算，前提是首页要搭建好Hadoop及HDFS运行环境独立IP计算计算思路 Map 在map中将每行的IP地址提取出来，并将(ip,1)输出 Reduce 在reduce中相同的ip
Spark实战
热门推荐
数据之路
06-24 2万+
01.Spark简介（Spark VS MapReduce） 02.Spark生态系统 03.Scala集合简介 04.spark的关键组件 05.核心概念：弹性分布式数据集 06.RDD的操作(转换（transformation）动作（actions）) 07.RDD依赖 08.Wordcount例子 09. 提交job 10.编程接口 11.Spark运行架构 12.Spark SQL 13.SparkStreaming 14.练习题 15.延伸
[Flink]一、Flink1.13
最新发布
weixin_44428807的博客
07-01 1450
1. Flink简介1.1 Flink的起源和设计理念flink项目的核心目标：数据流上的有状态计算（Stateful Computations over Data Streams)。时间驱动：来一个事件处理一个事件；流处理的流水线；流&批数据分析具体定位是：Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。1.2 Flink的应用。
大数据面试题汇总【有自己的和网上总结的】
牛逸凡的博客
07-17 2306
1. 选择题 1.1. 下面哪个程序负责 HDFS 数据存储。 c)Datanode  答案 C datanode 1.2. HDfS 中的 block 默认保存几份？ a)3 份  答案 A 默认 3 份 1.3. 下列哪个程序通常与 NameNode 在一个节点启动？ d)Jobtracker  答案 D 1.4. HDFS 默认 Block Size c)128MB  答案：...
【大数据教程】MapReduce基本架构、统计文件中每个字符出现的次数，IP去重、计算每个人的最高分，总分
微信号：RunsenLiu
02-17 1485
【大数据教程】MapReduce基本架构、统计文件中每个字符出现的次数，IP去重、计算每个人的最高分，总分
MapReduce提取一条日志文件中的IP，并计算出访问的次数
鱼爻
05-02 2620
这个和我 上篇博客中的代码差不多的，都是用的一个框架，因为原理都是差不多，所以稍微改一下算法就好了。 部分源数据如下： 117.135.212.67 - - [08/Mar/2018:22:35:42 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (K...
使用hadoop实现IP个数统计~并将结果写入数据库
小鸡慢慢的专栏
10-22 4544
通过hadoop中的MapReduce实现Apache日志中的IP个数统计，并将计算结果输出到mysql数据库中。
MapReduce练习IpAction
白墨的小白博客
09-27 271
统计每个 ip 做了多少次 操作 统计每个 操作，执行了多少次 每个 ip 的每个操作 执行了多少次（包括分区） 192.168.10.109 这个 ip 执行了多少次操作 每个 ip 的每个操作 执行了多少次，只看次数大于 400 的 ip-action数据文件下载： ...
05 MapReduce——IP去重
qq_34352013的博客
11-23 611
思路 去除重复用什么？Set reduce阶段本身就会去除重复 package ip; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Map...
MapReduce练习题
Biubiubiu!
03-07 1万+
觉得有帮助的，请多多支持博主，点赞关注哦~ 文章目录MapReduce练习题一、单选题二、描述题三、MR排序练习案例1、统计手机用户信息1、统计每年、每月各个网站的总的上行流量和下行流量2、统计每年、每月各个网站的总的上行流量排名前两名的网站3、统计每年、每月各个网站的总流量排后两名的网站4、统计136，138手机用户，在2018年访问各个网站总流量排名前1的用户2、统计营业额信息1、计算出每个加...
<python> 统计日志文件中某些字段出现的次数(例如ip访问次数, 和浏览器的数量)
LINUX(云计算)
07-12 1931
方法一: #'用于统计一个文件中某些字段出现的次数' import re def count_patt(fname, patt): patt_dict = {} cpatt = re.compile(patt) with open(fname) as fobj: for line in fobj: m = cpatt.searc...
mapreduce统计ip出现次数思路
06-08
首先，将IP地址数据按照一定的规则进行分片，每个分片包含一个或多个IP地址。然后，将每个分片分配给一个Mapper进行处理。Mapper的输入为IP地址，输出为<IP地址, 出现次数>键值对。对于每个IP地址，Mapper会将其输出一次，并将其出现次数设置为1。 接下来，将所有Mapper的输出按照IP地址进行分组，将同一IP地址的记录分配给同一个Reducer进行处理。Reducer的输入为IP地址和该IP地址的所有出现次数记录，输出为<IP地址, 总出现次数>键值对。Reducer会将该IP地址的所有出现次数相加，并将结果输出。 最后，将所有Reducer的输出合并起来，得到每个IP地址的出现次数。可以使用Hadoop的JobControl来实现MapReduce作业的控制和管理。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

kp6i9HIY4G7WPzH

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值