2010-01-16

最新推荐文章于 2024-08-31 17:32:40 发布
最新推荐文章于 2024-08-31 17:32:40 发布
阅读量439 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 工作学习 文章标签： 2010 工作
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/DoMyBest_Zhgc/article/details/5201316

2010-01-16    晴

      刚刚看完了<<阿凡达>>，很好看，无论是从视觉上还是情节上都很吸引。人应该坚强，坚强的人会赢得人们的爱戴，因为他可以为别人牺牲一切，坚强的人总有种敢于拼命的精力，胆大，心细，不害怕，不会退缩，这种人会受人喜欢的!

      现在呢，应该加一加班，因为今天还有些事情没有做完，我应该努力，一心想着，直到被做完，我觉得我有时太放松了。因为放松，以至于有时我都不知道我在做什么，所以就失去了魅力，整个人心情一落千丈。所以：在任何时候都要明白你在做什么，你将要成为什么样的人!!!

      慢慢的发现，人都很世道，对你好只是表面上的，他有目的，为了榨取你身上的价值。除上特别要好的朋友、父母外，其它人可能都是这样的。他遇到你说好话，说明他有事想求你，他想给你表现得乖一些，想给你留下一个好印象。我明白，今年的工作是辛苦的，但得到的却不是想象中，这些值得我深思。

      好了，不说了，下来着手把工作做一做吧。

明天做事方法：

1，每时每刻都明白在做什么，目标时刻在我心，否则你就没有魅力。

2，Just Do It!

3，what am i doing now?time-conscious!!!

4，做事快快快!!!

5,3秒

GB-国标标准目录
ISOGBDIN的博客
06-07 8779
序号国家标准编号国　　家　　标　　准　　名　　称代替标准号实施日期1GB/T 90.3-2010紧固件 质量保证体系 2011-10-012GB/T 262-2010石油产品和烃类溶剂苯胺点和混合苯胺点测定法GB/T 262-19882011-05-013GB/T 386-2010柴油十六烷值测定法GB/T 386-19912011-05-014GB/T 467-2010阴极铜GB/T 467-1...
APT AD16系列蜂鸣器-2010-01版选型册.rar
10-31
《AD16系列蜂鸣器》2010.01版.pdf 文件应包含了以上所有信息，并且可能还会有关于定制服务、技术支持、售后服务等方面的详细说明。作为设计和采购人员，理解这份选型册的内容能够帮助选择最适合项目需求的蜂鸣器，...
Day07-作业（MySQL查询&设计）
chuanchengdabing的博客
07-31 2387
能通过DQL语句完成-基础查询操作; 能通过DQL语句完成-条件查询操作; 能通过DQL语句完成-分组聚合操作; 能通过DQL语句完成-排序查询操作; 能通过DQL语句完成-分页查询操作; 能够说出常见的三种多表关系及在数据库中如何维护; 能够理解外键的作用（了解）; 知道多表设计的思路和流程;
node-red - 节点实战总结
weixin_44462773的博客
11-24 7121
node-red节点学习实战
MyBatis-Day01
Anoraker的小屋
03-06 6938
MyBatis 在2010年之前MyBatis叫IBatis,2010年改名为MyBatis. MYBatis是一个实现了数据持久化的开源框架. ORMapping: Object Relationship Mapping (对象关系映射). 如何使用 新建Maven, 编辑pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0"
Java--Java版本和JDK版本
MinggeQingchun的博客
10-01 8万+
对于Java初学者，经常会听到同事，或看到网上Java版本和JDK版本不一的叫法，不明白这两者到底什么关系？其实博主当年初学Java时也有这样的困惑，今天我们就来好好探讨一下，如有不对之处，请加以指正，不喜勿喷，谢谢！ Java版本叫法：Java6、Java8、Java11、Java13 (当前最新版本Java17) 等这一类 “Java X” 的Java版本名称 同时又会听到，看到 JDK版本叫法：JDK1.6、JDK1.8等这种“J...
Seasonal-ARIMA模型
qq_42997268的博客
11-14 4868
ARIMA and Seasonal-ARIMA模型 Autore gressive Integrated Moving Averages 建立ARIMA 模型的一般过程如下： 1: 模块导入，加载数据，并可视化时间序列数据 2：平稳性检验 3：序列平稳化 4：白噪声检验 5: 时间序列定阶 6：构建ARIMA模型及预测 1: 模块导入，加载数据，并可视化时间序列数据 1.1: 模块导入，加载数据 #from model.arimaModel import * # 导入自定义的方法 impor
Http中Content-Type的详解
热门推荐
阿祥小王子的博客
06-04 10万+
敬请关注博客，后期不断更新优质博文，谢谢 这里讲解Content-Type的可用值，以及在spring MVC中如何使用它们来映射请求信息。 1.  Content-Type   MediaType，即是Internet Media Type，互联网媒体类型；也叫做MIME类型，在Http协议消息头中，使用Content-Type来表示具体请求中的媒体类型信息。  例如： Content-...
数据库操作-DQL
actavy的博客
08-31 2218
DQL英文全称是Data Query Language(数据查询语言)，用来查询数据库表中的记录。查询关键字：SELECT查询操作是所有SQL语句当中最为常见，也是最为重要的操作。在一个正常的业务系统中，查询操作的使用频次是要远高于增删改操作的。当我们打开某个网站或APP所看到的展示信息，都是通过从数据库中查询得到的，而在这个查询过程中，还会涉及到条件、排序、分页等操作。
macOS Command - xattr
AI工程化、开源分享、文档翻译、代码笔记
01-23 1万+
xattr 命令简介 xattr – display and manipulate extended attributes xattr 命令用于展示和修改扩展属性； 个人认为 xattr 可以看做是 extend 和 attributes 的缩写。 什么是扩展属性？ 扩展属性是与文件一起存储的任意元数据，但与文件系统属性（如修改时间或文件大小）是分开的。 元数据通常是以null结尾的UTF-8字符串，但也可以是任意二进制数据。 有哪些扩展属性，都代表什么意思？ 常见用法 $ xattr -h usa
spring-core-4.1.1.RELEASE.jar下载、源码下载
qiangqiang816的博客
08-09 2477
version：4.1.1.RELEASE 文件名 时间 大小 下载 spring-core-4.1.1.RELEASE-javadoc.jar 2014-10-01 1.29M 下载 spring-core-4.1.1.RELEASE-sources.jar 2014-10-01 632.46K 下载 spring-core-4...
MINI2440原理图2010-01-27.pdf
10-15
- 文件中提到“修正了网络座RJ-45原理图的内部定义updated: 2010-1-27”，这意味着在该日期之前的设计可能存在一定的错误或不足之处，需要特别注意。 综上所述，MINI2440原理图涵盖了核心处理器、存储器、外设接口...
PCI-Express-Base-6.2-2024-01-25.pdf
04-11
- **PCI Express 4.0 (2017)**：引入了新的数据编码方案，进一步提高传输速度至16 GT/s。 - **PCI Express 5.0 (2019)**：继续提升数据传输速度至32 GT/s。 - **PCI Express 6.0 (2021)**：最新的版本，支持64 GT/s...
自考数据结构导论试题2010-01
05-05
本文主要基于2010年1月的高等教育自学考试《数据结构导论》试题，来阐述其中涉及的数据结构相关知识点。 1. 文件存储类型： - 顺序文件：数据按照输入的顺序连续存储，适合于磁带存储，因为磁带是顺序访问的介质。...
SIEMENS SN 29500 1-16.全系列,13个文件
04-10
2. **SIEMENS SN 29500-16-2010.pdf**：作为系列的最后部分，16号文档同样发布于2010年，可能包含了综合性的总结或者最新的补充规定，对于理解整个SN 29500系列至关重要。 3. **SIEMENS SN 29500-6-1995.pdf**：这...
pngquant-2.12.5-1.el8.tar.gz
09-10
# 适用操作系统：Centos8 #Step1、解压 tar -zxvf xxx.el8.tar.gz #Step2、进入解压后的目录，执行安装 sudo rpm -ivh *.rpm
poezio-0.13.1-3.el8.tar.gz
09-10
# 适用操作系统：Centos8 #Step1、解压 tar -zxvf xxx.el8.tar.gz #Step2、进入解压后的目录，执行安装 sudo rpm -ivh *.rpm
Excel表格通用模板：装修装潢预算表(实用).xls
最新发布
09-10
Excel表格通用模板：装修装潢预算表(实用).xls
portreserve-0.0.5-19.el8.tar.gz
09-10
# 适用操作系统：Centos8 #Step1、解压 tar -zxvf xxx.el8.tar.gz #Step2、进入解压后的目录，执行安装 sudo rpm -ivh *.rpm
实验3-统计某电商网站买家收藏商品数量 现有某电商网站用户对商品的收藏数据，记录了用户收藏的商品id以及收藏日期，名为buyer_favorite1。buyer_favorite1包含：买家id，商品id，收藏日期这三个字段，数据以“\t”分割，样本数据及格式如下： 1.买家id 商品id 收藏日期 2.10181 1000481 2010-04-04 16:54:31 3.20001 1001597 2010-04-07 15:07:52 4.20001 1001560 2010-04-07 15:08:27 5.20042 1001368 2010-04-08 08:20:30 6.20067 1002061 2010-04-08 16:45:33 7.20056 1003289 2010-04-12 10:50:55 8.20056 1003290 2010-04-12 11:57:35 9.20056 1003292 2010-04-12 12:05:29 10.20054 1002420 2010-04-14 15:24:12 11.20055 1001679 2010-04-14 19:46:04 12.20054 1010675 2010-04-14 15:23:53 13.20054 1002429 2010-04-14 17:52:45 14.20076 1002427 2010-04-14 19:35:39 15.20054 1003326 2010-04-20 12:54:44 16.20056 1002420 2010-04-15 11:24:49 17.20064 1002422 2010-04-15 11:35:54 18.20056 1003066 2010-04-15 11:43:01 19.20056 1003055 2010-04-15 11:43:06 20.20056 1010183 2010-04-15 11:45:24 21.20056 1002422 2010-04-15 11:45:49 22.20056 1003100 2010-04-15 11:45:54 23.20056 1003094 2010-04-15 11:45:57 24.20056 1003064 2010-04-15 11:46:04 25.20056 1010178 2010-04-15 16:15:20 26.20076 1003101 2010-04-15 16:37:27 27.20076 1003103 2010-04-15 16:37:05 28.20076 1003100 2010-04-15 16:37:18 29.20076 1003066 2010-04-15 16:37:31 30.20054 1003103 2010-04-15 16:40:14 31.20054 1003100 2010-04-15 16:40:16 要求编写MapReduce程序，统计每个买家收藏商品数量，并撰写实验报告。直接给出完整的代码即可
03-28
<think>好的，我现在需要帮助用户解决他们的实验问题，也就是统计电商网站每个买家收藏商品的数量，并编写MapReduce程序。首先，我得仔细理解用户的需求。 用户提供的样例数据有三个字段：买家id、商品id和收藏日期，用制表符分隔。目标是统计每个买家收藏了多少个不同的商品。这里需要注意的是，可能同一个买家会多次收藏同一个商品，所以是否需要去重呢？根据用户的要求，是“收藏商品数量”，通常这种情况下是统计每个买家收藏的商品数量，而不是次数，所以可能需要去重。但用户给出的样例数据中，例如买家20056在2010-04-15多次收藏不同的商品id，可能每个商品id是唯一的。但为了保险起见，可能需要确认是否需要去重。不过根据问题描述，可能直接统计每个买家的记录数即可，但用户可能需要的是每个买家收藏了多少个不同的商品，这时候应该去重。比如，如果同一买家收藏同一商品多次，只算一次。 所以，我得确定处理逻辑。在Map阶段，应该输出买家id和商品id作为键值对吗？或者，是否需要将买家id作为键，商品id作为值，然后在Reduce阶段进行去重统计？ 正确的做法应该是将买家id作为键，商品id作为值，然后在Reducer中对每个买家对应的所有商品id进行去重计数。或者，也可以在Map阶段直接输出买家id和商品id的组合作为中间键，这样在Reducer中可以更高效地统计。或者，在Mapper中输出复合键（买家id，商品id），然后在Reducer中统计每个买家的不同商品数量。 不过，在MapReduce中，通常的做法是在Mapper中输出键值对，其中键是用于分组的字段，而值是需要处理的数据。为了统计每个买家的不同商品数，我们需要将每个买家id和商品id的组合作为中间键，以确保相同的买家和商品只计数一次。但MapReduce会自动将相同的键分到同一个Reducer中，所以如果以（买家id，商品id）作为键，在Reducer中每个键只会出现一次，这样可以统计每个买家有多少个不同的商品id。或者，可以在Mapper中发送买家id作为键，商品id作为值，然后在Reducer中使用一个集合（Set）来去重商品id的数量。 两种方法各有优劣。第一种方法，使用复合键的话，可能需要一个Combiner来优化，或者在Reducer中直接统计每个买家对应的不同商品数量。而第二种方法，Reducer需要维护一个集合来存储商品id，这可能在数据量大的时候导致内存问题。因此，更高效的方法可能是在Mapper中将买家id作为键，商品id作为值，然后在Reducer中使用一个HashSet来去重，最后统计数量。 但是，对于大规模数据来说，使用HashSet可能会消耗较多内存，特别是当某个买家收藏了上百万商品时。这时候可以考虑使用布隆过滤器或者其他结构，但对于这个实验来说，假设数据量不大，直接用HashSet是可行的。 接下来，我需要编写Map和Reduce的代码。对于Mapper来说，需要读取每一行，分割出买家id和商品id，然后将买家id作为key，商品id作为value发送出去。但是需要注意，可能同一买家在同一商品上有多次收藏，所以需要在Reducer中进行去重。 所以Mapper的输出是（买家id，商品id），然后Reducer接收到同一个买家id的所有商品id，将它们放入一个集合中，最后统计集合的大小。 但是，在MapReduce中，如果每个商品id对应同一个买家id，那么在Reducer中，可以通过将商品id添加到一个HashSet中，自动去重，然后统计数量。 现在，针对代码部分，用户要求的是完整的代码，包括MapReduce的Java代码。所以需要写出Mapper类、Reducer类，以及驱动程序的设置。 需要注意的是，输入文件的格式是用制表符分割的三个字段，所以需要正确分割每行数据。此外，要处理可能的异常，比如行数据不符合格式的情况，但实验可能假设数据都是正确的。 Mapper的逻辑： 读取每一行，分割成三个部分：买家id、商品id、日期。然后输出key为买家id，value为商品id。 Reducer的逻辑： 对于每个买家id，收集所有的商品id，存入一个HashSet中，然后输出买家id和HashSet的大小。 同时，需要注意在Hadoop中，Mapper和Reducer的输入输出类型。通常，使用Text作为键和值的类型。所以Mapper的输出是Text（买家id）作为key，Text（商品id）作为value。Reducer的输出是Text（买家id）和IntWritable（数量）。 现在编写具体的代码： Mapper类： public static class TokenizerMapper extends Mapper<Object, Text, Text, Text> { private Text buyerId = new Text(); private Text itemId = new Text(); public void map(Object key, Text value, Context context) throws IOException, InterruptedException { String[] parts = value.toString().split("\t"); if (parts.length >= 3) { String bid = parts[0].trim(); String item = parts[1].trim(); buyerId.set(bid); itemId.set(item); context.write(buyerId, itemId); } } } Reducer类： public static class IntSumReducer extends Reducer<Text, Text, Text, IntWritable> { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException { Set<String> uniqueItems = new HashSet<>(); for (Text val : values) { uniqueItems.add(val.toString()); } result.set(uniqueItems.size()); context.write(key, result); } } 驱动程序： public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "buyer favorite count"); job.setJarByClass(BuyerFavoriteCount.class); job.setMapperClass(TokenizerMapper.class); job.setReducerClass(IntSumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); // Mapper的输出value类型是Text // 因为Reducer的输入是Text和Text，所以需要设置Map输出的key和value类型 job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(Text.class); // Reducer的输出是Text和IntWritable job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } 需要注意的是，驱动程序中需要正确设置Mapper和Reducer的输出类型。因为Reducer的输出key是Text，value是IntWritable，所以job.setOutputKeyClass和setOutputValueClass应该对应。而Mapper的输出key和value是Text和Text，所以需要单独设置setMapOutputKeyClass和setMapOutputValueClass。 在Hadoop中，如果Mapper和Reducer的输出类型不一致，必须明确设置。比如，Reducer的输出是Text和IntWritable，而Mapper的输出是Text和Text，所以需要分别设置。 这样，整个程序就可以正确统计每个买家的不同商品数量。例如，在样例数据中，买家20056有多个收藏记录，但可能收藏不同的商品id，所以Reducer会将它们去重后统计数量。 最后，用户可能需要这个程序的完整代码，包括import语句和类定义。所以需要补全这些部分。 完整的Java代码如下： import java.io.IOException; import java.util.HashSet; import java.util.Set; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class BuyerFavoriteCount { public static class TokenizerMapper extends Mapper<Object, Text, Text, Text> { private Text buyerId = new Text(); private Text itemId = new Text(); @Override public void map(Object key, Text value, Context context) throws IOException, InterruptedException { String[] parts = value.toString().split("\t"); if (parts.length >= 3) { String bid = parts[0].trim(); String item = parts[1].trim(); buyerId.set(bid); itemId.set(item); context.write(buyerId, itemId); } } } public static class IntSumReducer extends Reducer<Text, Text, Text, IntWritable> { private IntWritable result = new IntWritable(); @Override public void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException { Set<String> uniqueItems = new HashSet<>(); for (Text val : values) { uniqueItems.add(val.toString()); } result.set(uniqueItems.size()); context.write(key, result); } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "buyer favorite count"); job.setJarByClass(BuyerFavoriteCount.class); job.setMapperClass(TokenizerMapper.class); job.setReducerClass(IntSumReducer.class); job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(Text.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } } 这样，用户就可以将这个代码编译打包成JAR文件，在Hadoop集群上运行，输入路径和输出路径作为参数传入。运行结果会得到每个买家id对应的收藏商品数量，且已经去重。</think>以下是完整的MapReduce程序代码，用于统计每个买家收藏商品数量： ```java import java.io.IOException; import java.util.HashSet; import java.util.Set; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class BuyerFavoriteCount { public static class FavoriteMapper extends Mapper<Object, Text, Text, Text> { private Text buyerId = new Text(); private Text itemId = new Text(); public void map(Object key, Text value, Context context ) throws IOException, InterruptedException { String[] fields = value.toString().split("\t"); if (fields.length >= 3) { buyerId.set(fields[0].trim()); itemId.set(fields[1].trim()); context.write(buyerId, itemId); } } } public static class FavoriteReducer extends Reducer<Text, Text, Text, IntWritable> { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable<Text> values, Context context ) throws IOException, InterruptedException { Set<String> uniqueItems = new HashSet<>(); for (Text val : values) { uniqueItems.add(val.toString()); } result.set(uniqueItems.size()); context.write(key, result); } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "Buyer Favorite Count"); job.setJarByClass(BuyerFavoriteCount.class); job.setMapperClass(FavoriteMapper.class); job.setReducerClass(FavoriteReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(Text.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } } ``` ### 代码说明 1. **Mapper阶段**： - 输入格式：`<行偏移量, 文本行>` - 解析每行数据，提取买家ID和商品ID - 输出键值对：`<买家ID, 商品ID>` 2. **Reducer阶段**： - 使用HashSet对商品ID进行去重 - 统计唯一商品数量 - 输出格式：`<买家ID, 收藏商品数量>` 3. **程序特征**： - 处理数据格式：TSV文本文件 - 自动过滤不符合格式的记录 - 精确统计唯一商品数量（自动去重） ### 执行方式 1. 将代码打包为JAR文件 2. 在Hadoop集群执行命令： ```shell hadoop jar BuyerFavoriteCount.jar /input/path /output/path ``` ### 输出结果示例 ``` 10181 1 20001 2 20042 1 20054 5 20055 1 ... ``` 每个买家ID后面对应其收藏的唯一商品数量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值