hadoop学习笔记

临摹了一个代码:

import java.io.IOException;?
import java.util.Iterator;?
import java.util.StringTokenizer;?
?
import org.apache.hadoop.fs.Path;?
import org.apache.hadoop.io.IntWritable;?
import org.apache.hadoop.io.LongWritable;?
import org.apache.hadoop.io.Text;?
import org.apache.hadoop.mapred.FileInputFormat;?
import org.apache.hadoop.mapred.FileOutputFormat;?
import org.apache.hadoop.mapred.JobClient;?
import org.apache.hadoop.mapred.JobConf;?
import org.apache.hadoop.mapred.MapReduceBase;?
import org.apache.hadoop.mapred.Mapper;?
import org.apache.hadoop.mapred.OutputCollector;?
import org.apache.hadoop.mapred.Reducer;?
import org.apache.hadoop.mapred.Reporter;?
import org.apache.hadoop.mapred.TextInputFormat;?
import org.apache.hadoop.mapred.TextOutputFormat;?
/**
*?
* 描述:WordCount explains by Felix
* @author Hadoop Dev Group
*/?
public class WordCount?
{?
?
??? /**
???? * MapReduceBase类:实现了Mapper和Reducer接口的基类(其中的方法只是实现接口,而未作任何事情)
???? * Mapper接口:
???? * WritableComparable接口:实现WritableComparable的类可以相互比较。所有被用作key的类应该实现此接口。
???? * Reporter 则可用于报告整个应用的运行进度,本例中未使用。?
???? *?
???? */?
??? public static class Map extends MapReduceBase implements?
??????????? Mapper<LongWritable, Text, Text, IntWritable>?
??? {?
??????? /**
???????? * LongWritable, IntWritable, Text 均是 Hadoop 中实现的用于封装 Java 数据类型的类,这些类实现了WritableComparable接口,
???????? * 都能够被串行化从而便于在分布式环境中进行数据交换,你可以将它们分别视为long,int,String 的替代品。
???????? */?
??????? private final static IntWritable one = new IntWritable(1);?
??????? private Text word = new Text();?
?????????
??????? /**
???????? * Mapper接口中的map方法:
???????? * void map(K1 key, V1 value, OutputCollector<K2,V2> output, Reporter reporter)
???????? * 映射一个单个的输入k/v对到一个中间的k/v对
???????? * 输出对不需要和输入对是相同的类型,输入对可以映射到0个或多个输出对。
???????? * OutputCollector接口:收集Mapper和Reducer输出的<k,v>对。
???????? * OutputCollector接口的collect(k, v)方法:增加一个(k,v)对到output 输出是map(k,list(v1,v2……))
???????? */?
??????? public void map(LongWritable key, Text value,?
??????????????? OutputCollector<Text, IntWritable> output, Reporter reporter)?
??????????????? throws IOException?
??????? {?
??????????? String line = value.toString();?
??????????? StringTokenizer tokenizer = new StringTokenizer(line);?
??????????? while (tokenizer.hasMoreTokens())?
??????????? {?
??????????????? word.set(tokenizer.nextToken());?
??????????????? output.collect(word, one);?
??????????? }?
??????? }?
??? }?
?
??? public static class Reduce extends MapReduceBase implements?
??????????? Reducer<Text, IntWritable, Text, IntWritable>?
??? {?
??????? public void reduce(Text key, Iterator<IntWritable> values,?
??????????????? OutputCollector<Text, IntWritable> output, Reporter reporter)?
??????????????? throws IOException?
??????? {?
??????????? int sum = 0;?
??????????? while (values.hasNext())?
??????????? {?
??????????????? sum += values.next().get();?
??????????? }?
??????????? output.collect(key, new IntWritable(sum));?
??????? }?
??? }?
?
??? public static void main(String[] args) throws Exception?
??? {?
??????? /**
???????? * JobConf:map/reduce的job配置类,向hadoop框架描述map-reduce执行的工作
???????? * 构造方法:JobConf()、JobConf(Class exampleClass)、JobConf(Configuration conf)等
???????? */?
??????? JobConf conf = new JobConf(WordCount.class);?
??????? conf.setJobName("wordcount");?????????? //设置一个用户定义的job名称?
?
??????? conf.setOutputKeyClass(Text.class);??? //为job的输出数据设置Key类?
??????? conf.setOutputValueClass(IntWritable.class);?? //为job输出设置value类?
?
??????? conf.setMapperClass(Map.class);???????? //为job设置Mapper类?
??????? conf.setCombinerClass(Reduce.class);????? //为job设置Combiner类?
??????? conf.setReducerClass(Reduce.class);??????? //为job设置Reduce类?
?
??????? conf.setInputFormat(TextInputFormat.class);??? //为map-reduce任务设置InputFormat实现类?
??????? conf.setOutputFormat(TextOutputFormat.class);? //为map-reduce任务设置OutputFormat实现类?
?
??????? /**
???????? * InputFormat描述map-reduce中对job的输入定义
???????? * setInputPaths():为map-reduce job设置路径数组作为输入列表
???????? * setInputPath():为map-reduce job设置路径数组作为输出列表
???????? */?
??????? FileInputFormat.setInputPaths(conf, new Path(args[0]));?
??????? FileOutputFormat.setOutputPath(conf, new Path(args[1]));?
?
??????? JobClient.runJob(conf);???????? //运行一个job?
??? }?
}?

把相应的imagejar包放在eclipse里了,然后把源代码和jar文件达成个jar包,放在hadoop服务器上。编写word.txt文件放在特定目录中 我放在了bin下。

运行 ./hadoop jar /opt/gy.jar hadoop.WordCount word.txt? out?

统计完的文件在out下。定时的话采用crontab定时

内容概要:本文详细介绍了900W或1Kw,20V-90V 10A双管正激可调电源充电机的研发过程和技术细节。首先阐述了项目背景,强调了充电机在电动汽车和可再生能源领域的重要地位。接着深入探讨了硬件设计方面,包括PCB设计、磁性器件的选择及其对高功率因数的影响。随后介绍了软件实现,特别是程序代码中关键的保护功能如过流保护的具体实现方法。此外,文中还提到了充电机所具备的各种保护机制,如短路保护、欠压保护、电池反接保护、过流保护和过温度保护,确保设备的安全性和可靠性。通讯功能方面,支持RS232隔离通讯,采用自定义协议实现远程监控和控制。最后讨论了散热设计的重要性,以及为满足量产需求所做的准备工作,包括提供详细的PCB图、程序代码、BOM清单、磁性器件和散热片规格书等源文件。 适合人群:从事电力电子产品研发的技术人员,尤其是关注电动汽车充电解决方案的专业人士。 使用场景及目标:适用于需要高效、可靠充电解决方案的企业和个人开发者,旨在帮助他们快速理解和应用双管正激充电机的设计理念和技术要点,从而加速产品开发进程。 其他说明:本文不仅涵盖了理论知识,还包括具体的工程实践案例,对于想要深入了解充电机内部构造和工作原理的人来说是非常有价值的参考资料。
内容概要:本文档详细介绍了机器人/AGV/AMR与电梯系统之间的模式切换操作指南。涵盖人工切换模式、智能自动切换以及智慧软件调控三大方面。通过AGV模式切换读卡器实现人工与机器人模式间的转换,利用无源触点隔离技术和多协议适配接口确保电梯与机器人系统的无缝对接,并设有硬件级互锁电路保障安全。智能自动切换中,机器人通过485通讯、TCP/IP等与电梯控制系统交互,在确认安全条件下启动专用模式并及时恢复。故障应急响应策略包括三级容错机制、智能诊断系统和安全优先策略,确保电梯运行的安全性和可靠性。智慧软件调控则根据场景需求灵活调整模式,提升物流高峰时段的运输效率,同时兼顾日常的人性化需求。硬件协同部分介绍了AGV电梯控制主板、楼层触点扩展板、电梯状态检测器、楼层传感器和外呼控制器等组件的作用。 适合人群:从事机器人、AGV、AMR研发与维护的技术人员,以及负责电梯系统集成和管理的专业人士。 使用场景及目标:①实现机器人/AGV/AMR与电梯系统的无缝对接;②确保模式切换过程中的安全性与可靠性;③提高物流高峰时段的运输效率;④优化日常运营中的人性化需求。 其他说明:本文档不仅提供了具体的操作步骤和技术细节,还强调了系统设计的安全性和智能化特点,适用于各类主流电梯品牌,并通过多种通信协议实现了广泛的兼容性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值