20160918

最新推荐文章于 2021-08-01 10:03:46 发布
原创 最新推荐文章于 2021-08-01 10:03:46 发布 · 196 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

反射，概念，如何获得class对象，class对象api
Field,Method,Construct的api
跳过安全检查
利用反射获得对象，利用反射调用域，方法，构造器
利用反射操作泛型和注解

注解，含义，用途，使用方法，内置注解
自定义注解 @interface
属性类型，属性名
元注解target,rentein
利用反射机制读取解析注解运用到实际中

内部类，静态内部类只能用静态属性和方法
成员内部类，需要外部类对象引用，不能有静态属性和方法，除非是final的属性
局部内部类，写到方法内，不能访问方法的变量，除非是final
匿名内部类,接口式，继承式，参数式

券世界-U问题汇总-20160918-反馈.doc
10-14
在当今竞争激烈的移动互联网时代，用户界面（UI）和用户体验（UX）的优化已经成为了产品能否脱颖而出的关键。2016年9月18日，券世界针对其UI问题进行了集中讨论，旨在通过问题的汇总和反思，提出针对性的改进建议，...
申万宏源_20160918_申万宏源大师系列成长投资篇之五：詹姆斯欧斯拉格GARP投资法.pdf
05-12
在金融投资领域中，成长投资策略一直是投资者追求高回报的重要方式。而GARP（Growth at a Reasonable Price）投资法则是一种结合成长股投资与价值投资的策略，旨在寻找那些成长性较高且估值相对合理的公司股票进行...
学习日记20160918
Amergo的博客
09-23 275
The C Programming Language ANSI C
Java: HttpURLConnection 使用多线程加快批量Post/Get的效率_20160918_七侠镇莫尛貝
choukai4333的博客
04-13 1759
使用多线程，可大大提高批量Post/Get操作的效率。 Post线程类： class Thread_Http_Post extends Thread{ public static String cookieVal = "" private String htt...
下周计划20160912-20160918
飘在上海的北方人
09-11 133
1、Java类加载器的时机、过程（写博客）。 2、类加载器的父子关系，双亲委派模型与破坏双亲委派模型（写博客）。 3、GC的回收策略，JVM的内存模型（温习，并准备做总结）。...
20160918CentOS7系统YUM安装MYSQL5.7.15
wangchangshu2的博客
09-18 1796
作为一个菜鸟第一步当然都是去百度CentOS 7 最小系统里默认是没有MYSQL 5.7.15的源所以我们第一要务当然是找个源了去官网找到源http://dev.mysql.com/downloads/file/?id=465603在CentOS 7里下载 # wget  http://repo.mysql.com/mysql57-community-release-el7-9.noarch.rp...
阿里云官网文档勘误或补充，20160918
weixin_34356310的博客
09-18 82
（不定期更新。 仅代表在撰写的时刻的文档状态的个人意见。 大部分勘误均有实测，但不保障过去、目前和未来均100%正确。 正确与否来自于官方正式回复和各位实际项目验证。 欢迎留言交流。） OSS，在阿里金融云文档中提及杭州金融云OSS存在如下限制： https://help.aliyun.com/document_detail/29865.html?s...
末尾0的个数_晶_didi_20160918
yanxiyu_2005的博客
09-19 391
题目描述 输入一个正整数n，求n!(即阶乘)末尾有几个0？比如n=10，n!=3628800，所以答案为2.输入描述： || 输入为一行，n(1≤1≤1000) n(1\le1\le1000) 输出描述： || 输出为一个整数，即题目所求。源代码如下：#include <iostream>
[李景山php]每天laravel-20160918|HashServerProvider
weixin_34351321的博客
07-20 86
<?php namespaceIlluminate\Hashing; useIlluminate\Support\ServiceProvider; //namespace classHashServiceProviderextendsServiceProvider { /** *Indicatesifloadingofthe...
Poedu_C语言_lesson17_20160918_运算符简介
qq_34172153的博客
09-28 252
语句的组成： 关键字：32个基础类型（必须知道！） 运算符（要知道优先级）  =:并不是和数学一样表示相等，而是用来赋值的，C语言中，用==来表示相等 sizeof  返回类型是size_t   单位是byte %  取余 语句的分类： 赋值语句  数据对象 代表的是一段空间，即当前数据类型所
20160918iOS音频开发之资源（AVAsset）与元数据，解决获取资源属性问题（三）
热门推荐
u011397277的专栏
09-18 1万+
文主要是源码的分析，程序的结果可以查看20160916IOS音频开发之资源与元数据，解决获取资源属性问题(一)的截图，程序成功解决获取媒体元数据的信息，还可以对除了MP3之外的所有资源写入元数据信息。再次回顾我们的问题。 先提出一个问题，生活中有很多的媒体格式，mp3，avi，rmvb等等，在苹果环境下主要的媒体格式有4种，QuickTime(mov),MPEG-4 video(mp4,m4v),MPEG-4 audio(m4a),MPEG-Layer III audio(mp3),那么问题来了，假如给你一
惠家有APP版本更新记录20160918.xlsx
09-17
惠家有APP版本更新记录20160918.xlsx
20160918_0920-RACV2016-李娜1
08-04
背景是在人工智能+的大数据时代，继续高效的智能应用将上传的视频进行标签分类，它的过程分为拆分、编目、审核、发布，竞赛需要通过计算机算法对输入视频进行自动标签识别
seo软件全网站死链接重复文章检查工具足迹20160918版
09-18
1、主要功能：抓取网站所有链接，并进行测试，找出死链接，循环黑洞链接，会受百度等搜索引擎惩罚的非法页面。 2、支持单个域名下页面千万级别的网站数据抓取和诊断。 3、无需安装，各种操作系统都可以直接运行。...
DDD的理解
idealemail的博客
08-01 3705
DDD 领域驱动设计:是一种设计思想,应用到IT技术领域,主要是指导微服务设计和划分的思想. 微服务的划分和设计是根据业务和技术两个方面来划分的,DDD之前的微服务划分是偏向于根据技术来划分,DDD更强调根据业务属性来划分微服务.从而达到微服务的高内聚,低耦合,扩展性强的设计目的. 微服务划分存在过粗或过细两个极端,过粗的微服务需要进一步划分,过细的微服务划分需要聚敛. ...
20161017
idealemail的博客
10-30 354
jvm运行时数据区 pc，记录线程执行的字节码的行号，控制流程以及线程切换 栈，后进先出结构，方法调用，栈桢，局部变量表，操作数栈，方法出口等 堆，逻辑上连续，存储对象 方法区，class文件，class对象，常量，static变量 运行时常量池，存在于方法区，保存class文件中的常量池的符号引用，常量，直接引用 创建对象 加载类 new对象时，先检查运行时常量池
20160917
idealemail的博客
10-30 312
命令模式，解释器模式，访问者模式 策略模式，类似switch ,但是把每种策略单独出来封装成类，符合开闭原则，策略接口，各种策略实现类，统一的调用者 模板方法模式，父类事先设计好整个流程，实现大部分相同的步骤，在需要特殊对待的步骤使用抽象方法，子类实现，然后父类方法链中调用之类方法，是多态的具体应用 状态模式，状态接口，切换状态的方法，实际状态类，实现抽象方法 co
20160926
idealemail的博客
10-30 310
Rpc概念remote produle call，远程服务调用，实现dubbo Jms概念java message service，java消息传递,实现active mq
package org.apache.hadoop.io.nativeio; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util.Tool; import org.apache.hadoop.util.ToolRunner; import java.io.IOException; import java.util.HashSet; import java.util.Set; public class MergeAndDeduplicate implements Tool { private Configuration conf; // Mapper类 public static class MergeMapper extends Mapper<Object, Text, Text, Text>{ private final Text word = new Text(); @Override protected void map(Object key, Text value, Context context) throws IOException, InterruptedException { // 按行读取数据，将每行数据作为key，value为空 String line = value.toString(); word.set(line); context.write(word, new Text("")); } } // Reducer类 public static class MergeReducer extends Reducer<Text,Text,Text,Text> { private final Set<String> uniqueSet = new HashSet<>(); @Override protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException { if (!uniqueSet.contains(key.toString())) { uniqueSet.add(key.toString()); context.write(key, new Text("")); } } } @Override public int run(String[] args) throws Exception { if (args.length < 3) { System.err.println("Usage: MergeAndDeduplicate <inputPath1> <inputPath2> <outputPath>"); return 1; } Job job = Job.getInstance(conf, "Merge and Deduplicate"); job.setJarByClass(MergeAndDeduplicate.class); job.setMapperClass(MergeMapper.class); job.setReducerClass(MergeReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileInputFormat.addInputPath(job, new Path(args[1])); FileSystem fs = FileSystem.get(conf); Path outputPath = new Path(args[2]); if (fs.exists(outputPath)) { System.out.println("警告: 输出路径 " + outputPath + " 已存在，将被删除."); fs.delete(outputPath, true); } FileOutputFormat.setOutputPath(job, outputPath); boolean success = job.waitForCompletion(true); return success? 0 : 1; } @Override public Configuration getConf() { return conf; } @Override public void setConf(Configuration conf) { this.conf = conf; } public static void main(String[] args) throws Exception { int exitCode = ToolRunner.run(new Configuration(), new MergeAndDeduplicate(), args); System.exit(exitCode); } }打包jar包运行[zhangqianpeng@hadoop102 ~]$ hadoop jar HDFS.jar org.apache.hadoop.io.nativeio.MergeAndDeduplicate /user/zhangqianpeng/input/XX.txt /user/zhangqianpeng/input/YY.txt /user/zhangqianpeng/output 警告: 输出路径 /user/zhangqianpeng/input/YY.txt 已存在，将被删除. 2025-06-02 16:39:31,356 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.10.103:8032 2025-06-02 16:39:31,833 INFO mapreduce.JobResourceUploader: Disabling Erasure Coding for path: /tmp/hadoop-yarn/staging/zhangqianpeng/.staging/job_1748850692615_0003 2025-06-02 16:39:31,925 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false 2025-06-02 16:39:32,274 INFO mapreduce.JobSubmitter: Cleaning up the staging area /tmp/hadoop-yarn/staging/zhangqianpeng/.staging/job_1748850692615_0003 Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://hadoop102:8020/user/zhangqianpeng/org.apache.hadoop.io.nativeio.MergeAndDeduplicate at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:332) at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus(FileInputFormat.java:274) at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.getSplits(FileInputFormat.java:396) at org.apache.hadoop.mapreduce.JobSubmitter.writeNewSplits(JobSubmitter.java:310) at org.apache.hadoop.mapreduce.JobSubmitter.writeSplits(JobSubmitter.java:327) at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:200) at org.apache.hadoop.mapreduce.Job$11.run(Job.java:1570) at org.apache.hadoop.mapreduce.Job$11.run(Job.java:1567) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1729) at org.apache.hadoop.mapreduce.Job.submit(Job.java:1567) at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1588) at org.apache.hadoop.io.nativeio.MergeAndDeduplicate.run(MergeAndDeduplicate.java:72) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76) at org.apache.hadoop.io.nativeio.MergeAndDeduplicate.main(MergeAndDeduplicate.java:87) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.hadoop.util.RunJar.run(RunJar.java:318) at org.apache.hadoop.util.RunJar.main(RunJar.java:232) [zhangqianpeng@hadoop102 ~]$ 20161113 20160702 20160906 20161011 20160901 20160108 20160609 20160221 20160308 20161001 20161012 20160309 20161023 20161104 20160806 20160115 2016010920161113 20160702 20160906 20161011 20160901 20160108 20160609 20160221 20160308 20161001 20161012 20160309 20161023 20161104 20160806 20160115 20160109这是xx的内容 20160422 20160604 20161122 20161115 20161112 20160311 20161024 20160918 20161102 20160512 20160412 20161012 20160615 20160919这是yy的
最新发布
06-03
### Hadoop MapReduce任务中InvalidInputException异常的解决方案 在Hadoop MapReduce任务中，`org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist` 异常通常表示指定的输入路径无效或不存在。以下是解决该问题的具体方法： #### 1. 检查输入路径是否正确 确保输入路径存在于HDFS（Hadoop分布式文件系统）中，而不是本地文件系统。如果路径写为本地路径（如`file:/wordcount/data.txt`），而未上传到HDFS，则会引发此异常[^1]。 ```bash hdfs dfs -ls /wordcount/ ``` 如果路径不存在，请将文件上传到HDFS： ```bash hdfs dfs -mkdir -p /wordcount/ hdfs dfs -put data.txt /wordcount/ ``` #### 2. 配置正确的文件系统 默认情况下，Hadoop可能会将路径解析为本地文件系统。如果需要操作HDFS中的文件，需明确指定路径为HDFS路径（如`hdfs://namenode_address/wordcount/data.txt`）。此外，确保`core-site.xml`和`hdfs-site.xml`等配置文件正确设置HDFS地址[^2]。 #### 3. 检查Maven依赖 确保项目中包含正确的Hadoop客户端依赖。例如，使用以下Maven依赖来支持Hadoop 2.7.2版本的客户端[^3]： ```xml <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.7.2</version> </dependency> ``` #### 4. 修改代码以支持HDFS路径 在MapReduce程序中，明确指定输入路径为HDFS路径。例如： ```java Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://namenode_address:8020"); Job job = Job.getInstance(conf, "WordCount"); job.setJarByClass(WordCount.class); FileInputFormat.addInputPath(job, new Path("hdfs://namenode_address/wordcount/data.txt")); FileOutputFormat.setOutputPath(job, new Path("hdfs://namenode_address/wordcount/output")); ``` #### 5. 确保集群正常运行 如果HDFS集群未启动或节点不可用，也会导致路径无法访问。检查集群状态： ```bash hdfs dfsadmin -report ``` #### 6. 调试日志 启用调试日志以捕获更多细节，帮助定位问题。在`log4j.properties`中设置日志级别为DEBUG： ```properties log4j.rootLogger=DEBUG, console ``` --- ### 示例代码：WordCount MapReduce任务 以下是一个完整的WordCount示例，确保输入路径正确并支持HDFS： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class WordCount { public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); @Override protected void map(Object key, Text value, Context context) throws IOException, InterruptedException { for (String token : value.toString().split("\\s+")) { word.set(token); context.write(word, one); } } } public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> { private IntWritable result = new IntWritable(); @Override protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://namenode_address:8020"); Job job = Job.getInstance(conf, "WordCount"); job.setJarByClass(WordCount.class); job.setMapperClass(TokenizerMapper.class); job.setCombinerClass(IntSumReducer.class); job.setReducerClass(IntSumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } } ``` ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值