Difffate的技术随笔

WordCount.java 注意把job.setJarByClass(WordCount.class);改成job.setJar("wc.jar");，解决类找不到的问题 import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; im

1、在本地解压hadoop安装包，然后修改系统变量，增加HADOOP_HOME及HADOOP_USER_NAME，HADOOP_USER_NAME为实际集群运行用户 2、修改项目的Pom文件 org.apache.hadoop hadoop-common 2.9.0

部署规划 主机 用途 IP rm01.hadoop.com ResourceManager01 192.168.137.11 nn01.hadoop.com NameNode01、DFSZKFailoverController 192.168.137.12

编译Hadoop 2.9.0 提示 DynamoDBLocal包找不到，到maven仓库也查不到com.amazonaws下的DynamoDBLocal，只能查到com.jcabi下的。 无奈找找看，发现在文章 http://docs.aws.amazon.com/amazondynamodb/latest/developerguide/DynamoDBLocal.html#DynamoDBL

1 在客户端程序必须要显示设置 myJob.setMapOutputKeyClass(LongWritable.class); myJob.setMapOutputValueClass(Text.class); 不然map任务会没结果输出 2 hdfs访问文件 String url = HDFS_URL +PATH+ "/part-r-

问题描述： 搭建了DNS服务器来解析自定义的域名，但是在遇到非自定义的域名时，不会去自动解析。使用nslookup 会提示 ** server can't find xxxx: NXDOMAIN 问题解决： 网上找了说要配置DNS转发，在/etc/named.conf中配置 forward 和 forwarders，但是配完以后，确没有和想象的一样，自动拿到转发的服务器解析。最后快要