zj360202的专栏

在hadoop namenode -format成功格式化后，start-all.sh的时候，jobtracker和tasktracker没有正常启动，日志文件中报d:\hadoop\hadoop-1.0.1\logs\history\done to 0755，权限不够的错误，直接到这个目录，将这个目录的权限，右击，点掉"只读"这个选项，stop-all.sh一下hadoop，再次启动(start

put: io.bytes.per.checksum(512) and blockSize(53687091) do not match. blockSize should be a multiple of io.bytes.per.checksum如果指定的bytesPerChecksum小于1或者blockSize不能整除bytesPerChecksum,blockSi

select * FROM t_xg_product a join t_xg_product_subject_mapping m on (m.product_id=a.product_id)left outer join (select (case when d.product_id is null then '' else cast(d.product_id as string) end

本地测试mapreduce代码的时候,mapper顺利执行但进不了reducer，但是同样的代码在别人的机器上就可以执行，解决方法：问题出在mapper执行完成会生成一个tmp的临时文件，这个文件夹默认是在D盘(d:/tmp)，由于这个有以前操作失败而没有及时删除的临时文件， 所以就直接干掉这个文件夹就好了！

package com.yourmall.cloud.platform.log.visttime.mr;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.ha

必须要加上这句，不然会在执行这个mr的时候找不到内部类中的mapper或reducerjob1.setJarByClass(PlatFormMemberVisitTimeForDetailPVMR.class);

1. MapReduce，组合式，迭代式，链式  http://www.cnblogs.com/liqizhou/archive/2012/05/14/2499653.html这个Configuration job1conf = new Configuration();Job job1 = new Job(job1conf);.........//job1 其他设置Conf

1.Apache Hadoop YARN – 背景及概述 http://hongweiyi.com/2012/09/apache-hadoop-yarn-background-and-an-overview/2.Arun Murthy谈Apache YARNhttp://www.infoq.com/cn/articles/ApacheYARN3.Hadoop　MapReduce原理 htt

1. 迭代式MapReduce解决方案（二）DistributedCache http://prinx.blog.163.com/blog/static/190115275201222065816826/

1. cdh4 下载地址  http://archive.cloudera.com/cdh4/cdh/4/2.Apache Hadoop(Cloudera CDH4)安装需要注意的几点http://blog.youkuaiyun.com/zzhua100/article/details/78239713.apache hadoop 下载地址 http://archive.apache.org/dist

1. 排序--MapReduce  http://blog.youkuaiyun.com/yiboo/article/details/7321042

1.FACEBOOK大量相似高速数据实时日志收集系统 http://www.docin.com/p-405622650.html2.百度数据仓库体系 http://hbtc2012.hadooper.cn/subject/track3liuliping5.pdf3.大数据产品架构 http://blog.linezing.com/2012/12/%E5%A4%A7%E6%95%B0%E6%

1. 在Windows上安装Hadoop教程 http://wenku.baidu.com/view/6af47921af45b307e8719799.html2. ubuntu 中ssh无密码配置 ，hadoop节点之间无密码登录 http://blog.youkuaiyun.com/laoyi19861011/article/details/62547433. hadoop常用命令  http:/

1. Map/Reduce的GroupingComparator排序简述http://blog.youkuaiyun.com/dajuezhao/article/details/5802072

1.hadoop架构  http://blog.youkuaiyun.com/zj360202/article/details/85633852.hadoop基础  http://blog.youkuaiyun.com/zj360202/article/details/85634123.hadoop安装http://blog.youkuaiyun.com/zj360202/article/details/856345

1、mapreduce就是hadoop的api，如果在使用hadoop的mapper和reducer的api的时候就是在使用mapreduce，就会启动hadoop集群，利用hadoop集群解决问题，如果在开发中没有使用hdfs://master:9000这样的输入输出等，就不会使用到hdfs，换言之，就是hdfs就是一个存储系统，在不安装hadoop的情况下，只使用hadoop的api也就是在使

timetunnel终于搭建成功了timetunnel 目录结构：--------------1.apps                   ------------开发中用的，部署过程中这个文件夹下面可以没有内容--------------2.broker                   ------------2.1 bin     保存执行脚本的

在安装的时候一直报Format aborted的错误，然后再启动start-all.sh的时候就报namenode的没有格式化，和找不到d:\tmp\hadoop-Administrator\dfs\name，最后发现时生成在E盘下面，将这个tmp复制到D:盘下面就好了 完整的安装，建议查看下面的文章http://www.zihou.me/html/2010/02/19/1525.

通过自带的ZooKeeperServerForTest对ZooKeeperServer进行测试/** * 测试ZooKeeperServer */ private static final Logger LOG = Logger.getLogger(ZooKeeperServerMain.class); private NIOServerCnxn.Facto