枫轩缘

环境： Redhat 5.0 (很久前在VMware虚拟机下安装的,很老的版本了) hadoop 1.0.3 (也很老的版本了) 下载hadoop 发现hadoop官网上的很多下载链接都出现403错误，一些老版本的也都链接失效了 hadoop下载地址 http://archive.apache.org/dist/hadoop/core/ jdk安装 用“java -v

1.从多个hive表读取数据 2.调用HCatInputFormat.getTableSchema时报错job information not found in JobContext. HCatInputFormat.setInput() not called? 3.报错：getDelegationToken() can be called only in thrift (non local) mode 4.报错：2004 HCatOutputFormat not initialized, setOutpu

使用LZO过程会发现它有两种压缩编码可以使用，即LzoCodec和LzopCodec，它们的区别：   1.LzoCodec比LzopCodec更快， LzopCodec为了兼容LZOP程序添加了如bytes signature, header等信息 2.如果使用 LzoCodec作为Reduce输出，则输出文件扩展名为".lzo_deflate"，它无法被lzop读取；   如果使用Lz

hive 0.11.0安装 使用mysql存储hive元数据 创建新的用户hive，密码也设为hive，并创建新的数据库名为hive,设定为latin1编码 赋予并刷新权限 grant all on hive.* to hive@'%'  identified by 'hive'; grant all on hive.* to hive@'localhost'  identified

1.配置好JAVA环境 使用java -version检验安装的版本 我用的java 1.8.0版本 设置好JAVA_HOME环境变量，我的是 2.设置ssh无密码访问 ssh-keygen -t rsa -P ""   cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys   ssh localhost 可以无密码登录则说明成功

理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn提供了多种调度器和可配置的策略供我们选择。 一、调度器的选择 在Yarn中