sinat_32329183的博客

转自fengjian1585 hadoop 性能调优与运维 1. 硬件选择 2. 操作系统调优与jvm调优 3. hadoop参数调优4. hadoop运维   硬件选择 1) hadoop运行环境    2)  原则一： 主节点可靠性要好于从节点 　 原则二：多路多核，高频率cpu、大内存，     namenode 100万文件

转自传智播客 在日常的数据统计分析中，常常会有类似如下的求分组最大值统计需求，用到的数据示例如下： itemid    amount    date    … 10001    136.6    2015-1-12    … 10001    165.5    2015-1-12    … 10002    122.5    2015-1-12    … 10002    166.

经历了找工作到入职，很久没有关注博客了，人也快废了，这几天闲来无事想把一年多以前的东西捡捡，虚拟机搭了一个最简单的分布式集群，三台机器。配置过程有以下几个问题，记录一下。 1.配置好环境变量后用hadoop version测试，报找不到hadoop类，注意是hadoop类不是Java类，后来发现是往虚拟机传hadoop安装文件时用的自带拖拽功能，复制过程有文件丢失，改用wcp传就没问题了。 2...