lizongyao123的专栏

这几天因为数据源更改的原因，每天一个任务运行的作业数

最近望集群添加新机器，但是比较鲁莽，新机器没有进行参数调优，结果使得新添加的节点都挂掉了，辛亏及时回滚，不然影响了线上的一些数据处理任务。现在总结下当时发生的问题，以及最终的解决办法。问题：新加入的节点的nodemanager报出如下错误：“java.lang.OutOfMemoryError : unable to create new native Thread”解决办法：

运行大作业（文件数目多）时需要注意的参数：Hadoop2 采用Yarn管理作业，与Hadoop1不同的是，Hadoop2会控制每个任务的内存数量。因此，当作业执行失败时，可根据报错信息调整以下参数参数一: AM内存MR_ApplicationMaster占用的内存量。如果一个作业的map过多，可能导致am内存溢出，进而作业失败。conf.set("yarn.app.ma

转载链接：http://sznmail.iteye.com/blog/1499789Hive优化总结---by 食人花   优化时，把hive sql当做map reduce程序来读，会有意想不到的惊喜。理解hadoop的核心能力，是hive优化的根本。这是这一年来，项目组所有成员宝贵的经验总结。 长期观察hadoop处理数据的过程，有几个显著的特征

转载链接：http://os.51cto.com/art/201209/355125.htm    大多数管理员都是从Apache Hadoop开始学习。笔者最开始也使用Apache版本Hadoop进行开发和部署工作，但接触到Cloudera CDH后，我发现它可以使管理员的工作更简单，不仅可以获得最新的特性和Bug修复，有时也会带来令人惊喜的性能改善。接触Hadoop有两年的时间

注意，配置这些参数前，应充分理解这几个参数的含义，以防止误配给集群带来的隐患。另外，这些参数均需要在yarn-site.xml中配置。1.    ResourceManager相关配置参数（1） yarn.resourcemanager.address参数解释：ResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序，杀死应用程序等。默

最近集群数据源迁移，重新布置flume，由于没有优化好，产生了dali

最近发现hive库中的数据都是没有压缩的，每次运行超级慢，现在调优成rcFile格式。

最近要摘除节点上的一些硬盘，主要需要注意一下几点：

最近楼主在运维hadoop集群时，发现无法打开jobhistory的页面，这导致查找作业运行失败的原因时会相当的蛋疼。楼主对照着各路大神的帖子，反复对比关于jobhistory的各个配置参数，觉着都没有什么问题。逐步定位问题：一、查看jobhistory的进程是否是以hadoop的超级用户启动：进程活着，是以hadoop的超级用户启动的。二、查看jobhistory的日志：在.