本文详细阐述了如何在Hadoop环境下部署并利用YARN资源管理系统，以及固定虚拟机集群配置与参数调整的过程，同时介绍了DAG在大数据处理中的应用。重点在于将IBM的应用和服务与Hadoop及Spark框架结合，实现高效的大数据处理。
主要内容：
第一阶段：
1.确定hadoop版本，是否需要YARN，如果不需要就把IBM自己的一些应用和服务搭上去（最后确定还是需要YARN）。
2.固定底层虚拟机集群配置，固定用户的dealine,budget,input，测试P表中的一些参数。（好像要换Spark）
第二阶段：
1.固定P表参数，固定虚拟机集群，通过输入用户的dealine,budget,input，调整一些参数。
2.DAG。
2015.6.18，项目组第一次会议
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
