- 博客(2)
- 收藏
- 关注
RSS订阅转载 Spark Job (thrift-server) 动态分配资源
项目中使用spark 自带的thrift-server做hdfs数据查询统计服务。当数据过多时，thrift-server 需要分配大量的资源，当不需要查询时分配当量的资源又显得非常浪费，因此想到是否有可能动态分配资源。 （thrift-server也是一个job（yarn app），...
2016-04-23 15:32:00
670
转载 spark.streaming.concurrentJobs参数解密
最近，在spark streaming 调优时，发现个增加job并行度的参数spark.streaming.concurrentJobs，spark 默认值为1，当增加为2时（在spark-default中配置），如遇到处理速度慢 streaming application UI 中会有两个A...
2016-04-23 15:30:00
282
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人