
spark
HelloDemonHunter
实时计算
展开
-
spark学习-driver和executor调度
1 spark executor进程和work进程以及sparkContex的关系sparkContext一个资源环境,executor隶属于sparkContext,但executor进程所分配的core资源个数取决于当前主机work的core剩余数。同一个sparkContext在同一个work进程中只会fork出一个executor进程,利用spark的并行处理思路是采用线程,而非h原创 2014-11-12 22:25:28 · 1681 阅读 · 0 评论 -
spark峰会转训
12月份去北京参加了spark亚太峰会,了解下业内对于spark的应用场景和spark发展重点,下面是我转训的思维导图:原创 2014-12-25 17:30:12 · 387 阅读 · 0 评论