本文详细探讨了Executor和Container在分布式计算系统中的角色与功能，它们作为计算资源单元，不仅负责任务分配，还涉及资源管理和心跳检测机制。文章强调了它们在任务执行、资源分配、异常处理及与Driver通信等方面的关键作用。
我原先以为executor和container有一定区别，只是功能差不多，其实功能基本一致，是作为计算资源单元，来进行计算，作为一个任务分配的单元可以是本地的或者是其他节点上的资源，反正是集群资源，可以使用其他的来进行计算，我看了有些书写的是compute方法，有些事execute方法，不知道哪一个是执行方法，在这里面设置了task数量，还有相关的操作，都实现了相关的，比如说心跳机制，心跳失败后的处理方式，一个excutor执行几个任务，作为一个excutor可以启用多个进行来进行执行，里面还设置了run方法以及每个单元所有的cpu，内存等资源量，都是在run方法里；分配的资源是当你使用的资源超过分配的量之后就会报错，抛出相关异常；他这个资源的使用的检测好像是在metric这个测量系统中来进行配置以及识别检测之类的；还有和Driver的心跳检测，还有大量的和shuffle相关的资源设置；
扫一扫
894
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
