- 博客(4)
- 收藏
- 关注
RSS订阅原创 安全性与性能隔离
保证分布式计算的安全性，使攻击进程无法访问资源1.RPC鉴别消息是否合法：capability访问控制：任意两个角色间有密钥，进程通信前先对密钥动态token（口令）：进程级沙箱隔离:无法看到该用户组不需要的资源2.性能隔离，三种虚拟化方法的比较虚拟机（KVM）:完全虚拟化，隔离最好;资源配置容易；image,snapshot移动性好；安全性高；内存占用大Docker：可以访问硬件，但docker...
2018-05-03 20:43:14
579
原创 容错机制和规模挑战
故障原因：1.硬件：磁盘（年4%），主板，2.软件：bug,内存访问越界，进程crash，宕机任务调度的故障恢复：appmaster:快照保存instance的分配完成情况；appworker:给另一个fuximaster:软状态：资源请求等：要求下面重发硬状态：作业配置，持续化存储规模挑战：1.多线程异步：异地进程通讯：RPC（远程过程调用协议）在app master中单独给fuximaster...
2018-05-03 20:16:38
259
原创 资源调度
目标：最大化资源利用率最小化等待时间支持资源配额支持任务抢占1.优先级：当插入高优先级的任务，递归抢占低优先级的资源2.配额（quota）空闲分配...
2018-05-03 19:58:38
304
原创 任务调度
1.mapreduce:映射-归约映射：分布式计算归约：统计处理2.任务调度常见问题：数据locality:给包含该instance最多数据的节点去计算数据shuffle:重试：当慢于平均时间触发机制，给另一个节点计算（因为异构）...
2018-05-03 19:48:18
205
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人