云计算:应用与范式探索
1. 云计算应用流程
云计算应用流程主要包含以下几个关键阶段:
- 启动阶段 :
- 启动 Amazon EC2 实例,使用预安装 Java 运行时环境的 Amazon 机器映像(AMI)。
- 部署所需的 Hadoop 库,并启动 Hadoop 作业(运行 Map/Reduce 任务)。
- 处理阶段 :
- Hadoop 在 Amazon EC2 从节点上并行运行映射任务。映射任务从 Amazon S3 获取文件,运行正则表达式,并将匹配结果及最多五个匹配描述本地写入。
- 合并/归约任务对结果进行合并、排序并整合输出。
- 最终结果存储在 Amazon S3 的输出存储桶中。
- 监控阶段 :
- 监控控制器线程检索处理阶段开始时留下的消息,验证 Amazon Simple DB 中的状态/错误信息,并执行监控任务。
- 更新 Amazon Simple DB 域中的状态,并将消息排入关闭和计费队列。
- 监控任务定期检查 Hadoop 状态,用状态/错误信息和 Amazon S3 输出文件更新 Simple DB 项。处理完成后,从监控队列中删除消息。
- 关闭阶段 :
- 关闭控制器线程从关闭队列中检索消息并执行关闭任务,更新 Amazon Simple DB 域中的状态和时间戳。
- 处理完成后,从关闭队列中删除消息。具体步骤包括:
- 关闭任务终止 Hadoop 进程,从 Amazon
超级会员免费看
订阅专栏 解锁全文
69

被折叠的 条评论
为什么被折叠?



