
Hadoop
文章平均质量分 71
韩小侠
这个作者很懒,什么都没留下…
展开
-
Ambari-部署文档
Ambari-server搭建过程部署环境要求操作系统:centos 5 或 centos 6可以使用yumjdk版本 1.7部署步骤下载 Ambari repository .repo 文件到yum配置目录下cd /etc/yum.repos.d/wget http://db-dcdev.db01.baidu.com:809原创 2014-10-21 18:20:36 · 1890 阅读 · 0 评论 -
Ambari-单步创建cluster
Ambari-单步创建 整体介绍单步创建集群即对于集群内每一个服务的安装、开启,组成服务的每一个组件host信息的设置等操作都进行一次ambari-server的restAPI的调用。这样做提高了对集群操作的灵活性,由于Blueprint的出现是在ambari 1.5版本之后,对非HDP版本的支持性可能存在不足,故sahara采用的是ambari单步创建集群的调用方式。需要注意的是:在调用原创 2014-10-23 11:59:24 · 3653 阅读 · 2 评论 -
Ambari-Blueprint介绍
Ambari-Blueprint整体介绍ambari-blueprint主要作用是通过提供一个restAPI,调用几次API就可以创建一个集群,ambari-server解析stack下的role_command_order.json文件来自动部署集群,role_command_order.json文件记录着各个服务与组件的部署顺序,ambari-server会自动根据顺序建立task,这原创 2014-10-23 11:40:02 · 3728 阅读 · 3 评论 -
Ambari-部署常见问题
重启ambari-server端后调用install、start API后返回200导致该问题的原因是server在启动后没有收到agent的心跳即没有与agent建立连接,在此时进行API调用会导致只改变集群服务的状态,实际server并没有进行命令发送。具体查看agent与server连接情况可以到 http://:8080/api/v1/hosts 页面下进行查看。原创 2014-10-23 11:44:52 · 3251 阅读 · 0 评论 -
Ambari-整体介绍
Ambari目标解决Hadoop生态系统部署部署:hadoop组件间有依赖,包括配置、版本、启动顺序、权限配置等。部署过程跟踪。能够展示出部署过程中每个步骤的状态及相关信息。多机部署问题,当集群规模增加后,机器出问题机率增加,在部署或更新中可能会出现机器故障组件本身设计:hadoop及其组件需要容忍机器的故障,同时需要防止不兼容版本组件给系统带来原创 2014-10-21 17:19:59 · 6175 阅读 · 2 评论 -
Ambari-stack介绍
Ambari-stack整体介绍Ambari-stack 表示hadoop某个发行版本,例如HDP-1.0.0,在用ambari创建一个集群时,首先要通过调用restfulAPI设置stack版本。stack下包含一个或多个service,例如HDP-2.0.6下包括多个service,分别是 ZOOKEEPER,HDFS,YARN,等。单个service下通过配置service下存储的m原创 2014-10-21 18:36:58 · 2442 阅读 · 0 评论 -
浅谈阿里云伏羲sortBenchmark为何这么快
看到了阿里云伏羲计算平台获得了sortbenchmark冠军,并且是投入使用版(Daytona)和内部实验版(Indy)双冠,为国内的云计算事业感到自豪,详情见http://sortbenchmark.org/FuxiSort2015.pdf 。那么为什么伏羲计算框架在排序可以达到这么快的速度,究竟在哪里做了哪些优化呢,在文中提到了流水线策略、IO双buffer、NetWork Shuff原创 2015-11-14 18:31:50 · 3590 阅读 · 0 评论 -
Ambari源码编译
Ambar为Apache基金会的一个顶级项目。作为一个为Hadoop系统提供一站式维护的工具,ambari支持通过web页面/RestfulApi的方式进行对集群的一键部署,最重要的是可以自己编写部署脚本部署自己的分布式系统。这个是富有价值的,现在有的公司使用的是自研的分布式框架,想要自动部署大多也是自研一套分布式框架。现在Ambari的出现,缓解了这个问题,用户只需要使用python按照规则编写原创 2016-01-26 22:15:04 · 7649 阅读 · 2 评论