
分布式
文章平均质量分 86
老哂
发展中
展开
-
Hadoop的资源管理——Yarn初探
首次接触Hadoop是在2011年,当时主流版本是0.20.2,很多介绍hadoop的经典书籍也是基于那个经典的版本。0.20.2虽然经典,但也有很多不够完善的地方,比如namenode的性能瓶颈,jobtracker和tasktracker资源管理机制不够高效等等。在这些制约下,当年的雅虎也有单集群5000节点,秒级terasort的成绩,可见Hadoop是一个非常成功的分布式系统。Hadoop...原创 2017-12-11 18:28:55 · 3363 阅读 · 0 评论 -
Zookeeper介绍-Paxos实现
ZooKeeper是近期比较热门的一个类Paxos实现。也是一个逐渐得到广泛应用的开源的分布式锁服务实现。被认为是Chubby的开源版,虽然具体实现有很多差异。ZooKeeper概要的介绍可以看官方文档:http://hadoop.apache.org/zookeeper 这里我们重点来看下它的内部实现。 ZooKeeper集群中的每个server都要知道其他成员,通过在配置文件zoo.cf转载 2017-05-16 09:15:38 · 399 阅读 · 0 评论 -
在Ubuntu12.04上部署CloudFoundry-ng (二) uaa和cloud_controller_ng的部署
uaa和cloud_controller_ng的部署 1. 安装并配置UAA(认证模块) 安装jdk 安装maven: sudo apt-get install mvn 获取uaa的最新源码: git clone https://github.com/cloudfoundry/uaa.git 为uaa安装独立的ruby和gemset环境(使原创 2013-05-16 10:59:42 · 2866 阅读 · 0 评论 -
在Ubuntu12.04上部署CloudFoundry-ng (一) dea_ng和warden的部署
在Ubuntu12.04上部署CloudFoundry-ng (一) dea_ng和warden的部署 相比上个部署文档,这次的操作更规范,更快捷 环境:Ubuntu12.04LTS ,rvm -> ruby1.9.3 1. 使用rvm安装/管理不同版本的ruby,并且可以使用gemset将各个项目的gem环境分隔开 安装rvm: sudo apt-get insta原创 2013-05-15 15:44:37 · 2588 阅读 · 1 评论 -
Swift 大文件问题
大文件问题 官方在线文档:http://docs.openstack.org/developer/swift/overview_large_objects.html 传输超过5G的大文件时,需要使用-S参数,指定将大文件分块存储,-S 指明了分块的大小。例如:swift –V 2.0 –A http://localhost:5000/v2.0-U admin:admin -K adm原创 2013-03-25 11:25:54 · 2655 阅读 · 0 评论 -
Redis干货集合
https://m.aliyun.com/yunqi/articles/337555?utm_content=m_40223#tt_daymode=1转载 2018-01-16 22:28:08 · 455 阅读 · 0 评论