- 博客(101)
- 收藏
- 关注
RSS订阅原创 RabblitMQ Cluster + HAProxy(负载均衡)
在本节中，我们主要来学习软件负载均衡器HAProxy在RabbitMQ集群中的使用。 [size=large][b][color=blue]软件负载均衡器HAProxy[/color][/b][/size] HAProxy的特点是： 1、HAProxy是支持虚拟主机的，，并能支持上万级别的连接; 2、能够补...
2013-07-24 16:24:31
285
原创 RabbitMQ：镜像队列Mirrored queue
在上一节[url=http://flyingdutchman.iteye.com/admin/blogs/1911811]《RabbitMQ集群类型一：在单节点上构建built-in内置集群》[/url]中我们已经学习过：在集群环境中,队列只有元数据会在集群的所有节点同步,但队列中的数据只会存在于一个节点，数据没有冗余且容易丢，甚至在durable的情况下,如果所在的服务器节点宕机...
2013-07-23 18:11:12
1045
1
原创 RabbitMQ集群类型一：在单节点上构建built-in内置集群
在本章中我们来学习配置rabbitmq集群类型之一的built-in内置集群。 [b][color=blue]metadata元数据[/color][/b] 在一个单节点的rabbitmq server中，queue metadata队列元数据、exchange metadata交换机元数据、binding metadata绑...
2013-07-23 10:28:01
284
原创 RabbitMQ：使用python发布/订阅消息
在上一章节中，我们学习了[url=http://flyingdutchman.iteye.com/admin/blogs/1911179]RabbitMQ：基础，运行和管理[/url]，在本节中我们来学习一下如何发布和订阅rabbitmq消息，我们使用python来开发应用程序。 我们先来看一下发布/订阅rabbitmq消息的流程。先来看消息生产者Publis...
2013-07-22 18:32:03
673
原创 RabbitMQ：基础，运行和管理
在本章中我们来学习一下RabbitMQ的基础知识以及相关的相关运行和管理。 RabbitMQ是一个高性能的工业级的AMQP协议、使用erlang语言创建的开源的消息服务器，可以同步或异步发送或接受消息。 [size=large][color=blue]RabbitMQ基础知识[/color][/size] [color=re...
2013-07-22 00:32:30
130
原创 CentOS 6.4 安装redis-2.6
[quote] [color=blue]# wget http://redis.googlecode.com/files/redis-2.6.14.tar.gz # chmod +x redis-2.6.14.tar.gz # tar -xzvf redis-2.6.14.tar.gz # cd redis-2.6.14...
2013-07-15 16:24:40
97
原创 CentOS 6.4 安装Sonar
在本章中，我们来学习一下如何在Linux下配置Sonar。 第一步，先来创建Sonar所用的Mysql数据库：[quote] [color=blue]# mysql -u root -p Enter password: //输入密码 # # Create Sonar databa...
2013-07-14 23:43:06
109
原创 CentOS 6.4 优化编译安装Nginx
在本章中，我们来学习一下如何在Linux下编译安装Nginx。 第一步，下载并解压tar文件：[quote] [color=blue]# wget http://nginx.org/download/nginx-1.2.8.tar.gz # chmod +x nginx-1.2.8.tar.gz # tar -...
2013-07-13 22:13:05
130
CentsOS 6.4 安装Maven私人仓库Nexus
在本章中，我们将来学习如何在linux下安装并配置Maven私人仓库Nexus。 第一步，下载并解压tar文件：[quote] [color=blue]# wget http://download.sonatype.com/nexus/oss/nexus-2.5.1-01-bundle.tar.gz # chmod +x nexus...
2013-07-12 19:22:08
163
原创 CentOS 6.4 hadoop集成 Hbase Hive
在之前的[url=http://flyingdutchman.iteye.com/admin/blogs/1902210]CentOS 5.4 hadoop集成 Hbase[/url]和[url=http://flyingdutchman.iteye.com/admin/blogs/1901639]CentOS 5.4 hadoop集成Hive[/url]两个章节中，我们已经学习...
2013-07-10 00:05:08
207
原创 CentOS 6.4 hadoop集成 Hbase Zookeeper
再上一章中我们已经学习了[url=http://flyingdutchman.iteye.com/admin/blogs/1901639]Hadoop-1.0.3集成Hive-0.8.1[/url]，在这一章节我们来学习一下如何配置Hbase-0.92.2。 [size=large][color=blue]配置Zookeeper先[/color][/size]...
2013-07-09 22:41:33
190
原创 CentOS 6.4 hadoop集成Hive
在本节中，我们来学习如何安装Hive。在之前我们已经学习过如何在CentOS上安装Hadoop，详情请参看[url=http://flyingdutchman.iteye.com/admin/blogs/1897181]CentOS 6.4 安装伪分布式Hadoop 1.0.3 [/url],这里不再赘述。 第一步，下载并解压Hive的tar文件：[quote...
2013-07-09 01:58:20
154
原创 CentOS 6.4 优化编译安装MySQL-5.6
在本章中，我们来学习一下怎么在CentOS 6.4上优化编译MySQL-5.6.12源代码并按装之。 第一步，先删除CentOS已有的MySQL然后安装MySQL的一些依赖包：[quote] [color=blue]# yum remove mysql # yum -y install gcc gcc-c++ autoconf...
2013-07-09 00:25:25
122
原创 Hadoop深入学习：MapReduce Job中的Shuffle和sort
[img]http://dl2.iteye.com/upload/attachment/0086/6203/55680026-b213-3a44-aa33-dab947f751a8.png[/img] MapReduce Job中的Shuffle和sort示意图 ...
2013-07-06 22:30:31
107
原创 Hadoop深入学习：解析HDFS的写文件流程
之前，我们已经学习过了HDFS的读写数据流程，详情请看[url=http://flyingdutchman.iteye.com/blog/1874713]《Hadoop深入学习：HDFS主要流程——写文件》[/url]，近来鄙人在看《Hadoop:The Definiyive Guide(3rd edition)》，发现之前的体会还有些不足，故在本章中，我们再来重温一下Client...
2013-07-06 16:43:05
137
原创 Hadoop深入学习：Combiner
在本节中，我们着重学习MapReduce编程模型中的Combiner组件。 [color=blue]每一个map都可能会产生大量的本地输出，Combiner的作用就是对map端的输出先做一次合并，以减少在map和reduce节点之间的数据传输量，以提高网络IO性能，是MapReduce的一种优化手段之一。[/color] 1）、Combiner最...
2013-07-04 00:03:27
145
原创 Hadoop深入学习：再谈MapReduce作业提交和执行
在本章中，我们将来重温一下和Hadoop的作业提交和执行流程。 看下图，我们来比较详细的学习一下该流程：[img]http://dl2.iteye.com/upload/attachment/0086/4847/ead0ea1f-0df7-349f-af13-3f331f191b01.jpg[/img] 从上图中可以看出，...
2013-07-03 22:00:03
226
原创 CentOS 6.4 安装伪分布式Hadoop 1.0.3
在本章中学习如何在CentOS 6.4上安装配置Hadoop开发环境。 [size=x-large][color=blue]配置ssh及生成密码对[/color][/size] 首先需要安装ssh：[quote] [color=blue]# yum install ssh[/color] [...
2013-07-02 00:52:12
102
原创 Centos 6 上安装Apache Subversion(SVN)
本章中我们来学习如何在CentOS 6.4上安装Apache + Subversion服务。 [color=blue][size=large]安装Apache Server[/size][/color] 我们先来安装Apache Server，首先来下载httpd的tar文件，当然也可意识用yum来安装：[quote] [colo...
2013-06-30 22:25:38
136
原创 Centos 6 上安装Git
本章中我们来学习如何在CentOS 6.4上安装Git。 第一步，在安装Git之前，我们先要安装一些依赖包：[quote] [color=blue]# yum -y install zlib-devel openssl-devel perl cpio expat-devel gettext-devel # yum install au...
2013-06-30 21:28:43
95
原创 Centos 6 安装配置 Tornado
在本章中，我们来看一下怎么在CentOS 6.4上安装和配置Tornado Server服务器。 首先让我们来看一下Tornado是什么？Tornado是使用Python编写出來的一个极轻量级、高可伸缩性和非阻塞IO的Web Server服务器软件，跟其他主流的Web服务器框架（主要是Python框架）不同是采用epoll非阻塞IO，响应快速，可处理数千并发连接，特别适用...
2013-06-30 19:22:05
202
Centos 6 上安装easy_install
之前已经介绍过怎么安装python-pip了，本节在这里介绍安装easy_install。 在安装之前先要安装setuptools-0.6c11-py2.7.egg，具体安装过程见[url=http://flyingdutchman.iteye.com/blog/1896619]Centos 6 上安装python-pip[/url]。 easy_i...
2013-06-30 16:51:24
205
原创 Centos 6 上安装python-pip
在使用Python时，需要导入一些第三方工具包，一般情况下，鼓励使用pip来安装管理这些第三方的包，这里我们来看一下如何在CentOS 6.4上安装Python-pip。 第一步，下载python-pip的tar包：[quote] [color=blue]# wget https://pypi.python.org/packages/source/p/p...
2013-06-30 16:41:09
306
原创 CentOS 6.4上安装VLC视频播放器
由于安装了双系统，先看一些Windows上的视频，但是CentOS 6.4上默认的视频播放器不不能播放，故需要安装一款视频播放器。 在安装之前，需要安装一些其他文件包，比如EPEL等，具体安装请参看[url=http://flyingdutchman.iteye.com/blog/1887554]CentOS 6.4安装qq2012[/url]，下面是安装操作： [q...
2013-06-16 01:33:59
205
原创 CentOS 6.4安装qq2012
在CentOS 6.4安装qq2012，需要经过一下几个步骤： 第一步，在安装之前需要先安装一些依赖包EPEL和wine：[quote] [color=blue]#rpm -ivh http://mirrors.sohu.com/fedora-epel/6/i386/epel-release-6-8.noarch.rpm #yum -y...
2013-06-16 00:52:50
143
原创 CentOS查看Windows的NTFS分区
本人的台式机上安装了双系统Windows + CentOS 6.4，由于几乎所有的资料都存放在Windows上，并且Windows的分区都是NTFS格式的，所以想在Linux上直接看Windows上的资料，故在网上查找了一些资料，安装了一些软件完成了在CentOS(ext4)上看Windows上的资料的愿望！ 下面是整个操作过程： 第一步，做预备工作，...
2013-06-15 20:48:06
323
原创 在CentOS上安装rabbitmq-server-3.1.1
在本节中我们来看一下如何在CentOS上安装RabbitMQ。我们使用的rabbitmq的版本是rabbitmq-server-3.1.1.tar.gz，CentOS的版本是CentOS 6.4。 在安装rabbitmq之前需要先安装python和erlang，这两部分的安装过程请参看[url=http://flyingdutchman.iteye.com/blo...
2013-06-15 00:18:53
171
原创 CentOS 6.4 修改时区
本人在安装CentOS 6.4的后，发现其默认时区是美国波士顿所在的时区，为了以后在安装hadoop的时候会因为时间的问题而产生错误，故需要调整时区。 需要做一下步骤：[code="java"] #yum install ntp #ntpdate us.pool.ntp.org [/code] ...
2013-06-12 16:35:19
196
在CentOS 6.4上配置中文输入法
在CentOS 6.4上配置中文输入法，只需要在终端上以root的身份执行：[code="java"] yum install "@Chinese Support" [/code] 然后就可以设置快捷键了：[quote] 系统 ——> 首选项 ——> 输入法 //在弹出框中设置输入法切换的快捷键 [/qu...
2013-06-12 13:39:44
144
原创 在 CentOS 6.4上安装Erlang
在本节中，我们将来学习如何在CentOS 6.4上安装erlang，具体的Erlang版本是R15B03-1。 在安装之前，需要先要安装一些其他的软件，否则在安装中间会出现一些由于没有其依赖的软件模块而失败。 1、首先要先安装GCC GCC-C++ Openssl等以来模块：[code="java"] yum -y install make g...
2013-06-12 13:29:21
143
原创 在 CentOS 6.4上安装python
想找一个Hadoop相关的工作，很多都需要熟悉Python或Linux Shall脚本的脚本，故决定开始学习python。 在学习环境中使用的是python 2.7.*，但是CentOS 6.4中默认使用的python版本是2.6.6，故需要升级版本。 安装步骤如下： [quote] 1,先安装GCC，用如下命令yum insta...
2013-06-12 13:02:52
114
原创 Hadoop深入学习：MapReduce的Shuffle过程详解
在本节中，我们再来仔细回顾一下MapReduce编程框架的所谓的“洗牌”过程，即MapReduce的Shuffle过程，可以说Shuffle是MapReduce编程框架的核心，能直接影响到MapReduce的性能。实际上，对MapReduce的调优在很大程度上就是对MapReduce Shuffle的性能的调优。 那么，Shuffle到底在MapReduce处...
2013-05-29 22:11:15
576
原创 Hadoop深入学习：Hadoop全排序中的Sampler采样器
在[url=http://flyingdutchman.iteye.com/blog/1876582]Partitioner组件的设计与实现[/url]中，我们已经了解过Partitioner组件的其中一个和全排序相关的实现类——TotalOrderPartitioner。 我们知道，在Hadoop中，最终的处理结果集中的数据，除非就由一个Reduce Task处...
2013-05-28 18:27:42
275
原创 Hadoop深入学习：ReduceTask详解
本节我们来着重学习ReduceTask的内部操作流程和实现。 我们先看一下ReduceTask操作流程：[img]http://dl2.iteye.com/upload/attachment/0085/1167/46622c7e-6b58-3d6f-94ee-daf445063c1b.jpg[/img] 从流程图中我们可以看出，ReduceT...
2013-05-28 16:16:52
296
原创 Hadoop深入学习：MapTask详解
在本节中，我们主要来学习MapTask的内部实现。 [size=large][color=blue]整体执行流程[/color][/size][img]http://dl2.iteye.com/upload/attachment/0085/1100/348fcf76-1789-3603-b41d-2d3b14c3c993.jpg[/i...
2013-05-28 15:23:01
171
原创 Hadoop深入学习：MapReduce中的心跳机制
在本节中，我们特别来学习一些有心跳(HeartBeat)的相关知识，这包括用途、心跳的发送、接收和应答。 JobTracker和TaskTracker之间是通过心跳来进行信息沟通的，TaskTracker通过周期性的通过心跳向JobTracker汇报该节点和任务的状态。心跳实际上就是一个RPC函数，在Hadoop中，心跳主要有三个作用： 1）、判...
2013-05-28 13:13:17
627
原创 Hadoop深入学习：MapReduce作业提交和初始化
之前已经学过了MapReduce接口编程模型及涉及的相关组件，本节我们主要学习MapReduce的作业提交过程和如何初始化作业这两部分的内容。 下面我们来熟悉一下MapReduce作业的提交和初始化的过程：[img]http://dl2.iteye.com/upload/attachment/0085/0858/7984024f-ef2c-3672-8438-...
2013-05-27 22:24:00
295
原创 Hadoop深入学习：OutputFormat组件
在本节中，我们着重来学习一下MapReduce编程框架中的OutputFormat组件。 在MapReduce中，OutputFormat主要用于描述经reducer处理后输出的数据的格式，它会将用户提供的key/value键值对而写入到特定格式的文件中。 我们先看一下在1.0老版本中的OutputFormat接口的代码...
2013-05-27 16:45:06
245
原创 Hadoop深入学习：Reduce组件详解
在本节中我们主要来学习MapReduce编程接口模型中的Reduce组件。 和学习[url=http://flyingdutchman.iteye.com/blog/1876405]Mapper组件详解[/url]一样，我们先来看看1.0新版本中Reduce代码：[code="java"]public class Reducer { public c...
2013-05-27 15:59:37
227
原创 Hadoop深入学习：Partitioner组件的设计与实现
本节我们来学习MapReduce编程框架中的Partitioner接口和其他相关的信息。 Partitioner的作用就是对Mapper产生的中间数据进行分片，以便将同一分片的数据交给同一个Reducer处理，该过程是MapReduce的shuffle过程，特别是Map端的shuffle的一部分。 [b]Partitioner它直接影响Reduc...
2013-05-27 15:31:47
382
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人