
linux: 集群相关
文章平均质量分 80
北雨南萍
长期专注于实时音视频通信技术、音视频处理技术,包括基于webrtc的音视频通信解决方案,基于ffmpeg的媒体处理解决方案。
展开
-
Redhat下mysql的安装与使用
一、 下载与安装1.1 查看本机的linux相关信息:$ cat /proc/versionLinux version 2.6.18-194.el5 (mockbuild@x86-005.build.bos.redhat.com) (gcc version 4.1.2 20080704 (Red Hat 4.1.2-48)) #1 SMP Tue Mar 16 21:52:39原创 2015-09-30 15:13:26 · 1766 阅读 · 0 评论 -
Linux负载均衡软件LVS之二(安装篇)
一、 安装LVS软件1.安装前准备工作操作系统:统一采用Centos4.4版本。地址规划,如表1所示:表1更详细的信息如图2所示:图2 LVS DR模式安装部署结构图图2中的VIP指的是虚拟IP地址,还可以叫做LVS集群的服务IP,在DR、TUN模式中,数据包是直接返回给用户的,所以,在Director Server上以及集群的每转载 2014-11-27 13:05:25 · 739 阅读 · 0 评论 -
Linux负载均衡软件LVS之四(测试篇-完)
一、启动LVS集群服务LVS负载均衡管理和使用有两种方式,一种是以ipvsadm命令行脚步与ldirectord监控方式,一种是以Piranha工具进行管理和使用。下面分别介绍。1、利用ipvsadm命令行脚步与ldirectord监控方式管理LVS在一切配置完毕之后,依次执行下面的操作启动LVS集群服务。首先,启动每个real server节点的服务:[roo转载 2014-11-27 15:29:16 · 831 阅读 · 0 评论 -
Linux负载均衡软件LVS之三(配置篇)
LVS集群有DR、TUN、NAT三种配置模式,可以对www服务、FTP服务、MAIL服务等做负载均衡,下面通过搭建www服务的负载均衡实例,讲述基于DR模式的LVS集群配置。一、 Director Server的配置在Director Server上配置LVS负载均衡集群,有两种方法: 通过ipvsadm命令行进行配置 通过Redhat提供的工具piranha来配置L转载 2014-11-27 13:14:44 · 708 阅读 · 0 评论 -
Linux负载均衡软件LVS之一(概念篇)
一、 LVS简介LVS是Linux Virtual Server的简称,也就是Linux虚拟服务器, 是一个由章文嵩博士发起的自由软件项目,它的官方站点是www.linuxvirtualserver.org。现在LVS已经是 Linux标准内核的一部分,在Linux2.4内核以前,使用LVS时必须要重新编译内核以支持LVS功能模块,但是从Linux2.4内核以后,已经完全内置了LVS的转载 2014-11-27 12:56:29 · 1177 阅读 · 0 评论 -
小析 HTTP 的方法
一、HTTP简介HTTP 即 超文本传送协议 。超文本传输协议 (HTTP-Hypertext transfer protocol) 是一种详细规定了浏览器和万维网服务器之间互相通信的规则,通过因特网传送万维网文档的数据传送协议。1. 简史超文本传输协议的前身是世外桃源(Xanadu)项目,超文本的概念是泰德˙纳尔森(Ted Nelson)在1960年代提出的。进入哈佛原创 2014-07-11 15:53:01 · 1107 阅读 · 0 评论 -
Linux下MySQL数据库常用基本操作
1、显示数据库show databases;2、选择数据库use 数据库名;3、显示数据库中的表show tables;4、显示数据表的结构 describe 表名;5、显示表中记录 SELECT * FROM 表名6、建库create databse 库名;7、建表create table 表名 (字段设定列表);原创 2014-07-19 10:48:14 · 784 阅读 · 0 评论 -
Centos5.4下部署最新版MooseFS(1.6.13)
市面上各种分布式文件系统品种繁多,层出不穷。列举几个主要的:mogileFS: Key-Value型元文件系统,不支持FUSE,应用程序访问它时需要API, 主要用在web领域处理海量小图片,效率相比mooseFS高很多。fastDFS: 国人在mogileFS的基础上进行改进的key-value型文件系统,转载 2014-06-27 16:28:24 · 1106 阅读 · 0 评论 -
MySQL命令大全
一、连接Mysql格式: mysql -h主机地址 -u用户名 -p用户密码1、连接到本机上的MYSQL。首先打开DOS窗口,然后进入目录mysql\bin,再键入命令: $ mysql -u root -p,回车后提示你输密码.注意用户名前可以有空格也可以没有空格,但是密码前必须没有空格,否则让你重新输入密码。如果刚安装好MYSQL,超级用户root是转载 2015-09-24 11:08:46 · 424 阅读 · 0 评论 -
gearman入门简介
一、Gearman介绍gearman,从名字上看叫做“齿轮工”,就是通过齿轮把不同的组件组合在一起。通常,多语言多系统之间的集成是项目开发中一个比较头疼的问题。一般会采用RPC风格或者是REST风格的WebService。但是总感觉比较麻烦。gearman就应运而生了,作为一个任务分发架构,它能够轻松的将前端的任务通过Job Server分发给后端的Worker处理。G原创 2016-06-15 20:11:52 · 1256 阅读 · 0 评论 -
gearman:从安装到python API测试
一、安装操作系统:redhat 5.71. 安装gearman 首先,我们需要安装gearmand,在centos和rhel环境下,我们只需运行以下命令:$ yum install gearmand -y 注意:如果不希望通过yum的方式来安装gearmand,可以通过源码编译安装,具体安装方法可以参考:http://www.jb51.net/article/51999原创 2016-06-15 21:13:33 · 1400 阅读 · 0 评论 -
Gearman的Worker的多进程实现
前言因为项目原因选择了gearman作为任务委派的中间件,但原生的python拓展包只支持单进程,期间为了将gearman改造成自适应多进程的方式在实现方式上走进了些误区,故在此记录这些误区的坑以及目前的最优解决方案。实现思路实现方式主进程接收任务,子进程处理任务。以一个主进程作为任务委派的接收进程,接收到任务后将任务分派给子进程进行处理,处理完成后原创 2017-11-27 15:06:59 · 2091 阅读 · 0 评论 -
在linux服务器上安装单机版redis
一、环境准备因为redis使用c语言开发的,如果要运行在linux上,需要gcc-c++的环境。那么我们就要先看一下是否安装了gcc-c++如果没有的话,需要安装gcc-c++环境(友情提示,除了脚本语言,linux上运行啥东西都需要装环境)。首先需要查看linux上是否拥有该运行环境,输入命令为:rpm -qa | grep gcc-c++我的linux原创 2017-11-27 14:32:07 · 2100 阅读 · 0 评论 -
gearman-client与gearman-worker的示例源码-C++版
官方的DEMO如下:http://gearman.info/libgearman/examples.html闲言少述,直接上源码:client/* * File: * simple-gearman-client.cpp * Auth: * Hank(hongkuiyan@yeah.net) * Desc: * Example原创 2017-12-05 19:45:50 · 1065 阅读 · 0 评论 -
Gearman的源码编译与安装
1. GCC升级与安装yum -y install gcc+ gcc-c++2. boost安装wget https://dl.bintray.com/boostorg/release/1.65.1/source/boost_1_65_1.tar.gzmkdir boost_installtar -zxvf boost_1_65_1.tar.gz cd boost原创 2017-11-30 20:23:13 · 485 阅读 · 1 评论 -
gearman的安装与使用示例
一, gearman的安装1.1. gearman工作原理Gearman 服务有很多要素使得它不仅仅是一种提交和共享工作的方式,但是主要的系统只由三个组件组成: gearmand 守护进程(server), 用于向 Gearman 服务提交请求的 client , 执行实际工作的 worker。其关系如下图所示: Fig 1. gearm原创 2016-12-12 20:41:10 · 1772 阅读 · 0 评论 -
Redis简介
一、简介Redis是一个开源(BSD许可),内存存储的数据结构服务器,可用作数据库,高速缓存和消息队列代理。它支持字符串、哈希表、列表、集合、有序集合,位图,hyperloglogs等数据类型。内置复制、Lua脚本、LRU收回、事务以及不同级别磁盘持久化功能,同时通过Redis Sentinel提供高可用,通过Redis Cluster提供自动分区。redis是一个原创 2016-10-10 11:41:04 · 538 阅读 · 0 评论 -
gearman性能与应用架构设计
一、Gearman架构中的三个角色client: 请求的发起者,工作任务的需求方(可以是C、PHP、Java、Perl、Mysql udf等等)Job Server:请求的调度者,负责将client的请求转发给相应的worker(gearmand服务进程创建)worker: 请求的处理者(可以是C、PHP、Java、Perl等等)Fig-1从上图可以看出,Gea转载 2016-06-16 10:45:50 · 1710 阅读 · 0 评论 -
linux rsync简介与使用
一、简介rsync是类unix系统下的数据镜像备份工具,从软件的命名上就可以看出来了——remote sync。它的特性如下:可以镜像保存整个目录树和文件系统。可以很容易做到保持原来文件的权限、时间、软硬链接等等。无须特殊权限即可安装。快速:第一次同步时 rsync 会复制全部内容,但在下一次只传输修改过的文件。 rsync 在传输数据的过程中可以实原创 2014-06-27 15:39:41 · 1460 阅读 · 0 评论 -
Linux下MySQL安装及配置
1. 关于本文本文将以MySQL 5.0.51为例,以CentOS 5为平台,讲述MySQL数据库的安装和设置。2. 关于MySQLMySQL是最流行的开源SQL数据库管理系统,它由MySQL AB开发、发布和支持。MySQL AB是一家由MySQL开发人员创建的商业公司,它是一家使用了一种成功的商业模式来结合开源价值和方法论的第二代开源公司。MySQL是MySQL A转载 2014-07-19 10:39:54 · 829 阅读 · 0 评论 -
NFS使用详解之二.服务状态查询及设置
八、 NFS服务端相关的查询与设置操作操作系统版本:[root@localhost /]# cat /etc/redhat-releaseRed Hat Enterprise Linux AS release 4 (Nahant Update 4)1、检查portmap服务运行状态(因为NFS及其辅助程序都是基于RPC的,所以我们要确保系统中首先运行portmap服务)原创 2013-10-31 12:55:37 · 10866 阅读 · 0 评论 -
NFS再优化
1. 查看$ showmount -a$ showmount -e$ cat /etc/exports2. 优化读写块大小默认是4096bit,测试写性能 time dd if=/dev/zero of=/mnt/nfs1/512mb.dat bs=16k count=32768测试读性能 time dd if=/mnt/nfs1/512mb.dat转载 2013-12-10 22:39:29 · 1070 阅读 · 0 评论 -
一致性 hash 算法( consistent hashing )
http://blog.youkuaiyun.com/sparkliang/article/details/5279393一致性 hash 算法( consistent hashing )张亮consistent hashing 算法早在 1997 年就在论文 Consistent hashing and random trees 中被提出,目前在 cache 系统中应用越来越广泛;1 基转载 2013-11-22 22:58:56 · 872 阅读 · 0 评论 -
memcached完全剖析之五
原文链接:http://gihyo.jp/dev/feature/01/memcached/0005memcached的连载终于要结束了。 到上次为止, 我们介绍了与memcached直接相关的话题,本次介绍一些mixi的案例和实际应用上的话题,并介绍一些与memcached兼容的程序。mixi案例研究mixi在提供服务的初期阶段就使用了memcached。 随着网站访问量转载 2013-11-22 22:51:56 · 929 阅读 · 0 评论 -
memcached完全剖析之四
原文链接:http://gihyo.jp/dev/feature/01/memcached/0004本次不再介绍memcached的内部结构, 开始介绍memcached的分布式。一、memcached的分布式正如第1次中介绍的那样, memcached虽然称为“分布式”缓存服务器,但服务器端并没有“分布式”功能。 服务器端仅包括 第2次、 第3次 介绍的内存存储功能,其实现转载 2013-11-22 21:47:33 · 896 阅读 · 0 评论 -
memcached完全剖析之一
原文链接:http://kb.cnblogs.com/page/42731/一、memcached是什么?memcached 是以LiveJournal 旗下Danga Interactive 公司的Brad Fitzpatric 为首开发的一款软件。现在已成为 mixi、 hatena、 Facebook、 Vox、LiveJournal等众多服务中 提高Web应用扩展性的重转载 2013-11-22 14:47:20 · 965 阅读 · 0 评论 -
memcached完全剖析之三
原文链接:http://gihyo.jp/dev/feature/01/memcached/0003memcached是缓存,所以数据不会永久保存在服务器上,这是向系统中引入memcached的前提。 本次介绍memcached的数据删除机制,以及memcached的最新发展方向——二进制协议(Binary Protocol) 和外部引擎支持。一、memcached在数据删除方面有转载 2013-11-22 15:32:41 · 973 阅读 · 0 评论 -
memcached简介
Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程(daemon )是用C写的,但是客户端可以用任何语言来编写,并通过memcached协议与守护进程通信。一、简介mem转载 2013-11-22 14:17:03 · 940 阅读 · 0 评论 -
NFS使用详解之三.NFS传输速度优化
十、nfs的传输速度优化如果按$ mount -o nolock 192.168.1.220(假设为宿主机ip):/mnt/nfs /mnt/nfs_t 来mount ,传输速度可能很慢, 只有几K到几十K左右,所以想要获得较快的速度就要对nfs进行优化。 1.设置块大小mount命令的 risize和wsize指定了server端和client端的原创 2013-10-31 12:59:27 · 16543 阅读 · 1 评论 -
NFS使用详解之一.安装与设置
一、简介网络文件系统(NFS)是一种在网络上的机器间共享文件的方法,文件就如同位于客户的本地硬盘驱动器上一样。Red Hat Linux 既可以是 NFS 服务器也可以是 NFS 客户,这意味着它可以把文件系统导出给其它系统,也可以挂载从其它机器上导入的文件系统网络文件系统(NFS),起初由 Sun 微系统公司进行开发,后经 IETF 扩展,现在能够支持在不同类型的系统原创 2013-10-31 12:51:30 · 2651 阅读 · 0 评论 -
LVS服务器集群系统结构
本文主要介绍了LVS集群的体系结构。先给出LVS集群的通用体系结构,并讨论了其的设计原则和相应的特点;最后将LVS集群应用于建立可伸缩的Web、Media、Cache和Mail等网络服务。一、引言在过去的十几年中,Internet从几个研究机构相连为信息共享的网络发展成为拥有大量应用和服务的全球性网络,它正成为人们生活中不可缺少的一部分。虽然Internet发展速度转载 2013-12-31 22:46:34 · 1046 阅读 · 0 评论 -
nginx快速部署与perl支持
1. pcre-8.33的安装$ unzip pcre-8.33.zip$ cd pcre-8.33$ ./configure$ make; make install2. nginx编译与安装$ tar -zxvf nginx-1.4.2.tar.gz$ cd nginx-1.4.2$ ./configure --with-http_perl_module原创 2013-11-06 16:40:41 · 3931 阅读 · 0 评论 -
nginx的worker_processes优化
nginx的worker_processes参数来源: http://bbs.linuxtone.org/thread-1062-1-1.html分享一:搜索到原作者的话:As a general rule you need the only worker with large number ofworker_connections, say 10,000 or 20,000.转载 2013-11-12 23:07:21 · 31181 阅读 · 0 评论 -
使用NFS时出现nfs_inode_cache占用内存过高问题的解决
一、现象运行了使用NFS文件系统的应用程序后,内存缓慢泄漏,最后导致整个服务器的内存全部耗尽,系统调起多个pdflush进程,并占到CPU的99%,这时整个系统系统变得处理速度极慢,那怕是敲个命令都慢得不行;二、检查流程1. 查看系统最耗内存的进程# top -mTasks: 428 total, 1 running, 427 sleeping, 0 sto原创 2014-04-14 11:51:50 · 8127 阅读 · 0 评论 -
更好地设计你的REST API
原文链接:http://www.ibm.com/developerworks/cn/web/1103_chenyan_restapi/一、简介 REST API 设计在细节上有很多自己独特的需要注意的技巧,并且对开发人员在构架设计能力上比传统 API 有着更高的要求。本文通过翔实的叙述和一系列的范例,从整体结构,到局部细节,分析和解读了为了提高易用性和高效性,REST AP转载 2014-02-08 16:29:26 · 1518 阅读 · 0 评论 -
基于 REST 的 Web 服务:基础
原文链接:http://www.ibm.com/developerworks/cn/webservices/ws-restful/一、简介代表性状态传输(Representational State Transfer,REST)在 Web 领域已经得到了广泛的接受,是基于 SOAP 和 Web 服务描述语言(Web Services Description Language,W转载 2014-02-08 16:20:24 · 977 阅读 · 0 评论 -
集群监控解决方案zabbix简介
一、简介zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix能监视各种服务器和网络参数,保证服务器系统的安全运营;并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。zabbix由2部分构成: zabbix server 可选组件zabbix agent。zabbix serv原创 2014-02-07 16:31:43 · 2229 阅读 · 0 评论 -
LVS最简集群配置实战
一、LVS简介LVS是章文嵩博士发起和领导的优秀的集群解决方案,许多商业的集群产品,比如RedHat的Piranha,TurboLinux公司的Turbo Cluster等,都是基于LVS的核心代码的。在现实的应用中,LVS得到了大量的部署,请参考 http://www.linuxvirtualserver.org/deployment.html关于Linux LVS的工作原理和更原创 2014-01-16 10:38:05 · 2051 阅读 · 0 评论 -
LVS集群及其配置实例
一、集群系统(Cluster)主要解决下面几个问题:高可靠性(HA): 利用集群管理软件,当主服务器故障时,备份服务器能够自动接管主服务器的工作, 并及时切换过去,以实现对用户的不间断服务。高性能计算(HP): 即充分利用集群中的每一台计算机的资源,实现复杂运算的并行处理, 通常用于科学计算领域,比如基因分析,化学分析等。负载平衡: 即把负载压力根据转载 2014-01-04 19:49:16 · 1258 阅读 · 0 评论 -
memcached完全剖析之二
原文链接:http://gihyo.jp/dev/feature/01/memcached/0002上次的文章介绍了memcached是分布式的高速缓存服务器。 本次将介绍memcached的内部构造的实现方式,以及内存的管理方式。 另外,memcached的内部构造导致的弱点也将加以说明。一、Slab Allocation机制:整理内存以便重复使用最近的memcach转载 2013-11-22 15:15:09 · 994 阅读 · 0 评论