高性价比开源软件集群(2)--mysql集群

没有女朋友就写点博客吧,了以解愁,接着昨天的继续.

mysql集群由三部分组成,管理节点,存储节点,SQL节点.模型图如下图所示:

 

管理节点顾名思义是用来管理存储节点和SQL节点的,存储节点和SQL节点都要与管理节点通信,SQL节点用来与应用程序通信,也是对外的接口,应用程序只能也只需访问它,存储节点用来负载均衡存储数据,而所用的存储引擎只能是NDB.一个集群至少由这三部分组成,每部分至少由一个节点组成,当然也可以把这三部分配置在一台电脑上,而且也可以只运行一个mysqld,ndb_mgmd,ndbd,mysqld三个进程在一台电脑上运行就能实现一个目的.我们继续.

mysql的安装:

网上不少资料以及mysql官网上都说要下载一个max版本的mysql,其实现在,到官网上随便下一个二进制的server版就行了,现在的server都包含了必需的工具.如果自己编译源码就比较麻烦了,默认情况下,源码编译后是不包含集群的工具的,要自己单独再下载集群需要的源码再编译才行.这里我们采用第一种方法,直接下载二进制文件.

下载后请执行下列命令:

groupadd mysql

useradd -g mysql mysql

tar -xvf mysql.tar.gz

cd mysql

scripts/mysql_install_db --user=mysql

chown -R root .

chown -R mysql data

chgrp -R mysql .

bin/mysqld_safe --user=mysql &

注意,在执行上述命令或mysql命令的时候可能会出现一系列的错误,这主要有两个可能,一是权限问题,二是一定要在mysql主目录下执行scripts/mysql_install_db --user=mysql和bin/mysqld_safe --user=mysql & 如果你在script或bin或下执行mysql_install_db --user=mysql和mysqld_safe --user=mysql & 都可能出现错误.

配置文件:

配置文件主要有两类,一是管理节点的配置文件,二是普通节点的配置文件.这里附上我的配置文件.

config.ini(管理节点的配置文件)

my.cnf(数据节点和SQL节点的配置文件)

config.ini中,[ndb_mgmd]指明管理节点的地址  [ndbd]指明数据节点的地址  [mysqld]指明SQL节点的地址

my.cnf中,[mysql_cluster]指明电脑上的mysqld,ndbd都公用这个配置,当然也可以分开配置,[ndbd]指明ndbd进程使用这个配置,  [mysqld]指明mysqld进程使用这个配置.示例配置如下:

 config.ini

# Example Ndbcluster storage engine config file.
#
[ndbd default]
NoOfReplicas= 2
MaxNoOfConcurrentOperations= 10000
DataMemory= 80M
IndexMemory= 24M
TimeBetweenWatchDogCheck= 30000
DataDir= /var/lib/mysql-cluster
MaxNoOfOrderedIndexes= 512

[ndb_mgmd default]
DataDir= /var/lib/mysql-cluster

[ndb_mgmd]
Id=1
HostName=202.115.138.47

[ndbd]
Id= 2
HostName=202.115.138.217
#hostname=localhost
datadir=/usr/local/mysql/data
[ndbd]
Id= 3
HostName=202.115.138.47 
datadir=/usr/local/mysql/data
[mysqld]
Id= 4
hostname=202.115.139.47
[mysqld]
Id= 5

[mysqld]
Id= 6

[mysqld]
Id= 7

# choose an unused port number
# in this configuration 63132, 63133, and 63134
# will be used
[tcp default]
PortNumber= 63132

my.cnf

# Example MySQL config file for medium systems.
#
# This is for a system with little memory (32M - 64M) where MySQL plays
# an important part, or systems up to 128M where MySQL is used together with
# other programs (such as a web server)
#
# You can copy this file to
# /etc/my.cnf to set global options,
# mysql-data-dir/my.cnf to set server-specific options (in this
# installation this directory is /usr/local/mysql/data) or
# ~/.my.cnf to set user-specific options.
#
# In this file, you can use all long options that a program supports.
# If you want to know which options a program supports, run the program
# with the "--help" option.

# The following options will be passed to all MySQL clients
[client]
#password    = your_password
port        = 3306
socket        = /tmp/mysql.sock

# Here follows entries for some specific programs

# The MySQL server
[mysqld]
port        = 3306
socket        = /tmp/mysql.sock
skip-locking
key_buffer = 16M
max_allowed_packet = 1M
table_cache = 64
sort_buffer_size = 512K
net_buffer_length = 8K
read_buffer_size = 256K
read_rnd_buffer_size = 512K
myisam_sort_buffer_size = 8M

# Don't listen on a TCP/IP port at all. This can be a security enhancement,
# if all processes that need to connect to mysqld run on the same host.
# All interaction with mysqld must be made via Unix sockets or named pipes.
# Note that using this option without enabling named pipes on Windows
# (via the "enable-named-pipe" option) will render mysqld useless!
# 
#skip-networking

# Replication Master Server (default)
# binary logging is required for replication
log-bin=mysql-bin

# required unique id between 1 and 2^32 - 1
# defaults to 1 if master-host is not set
# but will not function as a master if omitted
server-id    = 1

# Replication Slave (comment out master section to use this)
#
# To configure this host as a replication slave, you can choose between
# two methods :
#
# 1) Use the CHANGE MASTER TO command (fully described in our manual) -
#    the syntax is:
#
#    CHANGE MASTER TO MASTER_HOST=<host>, MASTER_PORT=<port>,
#    MASTER_USER=<user>, MASTER_PASSWORD=<password> ;
#
#    where you replace <host>, <user>, <password> by quoted strings and
#    <port> by the master's port number (3306 by default).
#
#    Example:
#
#    CHANGE MASTER TO MASTER_HOST='125.564.12.1', MASTER_PORT=3306,
#    MASTER_USER='joe', MASTER_PASSWORD='secret';
#
# OR
#
# 2) Set the variables below. However, in case you choose this method, then
#    start replication for the first time (even unsuccessfully, for example
#    if you mistyped the password in master-password and the slave fails to
#    connect), the slave will create a master.info file, and any later
#    change in this file to the variables' values below will be ignored and
#    overridden by the content of the master.info file, unless you shutdown
#    the slave server, delete master.info and restart the slaver server.
#    For that reason, you may want to leave the lines below untouched
#    (commented) and instead use CHANGE MASTER TO (see above)
#
# required unique id between 2 and 2^32 - 1
# (and different from the master)
# defaults to 2 if master-host is set
# but will not function as a slave if omitted
#server-id       = 2
#
# The replication master for this slave - required
#master-host     =   <hostname>
#
# The username the slave will use for authentication when connecting
# to the master - required
#master-user     =   <username>
#
# The password the slave will authenticate with when connecting to
# the master - required
#master-password =   <password>
#
# The port the master is listening on.
# optional - defaults to 3306
#master-port     =  <port>
#
# binary logging - not required for slaves, but recommended
#log-bin=mysql-bin

# Point the following paths to different dedicated disks
#tmpdir        = /tmp/        
#log-update     = /path-to-dedicated-directory/hostname

# Uncomment the following if you are using BDB tables
#bdb_cache_size = 4M
#bdb_max_lock = 10000

# Uncomment the following if you are using InnoDB tables
#innodb_data_home_dir = /usr/local/mysql/data/
#innodb_data_file_path = ibdata1:10M:autoextend
#innodb_log_group_home_dir = /usr/local/mysql/data/
#innodb_log_arch_dir = /usr/local/mysql/data/
# You can set .._buffer_pool_size up to 50 - 80 %
# of RAM but beware of setting memory usage too high
#innodb_buffer_pool_size = 16M
#innodb_additional_mem_pool_size = 2M
# Set .._log_file_size to 25 % of buffer pool size
#innodb_log_file_size = 5M
#innodb_log_buffer_size = 8M
#innodb_flush_log_at_trx_commit = 1
#innodb_lock_wait_timeout = 50
#add by endall
[mysqld]
ndbcluster
ndb-connectstring=202.115.138.217
[mysql_cluster]
ndb-connectstring=202.115.138.217

[mysqldump]
quick
max_allowed_packet = 16M

[mysql]
no-auto-rehash
# Remove the next comment character if you are not familiar with SQL
#safe-updates

[isamchk]
key_buffer = 20M
sort_buffer_size = 20M
read_buffer = 2M
write_buffer = 2M

[myisamchk]
key_buffer = 20M
sort_buffer_size = 20M
read_buffer = 2M
write_buffer = 2M

[mysqlhotcopy]
interactive-timeout

 

注意.config.ini中指明了所有的数据节点和SQL节点,它将管理这些地址,数据节点和SQL节点中都指明了管理节点的地址,它们通过它进行与管理节点的通信,但SQL节点中并没有指明数据节点的地址,所以它通过管理节点来与数据节点进程通信.

mysql群的启动:

1.启动管理节点:

ndb_mgmd -f /var/lib/config.ini

2.启动数据节点:

ndbd --initial(这个参数只有在首次运行的时候才加上)

3.启动SQL节点:

mysqld_safe --user=mysql

4.关闭群:

ndb_mgm -e shutdown

它将导致群中ndb_mgm,ndb_mgmd ,ndbd进程温和的结束.

测试:

ndb_mgm

show

显示如图: