MariaDB Galera, Maxscale 설치

Mariadb에서 Galera와 Maxscale를 설치해본다.

1. Galera 설치

Galera를 사용하려면 최소 3대의 장비가 필요하다. 테스트는 아래 장비로 구성한다.

server name	ip
server1	192.168.0.40
server2	192.168.0.41
server3	192.168.0.42

먼저 server1에서 my.cnf를 보면 [galera]부분이 보인다.초기는 모두 주석으로 되어 있다.3대의 클러스터가 서로 연결될 수 있는 계정을 만들어준다.

GRANT ALL PRIVILEGES ON *.* TO root@'%' IDENTIFIED BY '1234' WITH GRANT OPTION;
GRANT ALL PRIVILEGES ON *.* TO cluster_user@'%' IDENTIFIED BY '1234' WITH GRANT OPTION;

[Server1 세팅]

[galera]
# Mandatory settings
wsrep_on=ON
wsrep_provider=/usr/lib/libgalera_smm.so
wsrep_cluster_address=gcomm://
binlog_format=row
default_storage_engine=InnoDB
innodb_autoinc_lock_mode=2
#
# Allow server to accept connections on all interfaces.
#
bind-address=0.0.0.0
#
# Optional setting
#wsrep_slave_threads=1
#innodb_flush_log_at_trx_commit=0

#추가
wsrep_provider_options="gcache.size=512M"
wsrep_cluster_name=test_cluster
wsrep_node_name=server1
wsrep_sst_method=rsync

wsrep_cluster_address에 최초서버에는 클러스트된 서버가 없으므로 기본으로 설정해야 한다. 추후에 다른 서버랑 클러스트되면 그때 수정한다. 저장을 하고 mariadb를 중지시키고 아래 옵션으로 재시작한다.

sudo service mysql stop
sudo service mysql start --wsrep_cluster_new

옵션 —wsrep_cluster_new 는 최초 1회만 수행하면 된다.

[Server2 세팅]

server2에서 같은 설정을 하고 경로만 수정한다.

wsrep_cluster_address=gcomm://192.168.0.40,192.168.0.41
wsrep_node_name=server2
wsrep_sst_receive_address=192.160.0.41:4569

[Server3 세팅]

wsrep_cluster_address=gcomm://192.168.0.40,192.168.0.41,192.168.0.42
wsrep_node_name=server2
wsrep_sst_receive_address=192.160.0.41:4569

[재시작]

Server2, Server3각각의 서버를 재시작한다.

sudo service mysql stop
sudo service mysql start (옵션필요없음)

세 개의 서버가 정상적으로 작성되면 각각의 my.cnf파일을 열어서 wsrep_cluster_address를 동일하게 수정한다. 이렇게 되면 만약 서버가 재시작될경우 작성된 아이피로 클러스트링이 이루어진다.

wsrep_cluster_address=gcomm://192.168.0.40,192.168.0.41,192.168.0.42

[확인]

세팅이 모두 끝났으면 server1에서 해당 쿼리를 실행해보자..

SHOW STATUS LIKE 'wsrep%';

그러면 아래와 같이 나오면 정상적으로 세팅된 것이다.

Variable_name	Value
wsrep_cluster_conf_id	3
wsrep_cluster_size	3
wsrep_cluster_state_uuid	00be20a6-28be-11e7-9400-678af9ffc349
wsrep_cluster_status	Primary
wsrep_connected	ON

[에러발생시]

1. 에러

Apr 24 16:12:40 ubuntu1 mysqld[8844]: 2017-04-24 16:12:40 140660766763264 [ERROR] WSREP: It may not be safe to bootstrap the cluster from this node. It was not the last one to leave th
Apr 24 16:12:40 ubuntu1 mysqld[8844]: 2017-04-24 16:12:40 140660766763264 [ERROR] WSREP: wsrep::connect(gcomm://) failed: 7
Apr 24 16:12:40 ubuntu1 mysqld[8844]: 2017-04-24 16:12:40 140660766763264 [ERROR] Aborting

Galera관련 파일을 삭제한다.

sudo rm -rf galera.cache grastate.dat wsrep_sst_binlog.tar

1. 에러

Apr 24 16:40:15 ubuntu1 mysqld[10977]: 2017-04-24 16:40:15 139623460747520 [ERROR] WSREP: failed to open gcomm backend connection: 110: failed to reach primary view: 110 (Connection ti
Apr 24 16:40:15 ubuntu1 mysqld[10977]:          at gcomm/src/pc.cpp:connect():158
Apr 24 16:40:15 ubuntu1 mysqld[10977]: 2017-04-24 16:40:15 139623460747520 [ERROR] WSREP: gcs/src/gcs_core.cpp:gcs_core_open():208: Failed to open backend connection: -110 (Connection
Apr 24 16:40:15 ubuntu1 mysqld[10977]: 2017-04-24 16:40:15 139623460747520 [ERROR] WSREP: gcs/src/gcs.cpp:gcs_open():1380: Failed to open channel 'test_cluster' at 'gcomm://192.168.0.4
Apr 24 16:40:15 ubuntu1 mysqld[10977]: 2017-04-24 16:40:15 139623460747520 [ERROR] WSREP: gcs connect failed: Connection timed out
Apr 24 16:40:15 ubuntu1 mysqld[10977]: 2017-04-24 16:40:15 139623460747520 [ERROR] WSREP: wsrep::connect(gcomm://192.168.0.40,192.168.0.41,192.168.0.42) failed: 7
Apr 24 16:40:15 ubuntu1 mysqld[10977]: 2017-04-24 16:40:15 139623460747520 [ERROR] Aborting

해결방법

sudo galera_new_cluster

2. Galera의 사용시 유의점

Galera설치후에 auto_increment가 증가하는 문제가 있다. 즉, 같은 인서트문을 3번 수행하면 auto_increment가 5번부터 시작일때 5,6,7으로 되지 않고 아래처럼 증가한다.

id	val
5	val1
8	val2
13	val3
18	val4

한마디로 auto_increment가 +1이 아닌 노드 갯수만큼 증가한다. 물론 이와 같은 것을 방지하기 위해서는 아래 옵션을 줘서 해결할 수 있다.

[galera]
wsrep_auto_increment_control=off

문제는 이와 같이만 설정하면 데드락 문제가 발생한다. 관련되서는 아래서 블로그를 참조하자.

MariaDB / Galera Cluster / 데드락이 생긴다!?

3. Maxscale 설치

문제를 해결하기 위해서 우리는 Maxscale 를 사용하도록 한다. 설치는 쉽다. 홈페이지에서 다운받고 패키지를 설치하면 된다. 우분투에서는 다음과 같이 설치하도록 하자.

sudo dpkg -i maxscale-2.0.5-1.ubuntu.xenial.x86_64.deb

그럼 다음 각각의 maxscale에서 각각의 mariadb를 접속하기 위해서 계정을 만들어주자.

GRANT ALL PRIVILEGES ON *.* TO maxscale@'%' IDENTIFIED BY '1234' WITH GRANT OPTION;

/etc/maxscale.cnf 에서 파일을 수정하자

[maxscale]
#threads=1
threads=4

# Server definitions
#
# Set the address of the server to the network
# address of a MySQL server.
#

[server1]
type=server
address=192.168.0.40
port=3306
protocol=MySQLBackend

[server2]
type=server
address=192.168.0.41
port=3306
protocol=MySQLBackend

[server3]
type=server
address=192.168.0.42
port=3306
protocol=MySQLBackend

# Monitor for the servers
#
# This will keep MaxScale aware of the state of the servers.

# MySQL Monitor documentation:
# https://github.com/mariadb-corporation/MaxScale/blob/master/Documentation/Monitors/MySQL-Monitor.md

#[MySQL Monitor]
#type=monitor
#module=mysqlmon
#servers=server1
#user=myuser
#passwd=mypwd
#monitor_interval=10000

[Splitter Service]
type=service
router=readwritesplit
servers=server1,server2,server3
user=maxscale
passwd=1234


[Galera Monitor]
type=monitor
module=galeramon
servers=server1,server2,server3
#use_priority=true
user=maxscale
passwd=1234


# Service definitions
#
# Service Definition for a read-only service and
# a read/write splitting service.
#

[Splitter Listener]
type=listener
service=Splitter Service
protocol=MySQLClient
port=4040
socket=/tmp/ClusterMaster

[MaxAdmin Listener]
type=listener
service=MaxAdmin Service
protocol=maxscaled
socket=default


[CLI]
type=service
router=cli

[CLI Listener]
type=listener
service=CLI
protocol=maxscaled
address=localhost
port=6603

설정이 되면 service maxscale start 를 실행시키면 된다.