HeLei Blog

Redis源码剖析和注释（十二）--- Redis 复制(replicate)源码详细解析

发表于 | 分类于

1. 复制介绍

分布式数据库为了获取更大的存储容量和更高的并发访问量，会将原来集中式数据库中的数据分散存储到多个通过网络连接的数据存储节点上。Redis为了解决单点数据库问题，会把数据复制多个副本部署到其他节点上，通过复制，实现Redis的高可用性，实现对数据的冗余备份，保证数据和服务的高度可靠性。

2. 复制的建立

建立复制的配置方式有三种。

  • 在redis.conf文件中配置slaveof 选项，然后指定该配置文件启动Redis生效。
  • 在redis-server启动命令后加上–slaveof 启动生效。

  • 直接使用 slaveof 命令在从节点执行生效。
    我们以最简单的一主一从模型，使用第2种方式建立复制。

  • 首先先开启主节点master实例，端口8888

    1
    redis-server --port 8888

  • 接着开启从节点slave实例，端口9999，并指定指定主节点。

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    redis-server --port 9999 --slaveof 127.0.0.1 8888
    //命令行开启Redis服务器后，会打印如下日志信息，已经开启复制了
    Connecting to MASTER 127.0.0.1:8888
    MASTER <-> SLAVE sync started
    Non blocking connect for SYNC fired the event.
    Master replied to PING, replication can continue...
    Partial resynchronization not possible (no cached master)
    Full resync from master: 1aff09ecd70ca640e33083f8422018b29883b9d1:1
    MASTER <-> SLAVE sync: receiving 76 bytes from master
    MASTER <-> SLAVE sync: Flushing old data
    MASTER <-> SLAVE sync: Loading DB in memory
    MASTER <-> SLAVE sync: Finished with success

  • 开启一个client，连接上从节点服务器。

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    ➜  ~ redis-cli -p 9999
    127.0.0.1:9999> INFO replication
    # Replication
    role:slave                      //节点角色
    master_host:127.0.0.1           //主节点的IP
    master_port:8888                //主节点的端口
    master_link_status:up           //与主节点的连接状态
    master_last_io_seconds_ago:0    //主节点最后与从节点的通信时间间隔，单位秒
    master_sync_in_progress:0       //从节点是否正在全量同步主节点的RDB文件
    slave_repl_offset:407           //复制偏移量
    slave_priority:100              //从节点的优先级
    slave_read_only:1               //从节点是否只读
    connected_slaves:0              //连接从节点的个数
    master_repl_offset:0            //当前从节点作为其他从节点的主节点时的复制偏移量
    //以下四种信息为通用的配置
    repl_backlog_active:0           //复制缓冲区的状态
    repl_backlog_size:1048576       //复制缓冲区的大小
    repl_backlog_first_byte_offset:0//复制缓冲区起始偏移量，标识当前缓冲区可用的范围
    repl_backlog_histlen:0          //标识复制缓冲区已存在的有效数据长度
    127.0.0.1:9999> KEYS *          //由于主节点的键空间为空，所以从节点的键空间也为空。
    (empty list or set)

此时，我们查看主节点的INFO replication 信息

1
2
3
4
5
6
7
8
9
10
11
12
//通过INFO replication命令可以查看当前的复制信息
127.0.0.1:6380> INFO replication
# Replication
role:master                                                     //节点角色
connected_slaves:1                                              //连接从节点的个数
slave0:ip=127.0.0.1,port=9999,state=online,offset=631,lag=0     //连接从节点的信息
master_repl_offset:631                                          //主节点的偏移量
//以下四种信息为通用的配置  
repl_backlog_active:1                                           //复制缓冲区的状态
repl_backlog_size:1048576                                       //复制缓冲区的大小
repl_backlog_first_byte_offset:2                                //复制缓冲区起始偏移量，标识当前缓冲区可用的范围
repl_backlog_histlen:630                                        //由于主节点的键空间为空，所以从节点的键空间也为空。

到此，一主一从模型的复制就建立成功了。我们可以在主节点建立一些新的键，然后查看从节点的键空间的变化

1
2
3
4
5
//根据端口区别主从节点
127.0.0.1:8888> HSET hash_key hello world
(integer) 1
127.0.0.1:9999> KEYS *  //从节点的键空间已经更新
1) "hash_key"

我们在查看从节点的INFO replication信息时，可以知道slave_read_only:1，从节点默认只能读不能写，因此执行写命令会得到如下回复：

1
2
127.0.0.1:9999> SET key value
(error) READONLY You can't write against a read only slave.

只读模式由 redis.conf 文件中的 slave-read-only 选项控制，也可以通过 CONFIG SET命令来开启或关闭这个模式。

我们在查看从节点的INFO replication信息时，还发现有connected_slaves:0选项 ，说明Redis的复制拓扑结构支持单层或多层复制关系，从节点还可以作为其他从节点的主节点进行复制。

根据拓扑关系可以分为三种：

  • 一主一从
    replicate01

  • 一主多从
    replicate01

  • 树型主从结构
    replicate01

3. 复制的断开

复制断开也是在从节点执行命令slaveof no one来断开于主节点的复制关系。例如，将刚才端口为9999的从节点断开复制：

1
2
3
4
5
6
7
8
9
127.0.0.1:9999> SLAVEOF no one
OK
//从节点服务器会打印如下日志
Connection with master lost.
Caching the disconnected master state.
Discarding previously cached master state.
MASTER MODE enabled (user request from 'id=3 addr=127.0.0.1:40218 fd=7 name= age=2218 idle=0 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=slaveof')
//主节点服务器也会打印断开的信息
Connection with slave 127.0.0.1:9999 lost.

从节点服务器断开后，从节点会晋升为主节点。从日志中可以看到MASTER MODE enabled，也可以从INFO命令查看到

1
2
3
4
127.0.0.1:9999> INFO replication
# Replication
role:master     //角色发生变化
......

4. min-slaves配置选项

Redis的min-slaves-to-write和min-slaves-max-lag两个选项可以防止主节点在不安全的情况下执行写命令。

1
2
min-slaves-to-write 3   //从节点数量少于3个，主节点拒绝执行写命令
min-slaves-max-lag 10   //3个从节点的延迟(lag)值，大于或等于10，主节点拒绝执行写命令

坚持原创技术分享，您的支持将鼓励我继续创作！