异常教程

redis 集群（长文讲解）

更新时间:

💡一则或许对你有用的小广告

欢迎加入小哈的星球 ，你将获得：专属的项目实战 / 1v1 提问 / Java 学习路线 / 学习打卡 / 每月赠书 / 社群讨论

  • 新项目:《从零手撸：仿小红书（微服务架构）》 正在持续爆肝中，基于 Spring Cloud Alibaba + Spring Boot 3.x + JDK 17...，点击查看项目介绍 ;
  • 《从零手撸：前后端分离博客项目（全栈开发）》 2 期已完结，演示链接： http://116.62.199.48/ ;

截止目前， 星球 内专栏累计输出 82w+ 字，讲解图 3441+ 张，还在持续爆肝中.. 后续还会上新更多项目，目标是将 Java 领域典型的项目都整一波，如秒杀系统, 在线商城, IM 即时通讯，权限管理，Spring Cloud Alibaba 微服务等等，已有 2900+ 小伙伴加入学习 ，欢迎点击围观

在现代互联网应用中，数据量的爆炸式增长与高并发访问需求对数据库提出了严苛的挑战。作为内存数据库的代表，Redis 以其高速读写、丰富的数据结构支持和灵活的扩展性，成为开发者构建高性能系统的首选工具之一。然而，单节点 Redis 的存储容量和处理能力存在天然瓶颈，这就催生了 Redis 集群的诞生。本文将从零开始，用通俗的语言和案例，带您理解 Redis 集群的核心概念、搭建方法及实际应用，帮助您在分布式场景中高效利用这一技术。

什么是 Redis 集群？

Redis 集群（Redis Cluster）是 Redis 官方提供的分布式解决方案，它通过将数据分散存储在多个节点上，解决了单节点的容量限制和性能瓶颈问题。想象一个图书馆：如果所有书籍都堆放在一个房间里，不仅空间有限，查找速度也会变慢；而 Redis 集群 就像将图书馆拆分为多个分馆，每个分馆负责一部分书籍，读者可以通过导航系统快速定位目标书籍。

Redis 集群的核心特性包括：

  • 自动分片（Sharding）：数据被均匀分散到多个节点，避免单点过载。
  • 去中心化管理：节点间通过 Gossip 协议通信，无需依赖第三方协调器。
  • 高可用性：支持故障转移，当某个节点失效时，其他节点会接管其数据。
  • 线性扩展：理论上可无限扩展节点数量，提升整体吞吐量。

Redis 集群的基本组成

一个典型的 Redis 集群由多个节点（Node）组成，每个节点可以分为两种角色：

  1. 主节点（Master）：负责实际的数据存储和读写操作。
  2. 从节点（Slave）：作为主节点的备份，提供读操作的负载均衡和故障转移支持。

集群的最小配置需要至少 3 个主节点 + 3 个从节点（共 6 个节点），以满足故障转移的 quorum（多数派）要求。

节点通信与数据分片机制

Redis 集群通过 CRC16 算法 对 Key 进行哈希计算，将数据映射到 16384 个哈希槽（Hash Slot）中。每个主节点负责一部分哈希槽，例如：

  • 节点 A 负责槽 0-5460
  • 节点 B 负责槽 5461-10922
  • 节点 C 负责槽 10923-16383

当客户端发送请求时，集群会根据 Key 的哈希值自动定位到对应的节点，无需人工干预。

Redis 集群的搭建与配置

环境准备

  • Redis 3.0+ 版本（推荐使用最新稳定版）
  • 多台服务器或虚拟机（至少 3 台，用于主节点）

步骤 1：配置节点

创建 redis-cluster.conf 配置文件，内容示例：

port 7000  
cluster-enabled yes  
cluster-config-file nodes-7000.conf  
cluster-node-timeout 5000  
appendonly yes

重复此操作，为其他节点（如 7001、7002）生成对应的配置文件。

步骤 2：启动节点

依次执行以下命令启动节点：

redis-server redis-cluster.conf --port 7000  
redis-server redis-cluster.conf --port 7001  
redis-server redis-cluster.conf --port 7002

步骤 3：创建集群

使用 redis-cli 工具初始化集群：

redis-cli --cluster create \  
  127.0.0.1:7000 \  
  127.0.0.1:7001 \  
  127.0.0.1:7002 \  
  --cluster-replicas 1

参数 --cluster-replicas 1 表示每个主节点配置一个从节点。

Redis 集群的工作原理

1. 数据分片与路由

当客户端执行命令时，首先需要确定 Key 对应的哈希槽。例如：

GET user:1001:profile

Redis 会计算 user:1001:profile 的 CRC16 值，假设结果为 8192，则该 Key 会被路由到负责槽 8192 的节点。

2. 自动化迁移与负载均衡

若某个节点因负载过高或故障需要扩容，集群会自动将部分哈希槽迁移至其他节点。迁移过程通过 CLUSTER MEET 和 CLUSTER ADDSLOTS 命令完成，全程对客户端透明。

3. 故障转移机制

当主节点失效时，集群会触发以下流程：

  1. 其他节点通过心跳检测发现主节点宕机。
  2. 进入选举流程，选择一个健康的从节点升级为主节点。
  3. 更新集群元数据，确保所有节点状态一致。

实战案例：搭建购物车系统

假设我们正在开发一个电商网站，需要为用户实时存储购物车数据。若使用单节点 Redis，当用户量增长到百万级时，存储空间和响应时间将无法满足需求。此时，Redis 集群便成为理想选择。

系统设计

  • Key 设计：cart:<user_id>:items，例如 cart:1001:items。
  • 分片策略：利用用户 ID 的哈希值分散到不同节点。
  • 高可用保障：每个主节点配置一个从节点，确保单点故障不影响服务。

代码示例（Python）

以下代码演示如何用 redis-py-cluster 客户端操作集群：

from rediscluster import RedisCluster  

startup_nodes = [  
    {"host": "127.0.0.1", "port": "7000"},  
    {"host": "127.0.0.1", "port": "7001"},  
]  
rc = RedisCluster(startup_nodes=startup_nodes, decode_responses=True)  

user_id = 1001  
items = {"product_123": 2, "product_456": 1}  
rc.hset(f"cart:{user_id}:items", mapping=items)  

cart = rc.hgetall(f"cart:{user_id}:items")  
print(cart)  # 输出：{'product_123': '2', 'product_456': '1'}

Redis 集群的优缺点分析

优点

  • 横向扩展能力：通过增加节点提升容量和性能。
  • 自动管理：分片、故障转移无需人工干预。
  • 兼容性：支持 Redis 的所有数据类型和命令（除 KEYS、SCAN 等全集群操作）。

局限性

  • 分布式复杂性：需处理分片键设计、跨节点事务等问题。
  • 写入性能波动：在节点迁移或扩容期间，部分操作可能短暂变慢。
  • 配置门槛：集群搭建和维护对新手有一定学习成本。

结论

Redis 集群 是应对高并发、大数据场景的利器，其自动分片、高可用性和灵活扩展性，使其成为现代分布式系统中不可或缺的组件。通过本文的讲解和代码示例，您已经掌握了从基础概念到实战搭建的全流程。

在实际应用中，合理设计分片键、监控集群状态、选择合适的客户端库，是确保系统稳定性的关键。随着业务需求的增长，您可以进一步结合哨兵（Sentinel）或云服务（如 AWS ElastiCache），构建更健壮的 Redis 集群架构。

希望本文能为您的技术探索提供有价值的参考，让 Redis 集群 成为您攻克分布式难题的得力工具！

最新发布

查看更多文章