15%

全场主机优惠15%

测试技能,享折扣

使用代码:

Skills
开始使用
24.10.2024

什么是服务器集群?架构、类型和实际应用实现

服务器集群是将多台物理或虚拟服务器(称为节点)相互连接,使其作为一个统一系统运行的实践。这种架构支持工作负载分配、自动故障转移和水平扩展,确保即使单个硬件或软件组件发生故障,应用程序仍能保持可用。在配置正确的集群中,没有任何单个节点代表故障点,这是集群基础设施区别于独立服务器部署的基本原则。

对于任何停机时间直接导致收入损失、监管风险或数据损坏风险的工作负载,服务器集群不是可选项——它是基本架构要求。

服务器集群在架构层面的工作原理

集群的核心建立在三个相互依存的层次上:计算节点共享或复制存储以及集群管理软件。这些层次必须协同设计和调优;任何一层的配置错误都会破坏其他层试图提供的保障。

节点

每个节点都是一台完整的服务器——物理或虚拟——能够独立运行目标工作负载。节点通过专用的私有互连(通常是独立的 NIC 或绑定对)进行通信,专门用于心跳信号和内部集群流量。该网络与服务终端用户请求的面向公众的网络相互独立。

心跳是集群的脉搏。节点以可配置的间隔(通常每 1–2 秒)交换信号。如果某个节点连续错过一定数量的心跳,集群管理器将其声明为宕机并启动故障转移。这里有一个关键的边缘情况——脑裂场景:当心跳网络本身发生故障时,两个节点都可能认为对方已宕机,并同时尝试获取共享资源的所有权,从而导致数据损坏。防止脑裂需要仲裁机制——一种决胜资源,例如专用仲裁磁盘、见证服务器或基于云的仲裁服务。

共享和复制存储

存储架构因集群类型而存在显著差异:

  • 共享磁盘集群使用所有节点同时挂载的 SAN(存储区域网络)NAS(网络附加存储)设备。集群管理器使用 SCSI 预留分布式锁管理器(DLM)来防止可能损坏数据的并发写入。
  • 无共享集群在块或应用程序级别在节点之间复制数据(例如,Linux 的 DRBD、SQL Server Always On 可用性组)。每个节点拥有其本地存储;复制使它们保持同步。
  • 混合架构结合两者,使用共享存储作为主数据,并通过复制实现到地理位置分离站点的灾难恢复。

集群管理软件

集群管理器负责资源编排、健康监控和自动故障转移。广泛部署的解决方案包括:

  • Pacemaker + Corosync——Linux(RHEL、CentOS、Ubuntu)上的事实标准
  • Windows Server 故障转移集群(WSFC)——Windows Server 环境的原生方案
  • Kubernetes——具有 Pod 调度、自愈和滚动更新功能的容器原生集群
  • VMware vSphere HA / vSAN——针对虚拟化工作负载的虚拟机管理程序级集群

每种解决方案都提供不同的原语来定义资源、约束和故障转移策略。例如,Pacemaker 中的资源是集群管理的任何服务——IP 地址、文件系统挂载、数据库守护进程——而约束定义了这些资源的顺序和共置规则。

服务器集群的核心优势

高可用性与自动故障转移

大多数集群部署的主要驱动力是高可用性(HA)。当某个节点发生故障时,集群管理器通过检测心跳丢失来发现故障,然后将受影响的资源迁移到存活节点——这一过程称为故障转移。现代集群软件可以在 30 秒内完成大多数工作负载的故障转移,但数据库级恢复(崩溃恢复、日志重放)会增加额外时间,具体取决于工作负载。

恢复时间目标(RTO)恢复点目标(RPO)是定义 HA 质量的两个指标:

  • RTO——故障转移期间服务不可用的时长
  • RPO——如果主节点在复制完成前发生故障,可能丢失的数据量(以时间衡量)

同步复制可实现 RPO = 0,但会引入写入延迟,因为主节点必须等待副本确认每次写入。异步复制可降低延迟,但接受非零 RPO。在两者之间做出选择是业务决策,而非纯技术决策。

负载均衡与水平扩展

负载均衡集群使用轮询、最少连接、IP 哈希或加权分配等算法将传入请求分配到各节点。负载均衡器本身——无论是硬件(F5、Citrix ADC)还是软件(HAProxy、NGINX、LVS)——位于集群前端,必须具备冗余性,以避免成为单点故障。

集群中的水平扩展意味着增加节点,而非升级单台服务器硬件(垂直扩展)。这在经济上具有重要意义:商用硬件节点的单位计算成本低于高端单体服务器,且集群将底层硬件从应用程序中抽象出来。

容错性与冗余

容错性不仅限于节点冗余。生产级集群设计还需考虑:

  • 每个节点上的双电源,连接到独立的 PDU 和 UPS 设备
  • 冗余网络路径(NIC 绑定或 LACP 汇聚到独立交换机)
  • 用于存储连接的多路径 I/O(MPIO),消除单个 HBA 或线缆故障
  • 跨可用区或数据中心的地理分布,以防范站点级故障

忽略任何一层都会产生隐藏的单点故障,集群软件无法对此进行补偿。

简化滚动维护

一个在运营层面被低估的优势是零停机维护。节点可以优雅地撤离——将其资源迁移到对等节点——进行补丁、重启,然后重新加入集群,而不会造成任何服务中断。这在虚拟化环境中称为计划故障转移实时迁移。它将操作系统补丁和硬件更换从计划维护窗口转变为常规的无中断操作。

服务器集群的类型

集群类型主要目标典型存储模型常见使用场景
高可用性(HA)通过自动故障转移最小化停机时间共享 SAN 或同步复制数据库、ERP 系统、关键 API
负载均衡分配流量,最大化吞吐量无状态或会话复制Web 服务器、CDN 边缘节点、API 网关
故障转移冗余和灾难恢复异步复制金融交易系统、医疗记录
存储(如 Ceph、GlusterFS)可扩展的分布式数据访问分布式对象/块存储数据仓库、媒体流、大数据
计算(HPC)重型工作负载的并行处理高速并行文件系统(Lustre、GPFS)科学模拟、机器学习训练、渲染
容器编排自动化工作负载调度和自愈通过 CSI 驱动程序的持久卷微服务、CI/CD 流水线、SaaS 平台

高可用性集群

HA 集群是最常见的企业部署方式。双节点主动-被动 HA 集群在主节点上运行工作负载,而备用节点保持待机状态并持续同步。主动-主动变体在所有节点上同时运行工作负载,可提高吞吐量,但要求应用程序支持并发多节点访问——并非所有数据库或遗留应用程序都支持这一点。

负载均衡集群

这类集群本质上是主动-主动的。负载均衡器将会话分配到应用服务器池中。会话持久性(粘性会话)是有状态应用程序的常见需求:负载均衡器必须在整个会话期间将给定客户端的请求路由到同一后端节点。这会产生隐式依赖关系,使节点移除和故障转移变得复杂,这也是现代架构中强烈推荐无状态应用程序设计的原因。

故障转移集群

故障转移集群优先考虑恢复速度和数据完整性,而非原始性能。它们是 SQL Server、Oracle RAC 和 SAP HANA 部署的标准架构。关键工程挑战在于确保故障转移目标在故障发生时拥有所有数据的一致且最新的副本——这就是为什么同步复制和仲裁设计在这些环境中不可或缺。

存储集群

分布式存储系统(如 CephGlusterFSMinIO)形成独立于其上层计算集群的存储集群层。例如,Ceph 使用 CRUSH 算法将数据分布到 OSD(对象存储守护进程)中,无需中央元数据瓶颈。存储集群为 Kubernetes 工作负载提供持久卷后端,并为 HA 计算集群提供共享存储层。

计算与 HPC 集群

高性能计算集群使用作业调度器(SLURM、PBS、LSF)将节点分配给计算任务。节点通过 InfiniBand高速以太网互连,以支持并行科学工作负载所需的低延迟、高带宽 MPI(消息传递接口)通信。对于 GPU 加速工作负载——深度学习训练、分子动力学、计算流体动力学——具有 NVLink 或 NVSwitch 互连的 GPU 托管基础设施是相关架构。

实际实施注意事项

网络设计

集群网络并非单一网络。一个设计合理的集群至少需要三个独立的网络段:

  1. 公共网络——面向客户端的流量
  2. 私有集群互连——心跳和内部集群通信
  3. 存储网络——到共享存储后端的 iSCSI、NFS 或光纤通道流量

将这些流量混合在单个 NIC 或 VLAN 上会引入竞争,并产生存储 I/O 饱和干扰心跳信号的场景,从而触发误报故障转移。

隔离与 STONITH

STONITH(向另一个节点开枪)是集群强制关闭或重置其认为已发生故障的节点的机制。如果没有隔离,一个已无响应但未完全宕机的节点可能在集群已完成故障转移后继续向共享存储写入——这必然导致数据损坏。STONITH 实现包括基于 IPMI/iDRAC 的电源控制、PDU 切换和虚拟机管理程序级强制断电。任何没有有效隔离配置的 HA 集群实际上并不是 HA。

应用程序级集群与基础设施级集群

一个经常被忽视的关键区别:基础设施集群(Pacemaker、WSFC)提供节点级故障转移,但应用程序也必须设计为能够容忍突然重启。数据库需要崩溃恢复;应用服务器可能需要重新建立与后端的连接;缓存在故障转移后可能是冷的。应用程序级集群——例如数据库复制组、Elasticsearch 集群或 Kafka 代理集群——在数据层独立处理数据一致性和可用性,与其下方的基础设施无关。生产环境通常将两者叠加:计算层使用基础设施 HA,数据层使用应用程序级复制。

节点间延迟

对于同步复制,节点间延迟直接影响写入性能。同步提交需要在向客户端确认写入之前完成到副本的往返。在 1ms 节点间延迟下,每个线程的理论最大同步写入吞吐量为每秒 1,000 次操作——无论本地磁盘速度有多快。这就是为什么地理分布式同步集群在站点间距离超过约 100km 时不切实际,以及为什么异步复制用于跨区域灾难恢复。

服务器集群的适用场景

当停机或数据丢失的成本超过集群基础设施的成本时,服务器集群是合适的选择。具体指标包括:

  • 应用程序具有要求 99.9% 或更高可用性的 SLA(每年停机时间不超过 8.7 小时)
  • 工作负载不能因补丁、硬件更换或容量变更而中断
  • 流量模式不可预测或存在峰值,需要弹性水平扩展
  • 法规要求强制规定数据冗余和可审计性(PCI-DSS、HIPAA、SOC 2)
  • 应用程序处理金融交易、医疗记录或实时通信,数据丢失具有法律后果

对于不满足这些标准的较小工作负载,配置良好的 VPS 托管环境配合自动备份和监控,可能以极低的成本提供足够的弹性。

挑战与常见故障模式

成本与基础设施开销

最小可行的 HA 集群至少需要两个节点、共享或复制存储、冗余网络以及集群管理软件许可证(如适用)。对于本地部署,这通常意味着相比单服务器部署有 3 到 5 倍的成本倍增。使用托管服务(AWS RDS Multi-AZ、Azure SQL 托管实例)的基于云的集群将此成本转变为运营支出模式,但会引入供应商锁定。

配置复杂性与运营专业知识

集群配置错误是企业环境中计划外停机的主要原因之一。常见错误包括:

  • 未配置或未测试隔离——集群无法安全地从节点故障中恢复
  • 仲裁配置错误——脑裂场景损坏共享数据
  • 资源依赖关系定义不正确——故障转移后服务以错误顺序启动,导致级联故障
  • 心跳网络与生产流量共用同一接口——存储或流量峰值触发误报故障转移

持续的集群管理需要既了解集群软件又了解其所保护应用程序的工程师。这是一种有别于一般系统管理的专业技能。

存储瓶颈

共享存储是 HA 集群中常见的性能瓶颈。所有节点竞争同一存储后端的 I/O 带宽。设计不良的存储集群会成为整个系统的限制因素。解决方案包括存储分层(热数据使用 NVMe,冷数据使用机械硬盘)、节点上的读缓存以及消除单一存储控制器的分布式存储架构

对于需要最大 I/O 性能和完全硬件控制的工作负载,配备本地 NVMe 存储和硬件 RAID 的独立服务器为构建存储优化集群节点提供了坚实基础。

Web 托管环境的集群架构

面向 Web 的集群具有值得详细说明的特定架构模式:

[Client Requests]
        |
[Load Balancer Layer] (HAProxy / NGINX / cloud LB — active-active pair)
        |
[Application Server Layer] (Node 1, Node 2, Node N — stateless)
        |
[Database Layer] (Primary + Replica — HA cluster with automatic failover)
        |
[Shared Storage / Object Storage] (Ceph, NFS, S3-compatible)

每一层都可以独立扩展和冗余。应用服务器是无状态的——会话状态存储在共享的 RedisMemcached 集群中,而非本地节点上。这种设计意味着任何应用节点都可以在不影响活跃会话的情况下被移除或添加。

对于大规模管理 Web 基础设施的团队,带 cPanel 的 VPS 环境提供了托管控制平面,简化了 DNS 管理、SSL 配置和多域名配置等集群相关任务。对于偏好对集群堆栈进行精细控制的团队,VPS 控制面板提供了适合不同运营模式的多种选项。

集群 Web 环境中的 SSL 终止值得特别关注:负载均衡器通常处理 TLS 终止,在将流量分发到内部网络上的后端节点之前解密流量。这要求在负载均衡器层而非单个应用节点上配置和续期 SSL 证书——这是一种常见的配置错误,会在节点故障转移后导致证书错误。

技术决策矩阵

使用此矩阵为给定工作负载确定适当的集群架构:

需求推荐架构关键技术
RPO = 0,RTO < 30s主动-被动 HA,同步复制Pacemaker + DRBD,WSFC + Always On
RPO > 0 可接受,跨区域 DR主动-被动,异步复制MySQL Group Replication,PostgreSQL 流复制
高读取吞吐量,适中写入带读副本的主动-主动HAProxy + PostgreSQL 读副本
无状态 Web 层,可变流量负载均衡集群,自动扩展NGINX,Kubernetes HPA
PB 级数据存储分布式存储集群Ceph,GlusterFS,MinIO
GPU 加速并行计算带高速互连的 HPC 集群SLURM + InfiniBand + CUDA
容器工作负载,微服务容器编排集群Kubernetes,Nomad

实用关键要点清单

在部署服务器集群之前,请验证以下每一项:

  • 仲裁已配置,具有奇数票数或专用决胜资源——切勿在没有仲裁见证的情况下部署双节点集群
  • 隔离(STONITH)已测试,通过物理拔出网线并确认集群正确隔离节点并完成故障转移
  • 心跳网络和生产网络位于独立的物理接口上——切勿共用
  • 存储多路径(MPIO)已配置,至少有两条到共享存储的独立路径
  • 复制延迟已监控,并在 RPO 被突破之前定义了告警阈值
  • 故障转移已在负载下测试——从未经过测试的集群不是集群,只是一个理论
  • 故障转移后的应用程序行为已验证——确认应用程序重新连接到新主节点、清除过期连接并正确提供流量
  • 集群事件已记录到中央外部日志服务器——而非记录到在您试图诊断的故障期间可能不可用的本地节点存储
  • SSL 证书在负载均衡器层配置,而非在单个后端节点上
  • 容量规划考虑了 N-1 节点可用性——集群必须能够在一个节点宕机的情况下处理完整的生产负载

常见问题解答

服务器集群所需的最少节点数是多少?

从技术上讲,两个节点足以构成主动-被动 HA 集群。但是,双节点集群需要仲裁见证(第三个决胜资源)来防止脑裂。对于主动-主动负载均衡集群,三个节点是在移除一个节点进行维护时保持冗余的实际最低要求。

服务器集群中的脑裂是什么,为什么它很危险?

脑裂发生在集群内部通信网络发生故障时,导致节点失去彼此联系。每个节点都认为另一个节点已发生故障,并同时尝试获取共享资源的所有权。如果两个节点在没有协调的情况下同时向同一共享存储写入,结果就是数据损坏。仲裁机制和 STONITH 隔离是防范脑裂的两种手段。

服务器集群与服务器虚拟化有何不同?

虚拟化将单台物理服务器划分为多个隔离的虚拟机。集群将多台服务器连接起来作为一个系统运行。两者是互补的:虚拟化服务器(VM)经常被用作集群节点,而 VMware vSphere 等虚拟机管理程序平台包含自己的 HA 集群功能,在 VM 级别而非操作系统或应用程序级别运行。

服务器集群能消除所有停机时间吗?

不能。集群通过自动化故障转移大幅减少计划外停机时间,但无法消除它。故障转移本身需要时间(根据工作负载和集群配置,从几秒到几分钟不等)。此外,集群软件中的错误、同时多节点故障以及网络分区场景可能导致集群无法防止的停机。目标是满足定义的可用性 SLA,而非实现绝对零停机时间。

HA 集群与灾难恢复(DR)设置有何区别?

HA 集群在同一站点或可用区内提供自动、近乎即时的故障转移,通常 RPO = 0,RTO 以秒到分钟计。DR 设置将数据复制到地理位置分离的站点,需要手动或半自动干预才能激活,RTO 以分钟到小时计,由于异步复制,RPO 为非零值。需要本地弹性和地理冗余的生产环境在站点内部署 HA 集群,并在站点之间使用 DR 复制。

15%

全场主机优惠15%

测试技能,享折扣

使用代码:

Skills
开始使用