01.分布式存储系统设计

0、需求说明

• 设计要点：

  • 涉及海量数据存储的场景，需考虑分布式存储的
  • 扩展性、容错性、数据一致性（CAP理论）、副本机制、负载均衡等问题

• 关键点：

  • 数据分片和分区策略（如一致性哈希）

  • 数据副本机制和恢复方案

  • 主从复制、Raft 或 Paxos 一致性协议

  • 数据压缩和冷热数据分层存储

1、系统架构设计概述

• 系统的核心目标是处理海量数据，支持水平扩展，保证数据的高可用性和一致性

• 整个系统分为数据存储层、数据协调层、数据访问层，并结合多种技术手段实现高效、可靠的存储和管理

• 架构层次

  • 数据访问层：通过 RESTful API、RPC 等提供给客户端的访问接口

  • 数据协调层：处理分布式系统中的一致性问题，协调数据分片、副本管理等，使用 Raft 或 Paxos 协议

  • 数据存储层：实际存储数据，支持分片和副本的扩展，应用冷热数据分层存储策略

2、数据分片与分区策略

• 由于涉及海量数据，单一存储节点无法满足需求
• 因此需要对数据进行合理的分片和分区，确保系统的扩展性和负载均衡

• 一致性哈希（Consistent Hashing）：
  • 数据的分片通过一致性哈希分配到不同的节点上，可以有效应对节点的动态增减，避免大范围的数据迁移
  • 该策略能够确保每个节点负载均衡，并最大限度减少重新分配的数据量
• 虚拟节点机制：
  • 在一致性哈希的基础上，增加虚拟节点的概念，提升数据的均衡性
  • 每个物理节点可以对应多个虚拟节点，均匀分配数据，防止部分节点负载过高
• 数据分区（Sharding）策略：
  • 根据业务需求，可以按范围分片 或 按哈希分片
  • 范围分片适合查询按区间分布的数据，哈希分片则适合随机访问较多的场景

3、数据副本机制和恢复方案

• 为提升系统的高可用性，数据副本机制至关重要
• 副本不仅能在节点宕机时快速恢复数据，还能提升读取效率

• 多副本机制：
  • 每份数据会有多个副本，副本分布在不同的物理节点上
  • 副本的数量可以根据实际需求设置（如 3 副本），以确保某些节点故障时，仍有可用的数据备份
• 副本存储策略：
  • 主从复制（Master-Slave Replication）：
    • 一个副本为主节点，负责数据的写操作，其他副本为从节点，只进行数据的读操作
    • 主节点故障时可以自动选举新的主节点
  • 多主节点复制（Multi-master Replication）：
    • 在某些场景下可以支持多个主节点，提高写性能，但需特别关注数据冲突的解决
• 数据恢复方案：
  • 通过监控节点的健康状态，节点失效时，副本节点会立即接管并恢复数据
  • 可以结合**日志重放或快照机制**（Snapshot）加速故障恢复

4、一致性协议的选择

• 在分布式系统中保持数据的一致性是一个核心挑战
• 我们可以根据具体需求选择不同的一致性协议

• Paxos 协议：
  • 经典的分布式一致性协议，提供严格的一致性，适合需要强一致性的场景
  • 但 Paxos 实现复杂，性能较低
• Raft 协议：
  • 相对简单易实现的一致性协议，被广泛应用于分布式系统，如 ETCD、Consul 等
  • Raft 通过选举主节点管理数据写操作，适合主从复制架构，且能保证数据的高一致性
• 最终一致性（Eventual Consistency）：
  • 在需要提升性能的场景下，最终一致性是一种折中方案
  • 系统允许节点间的数据不一致，但最终经过副本同步后，各节点的数据达到一致
  • 适用于读多写少、对强一致性要求不高的场景

5、冷热数据分层存储

• 面对海量数据，不同类型的数据访问频率不同，采用分层存储可以有效优化存储成本和访问性能

• 热数据：频繁访问的数据，存储在高性能的 SSD 硬盘上，保证快速读写
• 冷数据：
  • 不常访问的数据，存储在低成本的存储介质上，如 SATA 硬盘甚至云存储上
  • 可以定期将热数据迁移到冷数据层，减轻存储压力
• 数据迁移：
  • 通过自动化脚本或监控工具，定期分析数据的访问频率
  • 自动将冷数据迁移至低成本存储，而当冷数据变热时，也能快速恢复至热数据存储层

6、数据压缩

• 面对海量数据，存储空间的节省也是关键考虑因素
• 可以针对不同数据类型采用合适的压缩算法

• 无损压缩：适合文本、日志等需要保持原始数据不变的场景常见的算法有 Gzip、Snappy 等
• 有损压缩：适合图像、视频等可以容忍一定数据损失的场景，如使用 JPEG、MP3 等算法
• 块级压缩：针对大规模数据块（如 HDFS 中的文件块），可以对每个块进行压缩，进一步节省存储空间

7、负载均衡

• 读写分离：对于读操作，系统可以通过副本进行负载分担，而写操作则通过主节点进行处理
• 请求分发：利用负载均衡器（如 Nginx、HAProxy 等）将请求均匀分发至多个节点，避免单点压力过大
• 动态扩展：监控系统的流量和负载情况，动态扩展和缩减节点，保证系统的弹性