💾[Database] Hash Based Sharding이란?

📝 Intro.

• Hash Based Sharding은 데이터베이스 샤딩(“데이터를 여러 개의 데이테베이스로 나누는 기법”) 중 하나로, 데이터를 저장할 샤드(Shard)를 결정할 때 해시 함수(Hash Function)를 사용하는 기법입니다.
  • 해시 함수(Hash Function)를 이용해 데이터가 특정 샤드(Shard)에 균등하게 분배되도록 하며, 데이터 분포와 조회 효율성을 최적화합니다.

끄악!! 벌써 너무 어려운 용어들이 많이 나와요!! 그래도 차근 차근 알아가봐요!! 😆

✅1️⃣ 샤딩(Sharding)이란 무엇일까요?

✅ 샤딩(Sharding).

• 샤딩(Sharding)은 데이터를 여러 개의 작은 조각(Shard)으로 나누어 저장하고 관리하는 방법을 의미합니다.
  • 이러한 샤드(Shard)는 각기 독립적인 데이터베이스나 서버로 동작하며, 대규모 데이터와 트래픽을 처리할 때 성능과 확장성을 향상시키는 데 사용됩니다.

✅ 샤딩과 샤드.

• 샤딩(Sharding): “데이터를 여러 개의 작은 조각(Shard)으로 나누어 저장하고 관리하는 방법.”
• 샤드(Shard): 데이터베이스 샤딩에서 Shard는 데이터를 저장하는 “독립된 데이터베이스나 서버”를 가리킴.

✅ 샤딩이 왜 필요하지?

• 1. 성능 문제 해결!
     • “병목 현상을 줄일 수 있어요 :)”
     • 데이터베이스에 데이터가 많아지면 쿼리 속도가 느려지고 성능 저하가 발생할 수 있어요. 👎
       • “샤딩(Sharding)을 통해 데이터를 나누면 각 샤드(Shard)가 독립적으로 처리되므로, 병목 현상을 줄일 수 있지요”
• 1. 확장성 확보!
     • “샤딩을 통해 여러 서버를 추가하여 확장이 가능해요 :)”
     • 데이터가 급격히 증가하거나, 트래픽이 많아질 경우 단일 데이터베이스로는 감당할 수 없어요.
       • 때문에 “샤딩을 통해 여러 서버를 추가하여 확장이 가능하지요.”
• 1. 신뢰성 및 가용성 향상!
     • “하나의 샤드가 장애를 겪더라도 다른 샤드는 정상적으로 작동하여 서비스 중단을 방지해요.”

✅ 샤딩의 작동 원리를 알아봅시다!

• 샤딩은 데이터를 저장할 때 특정 기준에 따라 나눕니다.
  • 이 기준에 따라 어떤 데이터를 어떤 샤드에 저장할지 결정됩니다.

    1️⃣ 샤드 키(Shard Key)

• 데이터를 나눌 때 사용하는 기준이 되는 키.
  • 예: 사용자 ID, 날짜, 특정 데이터의 해시 값.

    2️⃣ 샤드 할당

• 샤드 키를 기반으로 데이터를 특정 샤드에 분배.
  • 예:

    shard = hash(UserID) % number_of_shards
    

• 위 식에 따라 데이터를 샤드에 할당합니다.

✅ 샤딩의 장점은 무엇일까요?

• 1. 확장성(Scalability)!
     • 데이터를 분산 저장하여 수평적 확장이 가능합니다.
     • 예: 서버를 추가하면 더 많은 데이터를 저장하고 처리할 수 있습니다.
• 1. 성능 향상!
     • 데이터가 분산되므로 각 샤드에서 처리해야 할 데이터량이 줄어들어 쿼리 성능이 향상됩니다.
• 1. 가용성!
     • 특정 샤드에 장애가 발생해도, 다른 샤드는 정상적으로 작동합니다.

✅ 샤딩의 단점은 무엇일까요?

• 1. 복잡성의 증가.
     • 데이터를 나누고 관리하는 추가적인 로직이 필요합니다.
     • 샤드 간 데이터를 조회해야 하는 경우(조인 쿼리) 구현이 복잡해질 수 있습니다.
• 1. 데이터 재분배 비용.
     • 샤드의 개수를 늘리거나 줄일 경우, 데이터를 재분배해야 하며 이는 시간이 많이 소요됩니다.
• 1. 핫스팟 문제.
     • 특정 샤드에 데이터가 몰리면 해당 샤드에 과부하가 걸리는 문제가 발생합니다.

✅ 샤딩의 종류에는 무엇이 있을까요?

1️⃣ Range Based Sharding(범위 기반 샤딩)

• 데이터의 범위에 따라 샤드를 나눕니다.
  • 예: 사용자 ID가 11000은 샤드 1, 10012000은 샤드 2.
  • 장점: 특정 범위의 데이터를 조회할 때 효율적입니다.
  • 단점: 특정 범위에 데이터가 몰릴 경우, 샤드가 불균형해질 수 있습니다.

2️⃣ Hash Based Sharding(해시 기반 샤딩)

• 데이터의 해시 값을 기준으로 샤드를 나눕니다.
  • 예: shard = hash(UserID) % number_of_shards
  • 장점: 데이터가 균등하게 분배됩니다.
  • 단점: 샤드 개수 변경 시 모든 데이터를 재분배해야 합니다.

3️⃣ Directory Based Sharding(디렉토리 기반 샤딩)

• 샤드 키와 샤드를 매핑한 별도의 디렉토리(매핑 테이블)를 사용합니다.
  • 장점: 유연하게 데이터를 분배가 가능합니다.
  • 단점: 매핑 테이블 관리의 복잡성이 증가합니다.

✅2️⃣ Hash Based Sharding의 작동 방식은 어떻게 될까요?

1️⃣ 해시 함수(Hash Function).

• 해시 함수는 입력값(예: User ID, Order ID 등)을 받아서 고정된 크기의 숫자(해시 값)로 변환하는 함수입니다.
  • 예: hash(UserID) = 123456

    2️⃣ 샤드 할당.

• 해시 값을 샤드의 개수로 나눈 나머지 값(Modulo)을 계산하여 데이터를 저장할 샤드를 결정합니다.
  • 예: shard = hash(UserID) % number_of_shards
  • 샤드가 3개이고, hash(UserID) = 123456이라면?

    shard = 123456 % 3 = 0
    

• 따라서 데이터는 샤드 0에 저장됩니다.

3️⃣ 데이터 저장.

• 해시 값을 계산한 결과에 따라, 해당 데이터를 특정 샤드에 저장합니다.

✅3️⃣ Hash Based Sharding의 장점.

1️⃣ 균등 분배.

• 해시 함수는 데이터를 각 샤드에 균등하게 분배하려고 합니다.
  • 따라서 특정 샤드에 데이터가 몰리는 현상(핫스팟)이 줄어듭니다.

    2️⃣ 조회 성능 최적화.

• 데이터를 특정 샤드에만 조회하면 되므로, 전체 샤드를 탐색할 필요가 없어 성능이 향상됩니다.

  3️⃣ 설계 단순화.

• 해시 함수를 통해 샤드를 결정하기 때문에 복잡한 샤딩 로직이 필요하지 않습니다.

✅4️⃣ Hash Based Sharding의 단점.

1️⃣ 샤드 추가/삭제의 어려움.

• 샤드 수가 변경되면 해시 값이 재계산되어 기존 데이터의 위치가 바뀝니다.
  • 예: 샤드가 3개에서 4개로 증가하면, 데이터의 재배치를 피할 수 없습니다.

    2️⃣ 복잡한 데이터 이동.

• 샤드 수가 변경되면, 모든 데이터를 새로운 샤드 구조에 맞게 이동해야 합니다.

  3️⃣ 조인 연산의 어려움.

• 서로 다른 샤드에 저장된 데이터를 조인해야 하는 경우, 성능이 저하될 수 있습니다.

  4️⃣ 핫스팟 문제(특정 키의 과도한 요청).

• 해시 함수가 균등 분배를 보장하지 못하거나 특정 키에 집중적인 요청이 발생할 경우, 특정 샤드에 부하가 집중될 수 있습니다.