Files
knowledge-base/DATACENTERS.md
Stanislav Hubacek c6fa0bff6a commit
2026-06-11 15:27:28 +02:00

6.7 KiB
Raw Blame History

🏭 Datová centra

Tier klasifikace (TIA-942 / Uptime Institute)

Tier Dostupnost Downtime / rok Redundance
Tier I 99.671 % 28.8 h N — bez redundance
Tier II 99.741 % 22.7 h N+1 — redundantní komponenty
Tier III 99.982 % 1.6 h N+1 — současně udržovatelné
Tier IV 99.995 % 26.3 min 2N+1 — fault tolerant

Klíčové subsystémy

Systém Popis
Power UPS, generátory (diesel), ATS, PDU, redundantní přívody (A/B feed)
Cooling CRAC/CRAH, chilled water, free cooling, containment (hot/cold aisle)
Fyzická bezpečnost Kamerový systém, biometric access, mantrap, bezpečnostní zámky racků
Cabling Structured cabling (Cat6A/7/8, OM3/OM4 single-mode fiber), patch panely
Fire suppression Poplach, inertní plyny (Novec, FM-200), VESDA (very early smoke detection)
Monitoring DCIM (Data Center Infrastructure Management), SNMP, BMS (Building Management System)

Aisle containment

         ┌────────────────────────────────────┐
         │             Rack Row               │
         │ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐  │
Cold     │ │  │ │  │ │  │ │  │ │  │ │  │  │ Cold
Aisle <──│ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘  ──> Aisle
         │ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐  │
Hot      │ │  │ │  │ │  │ │  │ │  │ │  │  │ Hot
Aisle ──>│ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘  <── Aisle
         └────────────────────────────────────┘

Environmental třídy (ASHRAE TC 9.9)

ASHRAE Technical Committee 9.9 definuje teplotní a vlhkostní obálky pro IT zařízení v DC.

Třída Teplota (doporučeno) Teplota (allowable) Použití
A1 18-27 °C 15-32 °C Enterprise DC, přísná kontrola
A2 18-27 °C 10-35 °C Běžné DC
A3 18-27 °C 5-40 °C Volnější prostředí
A4 18-27 °C 5-45 °C Maximální úspora chlazení
H1 18-22 °C 5-25 °C High-density air-cooled (AI/ML)
    1. edice (2021) přidala třídu H1 pro high-density a rozšířila liquid cooling W-třídy (W17, W27, W32, W40, W45, W+)
  • 2024: nové S-třídy pro Technology Cooling System (TCS) chlazení kapalinou
  • Vlhkost: doporučeno 9 °C DP až 70 % RH (při nízkých polutantech); max 50 % RH při vysoké korozivitě

Power

Power chain

Grid ──> UPS ──> PDU ──> Rack PDU ──> Server PSU
          │
          └──> Generator (ATS přepíná při výpadku)

Power calculation

Total Power = Σ(P_server + P_storage + P_network + P_cooling + P_losses)

P_server = P_idle + (P_max - P_idle) × Utilization%
P_cooling = P_IT / PUE

Příklad:
  100 serverů × 500 W (avg) = 50 kW IT load
  PUE = 1.5 → celkem 75 kW
  UPS + generátor → dimenzováno na 75 kW × 1.2 (safety factor) = 90 kW

PUE (Power Usage Effectiveness)

PUE = Total Facility Energy / IT Equipment Energy
PUE Efektivita Typ
1.0-1.1 Vynikající Hyperscale (Google, Meta)
1.1-1.3 Velmi dobrý Moderní DC
1.3-1.6 Dobrý / průměr Enterprise DC
1.6-2.0 Podprůměr Starší DC
>2.0 Špatný Legacy

3-phase vs Single-phase

Vlastnost Single-phase (230 V) 3-phase (400 V)
Napětí 230 V (L-N) 230/400 V (L-N/L-L)
Výkon per feed ~7.4 kW (32 A) ~22 kW (32 A, 3-f)
Efektivita Nižší (více ztrát) Vyšší (nižší proud)
Use case Menší racky, office Standard v DC, high-density
PDU Single-phase (C13/C19) 3-phase (C13/C19, 3-f monitoring)

Rack power density

Kat. Typ kW/rack Cooling
Nízká Office, storage 1-3 kW Air (free cooling)
Střední Standard compute 5-10 kW Air (CRAC/CRAH)
Vysoká GPU, HPC 15-30 kW Air + liquid assist
Ultra AI/ML clusters 40-100+ kW Direct-to-chip / immersion

Cooling

Chilled water vs Direct Expansion (DX)

Vlastnost Chilled water (CW) Direct Expansion (DX)
Medium Voda + glycol Freon (R134a, R410A)
CRAC/CRAH CRAH (Coolant-based) CRAC (refrigerant compressor)
Efektivita Vyšší (COP 5-7) Nižší (COP 2-4)
Komplexita Vyšší (chillers, pumps, pipes) Jednodušší
Use case Velké DC, enterprise Menší DC, edge, retrofit

Free cooling

  • Air-side — nasávání venkovního vzduchu při vhodné teplotě (filtrace, humidifikace)
  • Water-side — využití chladné vody z venkovních chillerů (strainer cycle)
  • Klimatické pásmo — free cooling využitelný ~2000-8000 hodin/rok podle lokality
  • Hybrid — kombinace free cooling + mechanical cooling

Liquid cooling

Typ Popis Use case
Direct-to-chip (cold plate) Kapalina na chladiči CPU/GPU, voda nebo dielektrikum AI/ML, HPC, GPU clustery
Immersion cooling Server ponořen v dielektrické kapalině (single-phase/two-phase) High-density, bitcoin mining
Rear-door heat exchanger Chladič na zadních dveřích racku (voda) Retrofity, medium-density
Coolant Distribution Unit (CDU) Distribuce chladiva mezi racky, monitoring teploty Standard pro liquid cooling

Monitoring disků — S.M.A.R.T.

Self-Monitoring, Analysis and Reporting Technology — prediktivní monitoring HDD/SSD.

Klíčový atribut ID Popis
Reallocated Sectors Count 5 Počet přemapovaných sektorů (nárůst = konec disku)
Power-On Hours 9 Celková doba provozu v hodinách
Reported Uncorrectable Errors 187 Nekorigovatelné chyby (červená kontrolka)
CRC Error Count 199 Chyby na SATA lince (kabel/controller)
SSD Life Left 231 % zbývající životnosti SSD
Media Wearout Indicator 233 Celkový zápis do NAND

Nástroje: smartmontools (smartctl, smartd), Prometheus exporter (node_exporter), OTeL collector.

Zdroje

Odkazy, knihy a standardy: sources/infrastructure/sources.md