Fossil/knowledge-base
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
c6fa0bff6ae5360b27ab32231d824d4911fa3956
knowledge-base/SERVER-HW.md
Stanislav Hubacek c6fa0bff6a commit
2026-06-11 15:27:28 +02:00

15 KiB
Raw Blame History

🔧 Server hardware — komponenty a architektura

Form faktory

Typ Popis Výhody Nevýhody
Rack (1U/2U/4U) Standardní rack mount, šířka 19" Široká škála konfigurací, jednoduchá výměna Omezený počet PCIe slotů v 1U
Blade Modulární server do chassis (HPE Synergy, Dell MX) Vysoká hustota, sdílené napájení/chlazení Vendor lock-in, vyšší cena chassis
Tower Samostatně stojící skříň Tichý, rozšiřitelný Zabírá místo, není rack-optimized
Edge / Micro Malý, nízká spotřeba, industriální provedení Odolnost vůči prostředí, nízký odběr Omezený výkon, méně PCIe

Procesory (CPU)

Intel Xeon vs AMD EPYC

Vlastnost Intel Xeon (6. gen Granite Rapids) AMD EPYC (5. gen Turin)
Max jader 128 (P-cores) 192 (Zen 5c) / 128 (Zen 5)
PCIe lanes 80-96 per socket 128 per socket
Memory channels 8 (DDR5) 12 (DDR5)
Max memory 4 TB 6 TB+
Cache L3 ~200 MB ~384 MB
AVX-512 Ano (full width) Ano (256bit)
AMX (matrix) Ano (AMX, Intel AMX) Ne
TDP 350-500 W 360-500 W
Infrastructure Intel QuickAssist, DSA, IAA AMD Infinity Architecture
Use case AI inference, networking, HPC Virtualizace, databáze, general purpose

CPU selection guide

Workload Doporučený CPU Zdůvodnění
Databáze (OLTP) EPYC (high core count, more memory channels) Více PCIe lanes pro NVMe, vyšší memory bandwidth
Databáze (OLAP/DW) Xeon (AVX-512, AMX) Vektorové instrukce pro analytické dotazy
Virtualizace EPYC (více jader, nižší TCO) Vyšší core density, nižší cena per core
HPC / AI training Xeon + GPU (AMX pro preprocessing) AMX pro data preprocessing, GPU pro training
Web / API servery EPYC (good perf/core, low TDP variants) Dobrý poměr výkon/W
Storage EPYC (128 PCIe lanes pro NVMe) Maximum NVMe disků

Operační paměť (RAM)

Typy DIMM

Typ Popis Use case Server support
RDIMM (Registered) Registrovaná, buffer adresových linek (1 register) Standardní serverová paměť Všechny servery
LRDIMM (Load-Reduced) Snížená elektrická zátěž (2 registry — data + adresy) Vysokokapacitní konfigurace (více DIMMů na channel) Enterprise, 4R+
NVDIMM (Non-Volatile) Bateriově zálohovaná DRAM + flash Write cache, metadata, persistence Legacy (Intel Optane PMEM)
3D XPoint / Optane PCM-based persistence (ukončeno Intelem) Legacy Intel-only, ukončeno

DDR5 vs DDR4 klíčové rozdíly

Vlastnost DDR4 DDR5
Channel architektura 1× 64-bit channel per DIMM 2× 32-bit sub-channel per DIMM
Bank groups 4 (single rank) 8 (single rank)
Burst length 8 (BL8) 16 (BL16)
On-die ECC Ne Ano (pro opravu bitových chyb v DRAM)
PMIC Na motherboard Na DIMM (power management IC)
VDD 1.2 V 1.1 V
RCD 1× RCD per DIMM 2× RCD (jeden na sub-channel)
Max DIMM capacity 64 GB (LRDIMM) 256 GB (RDIMM 3DS)
Max speed 3200 MT/s 6400 MT/s (aktuálně 4800-5600)

Memory rank — detail

Rank = sada DRAM čipů na DIMMu, které jsou přístupné současně (64bit data + 8bit ECC).

Rank Počet DRAM čipů (x8) Kapacita DIMM (typ.) Popis
Single Rank (1R) 8-9 8-32 GB Všechny DRAM čipy v jedné bance
Dual Rank (2R) 16-18 16-128 GB Dvě banky, rank interleaving
Quad Rank (4R) 32-36 64-256 GB (3DS) Čtyři banky, vyšší kapacita
Octa Rank (8R) 64-72 256 GB (3DS) Nejvyšší kapacita, enterprise

Rank interleaving: Dual-rank DIMM může oslovovat dva ranking střídavě, což zvyšuje efektivní bandwidth (až o 5-15 % oproti single-rank při stejném taktu).

DDR5 rank vs DDR4: DDR5 single-rank již obsahuje 8 bank groups (ekvivalent dual-rank DDR4), proto je rank upgrade u DDR5 méně výrazný než u DDR4.

Pravidlo: Vždy preferovat dual-rank DIMMy před single-rank pro vyšší hustotu a bandwidth. Quad-rank a octa-rank pouze LRDIMM nebo 3DS.

Osazování DIMM — základní pravidla

1DPC vs 2DPC (DIMMs Per Channel)

Konfigurace DIMMů na channel Max speed DDR5 Bandwidth Kapacita
1DPC 1 4800-5600 MT/s 100 % Nižší
2DPC 2 4000-4400 MT/s ~80 % Vyšší

Důležité: Při osazení 2 DIMMů na channel klesá rychlost pamětí. Např. Dell R760:

  • 1DPC: 5600 MT/s (s 5th Gen Xeon)
  • 2DPC: 4400 MT/s (vždy)

Channel architecture (Intel Xeon 4th/5th Gen — 8 channels per CPU)

CPU 1 — Channel A  [Slot A1 (white)] [Slot A9 (black)]    1DPC: osadit bílé sloty
      ─ Channel B  [Slot A7 (white)] [Slot A15 (black)]   2DPC: osadit bílé + černé
      ─ Channel C  [Slot A3 (white)] [Slot A11 (black)]
      ─ Channel D  [Slot A5 (white)] [Slot A13 (black)]
      ─ Channel E  [Slot A4 (white)] [Slot A12 (black)]
      ─ Channel F  [Slot A6 (white)] [Slot A14 (black)]
      ─ Channel G  [Slot A2 (white)] [Slot A10 (black)]
      ─ Channel H  [Slot A8 (white)] [Slot A16 (black)]

Channel architecture (AMD EPYC — 12 channels per CPU)

CPU 1 ─ Channel 0-11 (12× single channel, 2 DPC)
       Slot A0 (P0) / Slot A1 (P1) — dle konkrétního serveru

AMD EPYC má 12 memory channels (vs Intel 8), což dává o 50 % vyšší teoretickou memory bandwidth.

Pravidla osazování od výrobců

Dell PowerEdge (R660 / R760)

Počet DIMMů na CPU 1DPC (bílé sloty) 2DPC (bílé + černé) Speed
1 DIMM per CPU A1 (Channel A) — 5600 MT/s
2 DIMMs per CPU A1, A7 — 5600 MT/s
4 DIMMs per CPU A1, A7, A3, A5 — 5600 MT/s
8 DIMMs per CPU A1-A8 (všechny bílé) — 5600 MT/s
16 DIMMs per CPU A1-A8 (bílé) A9-A16 (černé) 4400 MT/s

Klíčová pravidla dle Dell:

  1. Všechny DIMMy musí být DDR5 (nemíchat generace)
  2. Nemíchat kapacity DIMMů (všechny stejné)
  3. Nemíchat x4 a x8 DRAM chips
  4. Nemíchat 3DS a non-3DS RDIMM
  5. Pokud mícháte rychlosti DIMMů, všechny běží na nejnižší
  6. Vyvážit kapacitu mezi procesory
  7. Optimální konfigurace: 16× identický DIMM (1DPC na každém channelu)
  8. Fault Resilient Memory (FRM): pouze 8 nebo 16 DIMMů na procesor

HPE ProLiant (DL360 / DL380 Gen11)

Population order (16 slotů na CPU, Intel):

DIMMů Pořadí osazení
1 10
2 1, 3
4 1, 3, 7, 10
6 3, 5, 7, 10, 14, 16
8 1, 3, 5, 7, 10, 12, 14, 16
12 1, 2, 3, 5, 6, 7, 10, 11, 12, 14, 15, 16
16 1-16

Pravidla HPE SmartMemory:

  1. Nejkvalifikovanější konfigurace: 1DPC (bílé sloty)
  2. 2DPC (černé sloty) až po osazení všech bílých
  3. HBM + 4th Gen Intel: nepodporuje Hemi (hemisphere) a SGX
  4. Heterogenní mix: vyšší rank count do bílých slotů
  5. Nemíchat: 3DS s non-3DS, x4 s x8, různé ranky v channelu, 16 Gb / 24 Gb / 32 Gb DRAM

Memory population — decision flow

Kolik DIMMů na CPU?
│
├── 1 DIMM → Channel A (slot 1), ztrácíte 87.5 % bandwidth
│
├── 2 DIMMs → Channels A+B, stále ztráta 75 % bandwidth
│
├── 4 DIMMs → Channels A,B,C,D, lepší, ale ne optimální
│
├── 8 DIMMs → 1DPC na všech channel = MAX SPEED (5600 MT/s)
│             ✅ Doporučeno pro výkon
│
├── 12 DIMMs → 8× 1DPC + 4× 2DPC = mixed speed (4400 MT/s)
│
├── 16 DIMMs → 2DPC na všech channel = MAX KAPACITA (4400 MT/s)
│              ✅ Pro kapacitně náročné workloady
│
└── Více než 16 → Pouze s LRDIMM / 3DS, speed penalty

Závěr: 8 DIMMů na CPU (1DPC) = nejvyšší výkon
       16 DIMMů na CPU (2DPC) = nejvyšší kapacita

Vliv konfigurace na výkon

Konfigurace Relativní bandwidth Latence Use case
1DPC, 8 ch, 5600 MT/s (8 DIMM) 100 % Nejnižší Databáze OLTP, HPC, real-time
2DPC, 8 ch, 4400 MT/s (16 DIMM) ~78 % +10-15 % Virtualizace, VDI, in-memory DB
Mixed 1+2DPC (12 DIMM) ~85 % Střední Kompromis kapacity/výkonu
Unbalanced channels 50-70 % Vysoká Vyhnout se

Doporučení výrobců:

  • Dell: 16× identických DIMMů (8 per CPU), 1DPC, 5600 MT/s = optimální výkon
  • HPE: Vždy plnit bílé sloty první, pro max výkon 1DPC, pro max kapacitu 2DPC
  • Supermicro: Sledovat konkrétní manual pro daný model (DSG, GPU, storage)
  • Lenovo: Stejná pravidla jako Intel/AMD platforma — preferovat 1DPC

Memory sizing per workload

Workload Poměr RAM/core Typický pool Doporučená konfigurace
Databáze (OLTP) 8-16 GB/core, DB v RAM 256 GB - 2 TB 8× 32-64 GB RDIMM, 1DPC
Databáze (OLAP) 16-64 GB/core, columnstore 512 GB - 4 TB+ 16× 64-128 GB RDIMM, 2DPC
Virtualizace (VM) 4-8 GB/core, podle VM density 256 GB - 2 TB 8-16× 32-64 GB RDIMM
Kubernetes (general) 2-4 GB/core 64-256 GB 8× 16-32 GB RDIMM, 1DPC
AI training (CPU preprocessing) 2-4 GB/core 128-512 GB 8× 32-64 GB RDIMM, 1DPC
HPC 1-2 GB/core 64-128 GB 8× 16 GB RDIMM, 1DPC, high-speed
In-memory DB (SAP HANA) 8-32 GB/core 1-6 TB+ 16× 128-256 GB LRDIMM/3DS

PCIe

Generace Rok Rychlost per lane x16 propustnost x24 (GPU)
PCIe 3.0 2010 985 MB/s 15.8 GB/s 23.6 GB/s
PCIe 4.0 2017 1.97 GB/s 31.5 GB/s 47.3 GB/s
PCIe 5.0 2022 3.94 GB/s 63 GB/s 94.5 GB/s
PCIe 6.0 2025 7.88 GB/s 126 GB/s 189 GB/s

PCIe lane allocation:

  • GPU (x16): NVIDIA H100, AMD MI300X
  • NVMe U.2 (x4): každý NVMe disk
  • NIC 100 GbE (x16): dual-port 100 GbE
  • RAID/HBA (x8): storage controller

CPU PCIe lane count:

  • Intel Xeon Scalable (4. gen): 64-80 lanes per socket
  • AMD EPYC (4. gen Genoa): 128 lanes per socket
  • Dual-socket: 256 lanes total

NUMA

Topologie

Socket 0 (NUMA node 0)              Socket 1 (NUMA node 1)
    ├── Cores 0-31                      ├── Cores 32-63
    ├── Memory 0-256 GB                 ├── Memory 256-512 GB
    ├── PCIe root complex (GPU, NVMe)   ├── PCIe root complex (NIC, NVMe)
    └── I/O hub                        └── I/O hub
               │                           │
               └───────── Infinity Fabric / UPI ──┘
  • Local access — CPU → vlastní memory (nízká latence, plná bandwidth)
  • Remote access — CPU → druhý socket memory (vyšší latence, ~1.5×, nižší bandwidth)
  • NUMA-aware aplikace: databáze, VM, DPDK, AI training

Cross-NUMA penalty

CPU Local latency Remote latency Penalty
AMD EPYC (Genoa) ~80 ns ~150 ns ~1.9×
Intel Xeon (Sapphire Rapids) ~90 ns ~160 ns ~1.8×

TDP a chlazení

CPU TDP Core count Chlazení
Intel Xeon Platinum 8480+ 350 W 56 Air (high-performance)
Intel Xeon 6980P (Granite Rapids) 500 W 128 Liquid recommended
AMD EPYC 9654 (Genoa) 360 W 96 Air / Liquid
AMD EPYC 9965 (Turin) 500 W 192 Liquid recommended

Cooling requirements per rack density

Rack density kW/rack Cooling
Low 1-5 kW Free air cooling
Medium 5-15 kW CRAC/CRAH, hot/cold aisle
High 15-40 kW In-row cooling, rear-door HX
Ultra 40-100+ kW Direct-to-chip liquid, immersion

BMC a management

Vendor BMC API Remote console Features
Dell iDRAC (9/10) Redfish, RACADM Virtual Console (HTML5) Lifecycle Controller, SUU
HPE iLO (5/6) Redfish, iLOREST Integrated Remote Console Smart Update Manager, SUM
Supermicro BMC / IPMI IPMI, Redfish IPMIView, HTML5 KVM SuperDoctor, SSM
Lenovo XClarity Controller Redfish, IPMI Remote Console XClarity Administrator
Cisco CIMC / UCSM Redfish, XML API KVM Console UCS Manager, Intersight

Standardní funkce

  • Power: on/off/cycle/reset
  • Boot: one-shot PXE, CD-ROM redirect, BIOS setup
  • Monitoring: sensors (temp, voltage, fan, PSU)
  • Alerting: SNMP traps, email, Redfish events
  • Remote media: ISO mount přes network
  • Serial over LAN (SOL)

Výrobci a řady

Výrobce Rack series Blade series Management
Dell PowerEdge R6xx/R7xx (R660, R760) MX7000, FX2 iDRAC, OpenManage Enterprise
HPE ProLiant DL (DL360, DL380) Synergy, BladeSystem iLO, OneView, OpsRamp
Cisco UCS C-Series (C240, C245) UCS B-Series, Fabric Interconnect UCS Manager, Intersight
Lenovo ThinkSystem SR (SR630, SR650) ThinkSystem SN XClarity
Supermicro SuperServer (pro GPU, storage, cloud) FatTwin, MicroBlade IPMI, SuperDoctor

Server connectivity

Detailní kapitola o síťové a storage konektivitě: CONNECTIVITY.md

Storage controllers

Controller Typ RAID Cache Protokol
Dell PERC (H755, H965) HW RAID 0/1/5/6/10/50/60 4-8 GB NV NVMe, SAS, SATA
Broadcom / LSI (9560, 9670) HW RAID / HBA 0/1/5/6/10/50/60 4 GB NV NVMe, SAS, SATA
Intel VROC SW RAID (CPU) 0/1/5/10 — NVMe only
M.2 HW RAID (BOSS-S1) HW RAID 0/1 — 2× M.2 NVMe/SATA

IT vs HW RAID mode

Vlastnost IT (Initiator Target) / HBA HW RAID
OS vidí Každý disk samostatně RAID virtuální disk
Caching OS cache RAID controller cache (BBU)
RAID Software (mdadm, ZFS, Ceph) Hardware + SW driver
Passthrough Ano Ne
Use case SDS (Ceph, MinIO), ZFS VMware VMFS, Windows, legacy
Battery/Backup Není potřeba Write-back cache vyžaduje BBU

Zdroje

Odkazy, knihy a standardy: sources/infrastructure/sources.md

Reference in New Issue View Git Blame Copy Permalink