diff --git a/SERVER-HW.md b/SERVER-HW.md deleted file mode 100644 index 74caadd..0000000 --- a/SERVER-HW.md +++ /dev/null @@ -1,353 +0,0 @@ -# 🔧 Server hardware — komponenty a architektura - -## Form faktory - -| Typ | Popis | Výhody | Nevýhody | -|-----|-------|--------|----------| -| **Rack (1U/2U/4U)** | Standardní rack mount, šířka 19" | Široká škála konfigurací, jednoduchá výměna | Omezený počet PCIe slotů v 1U | -| **Blade** | Modulární server do chassis (HPE Synergy, Dell MX) | Vysoká hustota, sdílené napájení/chlazení | Vendor lock-in, vyšší cena chassis | -| **Tower** | Samostatně stojící skříň | Tichý, rozšiřitelný | Zabírá místo, není rack-optimized | -| **Edge / Micro** | Malý, nízká spotřeba, industriální provedení | Odolnost vůči prostředí, nízký odběr | Omezený výkon, méně PCIe | - -## Procesory (CPU) - -### Intel Xeon vs AMD EPYC - -| Vlastnost | Intel Xeon (6. gen Granite Rapids) | AMD EPYC (5. gen Turin) | -|-----------|-----------------------------------|------------------------| -| **Max jader** | 128 (P-cores) | 192 (Zen 5c) / 128 (Zen 5) | -| **PCIe lanes** | 80-96 per socket | 128 per socket | -| **Memory channels** | 8 (DDR5) | 12 (DDR5) | -| **Max memory** | 4 TB | 6 TB+ | -| **Cache L3** | ~200 MB | ~384 MB | -| **AVX-512** | Ano (full width) | Ano (256bit) | -| **AMX (matrix)** | Ano (AMX, Intel AMX) | Ne | -| **TDP** | 350-500 W | 360-500 W | -| **Infrastructure** | Intel QuickAssist, DSA, IAA | AMD Infinity Architecture | -| **Use case** | AI inference, networking, HPC | Virtualizace, databáze, general purpose | - -### CPU selection guide - -| Workload | Doporučený CPU | Zdůvodnění | -|----------|---------------|------------| -| **Databáze (OLTP)** | EPYC (high core count, more memory channels) | Více PCIe lanes pro NVMe, vyšší memory bandwidth | -| **Databáze (OLAP/DW)** | Xeon (AVX-512, AMX) | Vektorové instrukce pro analytické dotazy | -| **Virtualizace** | EPYC (více jader, nižší TCO) | Vyšší core density, nižší cena per core | -| **HPC / AI training** | Xeon + GPU (AMX pro preprocessing) | AMX pro data preprocessing, GPU pro training | -| **Web / API servery** | EPYC (good perf/core, low TDP variants) | Dobrý poměr výkon/W | -| **Storage** | EPYC (128 PCIe lanes pro NVMe) | Maximum NVMe disků | - -## Operační paměť (RAM) - -### Typy DIMM - -| Typ | Popis | Use case | Server support | -|-----|-------|----------|---------------| -| **RDIMM** (Registered) | Registrovaná, buffer adresových linek (1 register) | Standardní serverová paměť | Všechny servery | -| **LRDIMM** (Load-Reduced) | Snížená elektrická zátěž (2 registry — data + adresy) | Vysokokapacitní konfigurace (více DIMMů na channel) | Enterprise, 4R+ | -| **NVDIMM** (Non-Volatile) | Bateriově zálohovaná DRAM + flash | Write cache, metadata, persistence | Legacy (Intel Optane PMEM) | -| **3D XPoint / Optane** | PCM-based persistence (ukončeno Intelem) | Legacy | Intel-only, ukončeno | - -### DDR5 vs DDR4 klíčové rozdíly - -| Vlastnost | DDR4 | DDR5 | -|-----------|------|------| -| **Channel architektura** | 1× 64-bit channel per DIMM | 2× 32-bit sub-channel per DIMM | -| **Bank groups** | 4 (single rank) | 8 (single rank) | -| **Burst length** | 8 (BL8) | 16 (BL16) | -| **On-die ECC** | Ne | Ano (pro opravu bitových chyb v DRAM) | -| **PMIC** | Na motherboard | Na DIMM (power management IC) | -| **VDD** | 1.2 V | 1.1 V | -| **RCD** | 1× RCD per DIMM | 2× RCD (jeden na sub-channel) | -| **Max DIMM capacity** | 64 GB (LRDIMM) | 256 GB (RDIMM 3DS) | -| **Max speed** | 3200 MT/s | 6400 MT/s (aktuálně 4800-5600) | - -### Memory rank — detail - -Rank = sada DRAM čipů na DIMMu, které jsou přístupné současně (64bit data + 8bit ECC). - -| Rank | Počet DRAM čipů (x8) | Kapacita DIMM (typ.) | Popis | -|------|---------------------|---------------------|-------| -| **Single Rank (1R)** | 8-9 | 8-32 GB | Všechny DRAM čipy v jedné bance | -| **Dual Rank (2R)** | 16-18 | 16-128 GB | Dvě banky, rank interleaving | -| **Quad Rank (4R)** | 32-36 | 64-256 GB (3DS) | Čtyři banky, vyšší kapacita | -| **Octa Rank (8R)** | 64-72 | 256 GB (3DS) | Nejvyšší kapacita, enterprise | - -**Rank interleaving**: Dual-rank DIMM může oslovovat dva ranking střídavě, což zvyšuje efektivní bandwidth (až o 5-15 % oproti single-rank při stejném taktu). - -**DDR5 rank vs DDR4**: DDR5 single-rank již obsahuje 8 bank groups (ekvivalent dual-rank DDR4), proto je rank upgrade u DDR5 méně výrazný než u DDR4. - -**Pravidlo**: Vždy preferovat dual-rank DIMMy před single-rank pro vyšší hustotu a bandwidth. Quad-rank a octa-rank pouze LRDIMM nebo 3DS. - -### Osazování DIMM — základní pravidla - -#### 1DPC vs 2DPC (DIMMs Per Channel) - -| Konfigurace | DIMMů na channel | Max speed DDR5 | Bandwidth | Kapacita | -|------------|-----------------|---------------|-----------|----------| -| **1DPC** | 1 | 4800-5600 MT/s | 100 % | Nižší | -| **2DPC** | 2 | 4000-4400 MT/s | ~80 % | Vyšší | - -**Důležité**: Při osazení 2 DIMMů na channel klesá rychlost pamětí. Např. Dell R760: -- 1DPC: 5600 MT/s (s 5th Gen Xeon) -- 2DPC: 4400 MT/s (vždy) - -#### Channel architecture (Intel Xeon 4th/5th Gen — 8 channels per CPU) - -``` -CPU 1 — Channel A [Slot A1 (white)] [Slot A9 (black)] 1DPC: osadit bílé sloty - ─ Channel B [Slot A7 (white)] [Slot A15 (black)] 2DPC: osadit bílé + černé - ─ Channel C [Slot A3 (white)] [Slot A11 (black)] - ─ Channel D [Slot A5 (white)] [Slot A13 (black)] - ─ Channel E [Slot A4 (white)] [Slot A12 (black)] - ─ Channel F [Slot A6 (white)] [Slot A14 (black)] - ─ Channel G [Slot A2 (white)] [Slot A10 (black)] - ─ Channel H [Slot A8 (white)] [Slot A16 (black)] -``` - -#### Channel architecture (AMD EPYC — 12 channels per CPU) - -``` -CPU 1 ─ Channel 0-11 (12× single channel, 2 DPC) - Slot A0 (P0) / Slot A1 (P1) — dle konkrétního serveru -``` - -AMD EPYC má 12 memory channels (vs Intel 8), což dává o 50 % vyšší teoretickou memory bandwidth. - -### Pravidla osazování od výrobců - -#### Dell PowerEdge (R660 / R760) - -| Počet DIMMů na CPU | 1DPC (bílé sloty) | 2DPC (bílé + černé) | Speed | -|-------------------|-------------------|---------------------|-------| -| **1 DIMM per CPU** | A1 (Channel A) | — | 5600 MT/s | -| **2 DIMMs per CPU** | A1, A7 | — | 5600 MT/s | -| **4 DIMMs per CPU** | A1, A7, A3, A5 | — | 5600 MT/s | -| **8 DIMMs per CPU** | A1-A8 (všechny bílé) | — | 5600 MT/s | -| **16 DIMMs per CPU** | A1-A8 (bílé) | A9-A16 (černé) | 4400 MT/s | - -**Klíčová pravidla dle Dell**: -1. Všechny DIMMy musí být DDR5 (nemíchat generace) -2. Nemíchat kapacity DIMMů (všechny stejné) -3. Nemíchat x4 a x8 DRAM chips -4. Nemíchat 3DS a non-3DS RDIMM -5. Pokud mícháte rychlosti DIMMů, všechny běží na nejnižší -6. Vyvážit kapacitu mezi procesory -7. Optimální konfigurace: 16× identický DIMM (1DPC na každém channelu) -8. Fault Resilient Memory (FRM): pouze 8 nebo 16 DIMMů na procesor - -#### HPE ProLiant (DL360 / DL380 Gen11) - -**Population order** (16 slotů na CPU, Intel): - -| DIMMů | Pořadí osazení | -|-------|---------------| -| 1 | 10 | -| 2 | 1, 3 | -| 4 | 1, 3, 7, 10 | -| 6 | 3, 5, 7, 10, 14, 16 | -| 8 | 1, 3, 5, 7, 10, 12, 14, 16 | -| 12 | 1, 2, 3, 5, 6, 7, 10, 11, 12, 14, 15, 16 | -| 16 | 1-16 | - -**Pravidla HPE SmartMemory**: -1. Nejkvalifikovanější konfigurace: 1DPC (bílé sloty) -2. 2DPC (černé sloty) až po osazení všech bílých -3. HBM + 4th Gen Intel: nepodporuje Hemi (hemisphere) a SGX -4. Heterogenní mix: vyšší rank count do bílých slotů -5. **Nemíchat**: 3DS s non-3DS, x4 s x8, různé ranky v channelu, 16 Gb / 24 Gb / 32 Gb DRAM - -#### HPE Gen11/Gen12 s AMD EPYC 9005 (a50012817enw) - -AMD EPYC 9005 (Turin) přináší 12 memory channels na CPU a podporu DDR5-6400. - -| Vlastnost | Detail | -|-----------|--------| -| **Memory channels** | 12 per CPU (vs 8 u Intel) | -| **Max DIMM slots** | 24 per CPU (2 DPC) | -| **Max speed** | DDR5-6400 (1 DPC), DDR5-4800–5600 (2 DPC) | -| **Max capacity** | 6 TB+ (12× 256 GB 3DS RDIMM) | -| **DIMM typy** | RDIMM (1R/2R/4R/8R), 3DS RDIMM, LRDIMM | -| **Population** | 1 DPC (bílé sloty): 12 DIMMs, plná rychlost; 2 DPC: 24 DIMMs, snížená rychlost | -| **Optimum** | 12× identických DIMMů (1 DPC na každém channelu) = max bandwidth | - -**Pravidla pro AMD EPYC 9005:** -1. Osazovat po stejných kapacitách v rámci channelu -2. 1 DPC = plná rychlost 6400 MT/s, 2 DPC = nižší rychlost -3. Pro optimální bandwidth: 12 DIMMů (1DPC) na CPU — využito všech 12 channelů -4. Maximální kapacita: 24 DIMMů (2DPC) — 24× 256 GB = 6 TB na CPU -5. Nemíchat RDIMM a LRDIMM ve stejném systému - -### Memory population — decision flow - -``` -Kolik DIMMů na CPU? -│ -├── 1 DIMM → Channel A (slot 1), ztrácíte 87.5 % bandwidth -│ -├── 2 DIMMs → Channels A+B, stále ztráta 75 % bandwidth -│ -├── 4 DIMMs → Channels A,B,C,D, lepší, ale ne optimální -│ -├── 8 DIMMs → 1DPC na všech channel = MAX SPEED (5600 MT/s) -│ ✅ Doporučeno pro výkon -│ -├── 12 DIMMs → 8× 1DPC + 4× 2DPC = mixed speed (4400 MT/s) -│ -├── 16 DIMMs → 2DPC na všech channel = MAX KAPACITA (4400 MT/s) -│ ✅ Pro kapacitně náročné workloady -│ -└── Více než 16 → Pouze s LRDIMM / 3DS, speed penalty - -Závěr: 8 DIMMů na CPU (1DPC) = nejvyšší výkon - 16 DIMMů na CPU (2DPC) = nejvyšší kapacita -``` - -### Vliv konfigurace na výkon - -| Konfigurace | Relativní bandwidth | Latence | Use case | -|------------|-------------------|---------|----------| -| **1DPC, 8 ch, 5600 MT/s** (8 DIMM) | 100 % | Nejnižší | Databáze OLTP, HPC, real-time | -| **2DPC, 8 ch, 4400 MT/s** (16 DIMM) | ~78 % | +10-15 % | Virtualizace, VDI, in-memory DB | -| **Mixed 1+2DPC** (12 DIMM) | ~85 % | Střední | Kompromis kapacity/výkonu | -| **Unbalanced channels** | 50-70 % | Vysoká | **Vyhnout se** | - -**Doporučení výrobců:** -- **Dell**: 16× identických DIMMů (8 per CPU), 1DPC, 5600 MT/s = optimální výkon -- **HPE Intel**: Vždy plnit bílé sloty první, pro max výkon 1DPC, pro max kapacitu 2DPC -- **HPE AMD EPYC 9005**: 12 channelů na CPU, 1DPC = 12 DIMMů na CPU při 6400 MT/s (max bandwidth); 2DPC = 24 DIMMů na CPU (max kapacita 6 TB) -- **Supermicro**: Sledovat konkrétní manual pro daný model (DSG, GPU, storage) -- **Lenovo**: Stejná pravidla jako Intel/AMD platforma — preferovat 1DPC - -### Memory sizing per workload - -| Workload | Poměr RAM/core | Typický pool | Doporučená konfigurace | -|----------|---------------|--------------|----------------------| -| Databáze (OLTP) | 8-16 GB/core, DB v RAM | 256 GB - 2 TB | 8× 32-64 GB RDIMM, 1DPC | -| Databáze (OLAP) | 16-64 GB/core, columnstore | 512 GB - 4 TB+ | 16× 64-128 GB RDIMM, 2DPC | -| Virtualizace (VM) | 4-8 GB/core, podle VM density | 256 GB - 2 TB | 8-16× 32-64 GB RDIMM | -| Kubernetes (general) | 2-4 GB/core | 64-256 GB | 8× 16-32 GB RDIMM, 1DPC | -| AI training (CPU preprocessing) | 2-4 GB/core | 128-512 GB | 8× 32-64 GB RDIMM, 1DPC | -| HPC | 1-2 GB/core | 64-128 GB | 8× 16 GB RDIMM, 1DPC, high-speed | -| In-memory DB (SAP HANA) | 8-32 GB/core | 1-6 TB+ | 16× 128-256 GB LRDIMM/3DS | - -## PCIe - -| Generace | Rok | Rychlost per lane | x16 propustnost | x24 (GPU) | -|----------|-----|-------------------|-----------------|-----------| -| **PCIe 3.0** | 2010 | 985 MB/s | 15.8 GB/s | 23.6 GB/s | -| **PCIe 4.0** | 2017 | 1.97 GB/s | 31.5 GB/s | 47.3 GB/s | -| **PCIe 5.0** | 2022 | 3.94 GB/s | 63 GB/s | 94.5 GB/s | -| **PCIe 6.0** | 2025 | 7.88 GB/s | 126 GB/s | 189 GB/s | - -**PCIe lane allocation**: -- GPU (x16): NVIDIA H100, AMD MI300X -- NVMe U.2 (x4): každý NVMe disk -- NIC 100 GbE (x16): dual-port 100 GbE -- RAID/HBA (x8): storage controller - -**CPU PCIe lane count**: -- Intel Xeon Scalable (4. gen): 64-80 lanes per socket -- AMD EPYC (4. gen Genoa): 128 lanes per socket -- Dual-socket: 256 lanes total - -## NUMA - -### Topologie - -``` -Socket 0 (NUMA node 0) Socket 1 (NUMA node 1) - ├── Cores 0-31 ├── Cores 32-63 - ├── Memory 0-256 GB ├── Memory 256-512 GB - ├── PCIe root complex (GPU, NVMe) ├── PCIe root complex (NIC, NVMe) - └── I/O hub └── I/O hub - │ │ - └───────── Infinity Fabric / UPI ──┘ -``` - -- **Local access** — CPU → vlastní memory (nízká latence, plná bandwidth) -- **Remote access** — CPU → druhý socket memory (vyšší latence, ~1.5×, nižší bandwidth) -- NUMA-aware aplikace: databáze, VM, DPDK, AI training - -### Cross-NUMA penalty - -| CPU | Local latency | Remote latency | Penalty | -|-----|--------------|----------------|---------| -| AMD EPYC (Genoa) | ~80 ns | ~150 ns | ~1.9× | -| Intel Xeon (Sapphire Rapids) | ~90 ns | ~160 ns | ~1.8× | - -## TDP a chlazení - -| CPU | TDP | Core count | Chlazení | -|-----|-----|-----------|----------| -| Intel Xeon Platinum 8480+ | 350 W | 56 | Air (high-performance) | -| Intel Xeon 6980P (Granite Rapids) | 500 W | 128 | Liquid recommended | -| AMD EPYC 9654 (Genoa) | 360 W | 96 | Air / Liquid | -| AMD EPYC 9965 (Turin) | 500 W | 192 | Liquid recommended | - -### Cooling requirements per rack density - -| Rack density | kW/rack | Cooling | -|-------------|---------|---------| -| Low | 1-5 kW | Free air cooling | -| Medium | 5-15 kW | CRAC/CRAH, hot/cold aisle | -| High | 15-40 kW | In-row cooling, rear-door HX | -| Ultra | 40-100+ kW | Direct-to-chip liquid, immersion | - -## BMC a management - -| Vendor | BMC | API | Remote console | Features | -|--------|-----|-----|---------------|----------| -| **Dell** | iDRAC (9/10) | Redfish, RACADM | Virtual Console (HTML5) | Lifecycle Controller, SUU | -| **HPE** | iLO (5/6) | Redfish, iLOREST | Integrated Remote Console | Smart Update Manager, SUM | -| **Supermicro** | BMC / IPMI | IPMI, Redfish | IPMIView, HTML5 KVM | SuperDoctor, SSM | -| **Lenovo** | XClarity Controller | Redfish, IPMI | Remote Console | XClarity Administrator | -| **Cisco** | CIMC / UCSM | Redfish, XML API | KVM Console | UCS Manager, Intersight | - -### Standardní funkce -- Power: on/off/cycle/reset -- Boot: one-shot PXE, CD-ROM redirect, BIOS setup -- Monitoring: sensors (temp, voltage, fan, PSU) -- Alerting: SNMP traps, email, Redfish events -- Remote media: ISO mount přes network -- Serial over LAN (SOL) - -## Výrobci a řady - -| Výrobce | Rack series | Blade series | Management | -|---------|-------------|-------------|------------| -| **Dell** | PowerEdge R6xx/R7xx (R660, R760) | MX7000, FX2 | iDRAC, OpenManage Enterprise | -| **HPE** | ProLiant DL (DL360, DL380) | Synergy, BladeSystem | iLO, OneView, OpsRamp | -| **Cisco** | UCS C-Series (C240, C245) | UCS B-Series, Fabric Interconnect | UCS Manager, Intersight | -| **Lenovo** | ThinkSystem SR (SR630, SR650) | ThinkSystem SN | XClarity | -| **Supermicro** | SuperServer (pro GPU, storage, cloud) | FatTwin, MicroBlade | IPMI, SuperDoctor | - -## Server connectivity - -Detailní kapitola o síťové a storage konektivitě: [CONNECTIVITY.md](CONNECTIVITY.md) - -## Storage controllers - -| Controller | Typ | RAID | Cache | Protokol | -|-----------|-----|------|-------|----------| -| **Dell PERC** (H755, H965) | HW RAID | 0/1/5/6/10/50/60 | 4-8 GB NV | NVMe, SAS, SATA | -| **Broadcom / LSI** (9560, 9670) | HW RAID / HBA | 0/1/5/6/10/50/60 | 4 GB NV | NVMe, SAS, SATA | -| **Intel VROC** | SW RAID (CPU) | 0/1/5/10 | — | NVMe only | -| **M.2 HW RAID** (BOSS-S1) | HW RAID | 0/1 | — | 2× M.2 NVMe/SATA | - -### IT vs HW RAID mode - -| Vlastnost | IT (Initiator Target) / HBA | HW RAID | -|-----------|---------------------------|---------| -| **OS vidí** | Každý disk samostatně | RAID virtuální disk | -| **Caching** | OS cache | RAID controller cache (BBU) | -| **RAID** | Software (mdadm, ZFS, Ceph) | Hardware + SW driver | -| **Passthrough** | Ano | Ne | -| **Use case** | SDS (Ceph, MinIO), ZFS | VMware VMFS, Windows, legacy | -| **Battery/Backup** | Není potřeba | Write-back cache vyžaduje BBU | - -## Zdroje - -Odkazy, knihy a standardy: [sources/infrastructure/sources.md](sources/infrastructure/sources.md) - -*Poslední revize: 2026-06-03*