# 🔧 Server hardware — komponenty a architektura ## Form faktory | Typ | Popis | Výhody | Nevýhody | |-----|-------|--------|----------| | **Rack (1U/2U/4U)** | Standardní rack mount, šířka 19" | Široká škála konfigurací, jednoduchá výměna | Omezený počet PCIe slotů v 1U | | **Blade** | Modulární server do chassis (HPE Synergy, Dell MX) | Vysoká hustota, sdílené napájení/chlazení | Vendor lock-in, vyšší cena chassis | | **Tower** | Samostatně stojící skříň | Tichý, rozšiřitelný | Zabírá místo, není rack-optimized | | **Edge / Micro** | Malý, nízká spotřeba, industriální provedení | Odolnost vůči prostředí, nízký odběr | Omezený výkon, méně PCIe | ## Procesory (CPU) ### Intel Xeon vs AMD EPYC | Vlastnost | Intel Xeon (6. gen Granite Rapids) | AMD EPYC (5. gen Turin) | |-----------|-----------------------------------|------------------------| | **Max jader** | 128 (P-cores) | 192 (Zen 5c) / 128 (Zen 5) | | **PCIe lanes** | 80-96 per socket | 128 per socket | | **Memory channels** | 8 (DDR5) | 12 (DDR5) | | **Max memory** | 4 TB | 6 TB+ | | **Cache L3** | ~200 MB | ~384 MB | | **AVX-512** | Ano (full width) | Ano (256bit) | | **AMX (matrix)** | Ano (AMX, Intel AMX) | Ne | | **TDP** | 350-500 W | 360-500 W | | **Infrastructure** | Intel QuickAssist, DSA, IAA | AMD Infinity Architecture | | **Use case** | AI inference, networking, HPC | Virtualizace, databáze, general purpose | ### CPU selection guide | Workload | Doporučený CPU | Zdůvodnění | |----------|---------------|------------| | **Databáze (OLTP)** | EPYC (high core count, more memory channels) | Více PCIe lanes pro NVMe, vyšší memory bandwidth | | **Databáze (OLAP/DW)** | Xeon (AVX-512, AMX) | Vektorové instrukce pro analytické dotazy | | **Virtualizace** | EPYC (více jader, nižší TCO) | Vyšší core density, nižší cena per core | | **HPC / AI training** | Xeon + GPU (AMX pro preprocessing) | AMX pro data preprocessing, GPU pro training | | **Web / API servery** | EPYC (good perf/core, low TDP variants) | Dobrý poměr výkon/W | | **Storage** | EPYC (128 PCIe lanes pro NVMe) | Maximum NVMe disků | ## Operační paměť (RAM) ### Typy DIMM | Typ | Popis | Use case | Server support | |-----|-------|----------|---------------| | **RDIMM** (Registered) | Registrovaná, buffer adresových linek (1 register) | Standardní serverová paměť | Všechny servery | | **LRDIMM** (Load-Reduced) | Snížená elektrická zátěž (2 registry — data + adresy) | Vysokokapacitní konfigurace (více DIMMů na channel) | Enterprise, 4R+ | | **NVDIMM** (Non-Volatile) | Bateriově zálohovaná DRAM + flash | Write cache, metadata, persistence | Legacy (Intel Optane PMEM) | | **3D XPoint / Optane** | PCM-based persistence (ukončeno Intelem) | Legacy | Intel-only, ukončeno | ### DDR5 vs DDR4 klíčové rozdíly | Vlastnost | DDR4 | DDR5 | |-----------|------|------| | **Channel architektura** | 1× 64-bit channel per DIMM | 2× 32-bit sub-channel per DIMM | | **Bank groups** | 4 (single rank) | 8 (single rank) | | **Burst length** | 8 (BL8) | 16 (BL16) | | **On-die ECC** | Ne | Ano (pro opravu bitových chyb v DRAM) | | **PMIC** | Na motherboard | Na DIMM (power management IC) | | **VDD** | 1.2 V | 1.1 V | | **RCD** | 1× RCD per DIMM | 2× RCD (jeden na sub-channel) | | **Max DIMM capacity** | 64 GB (LRDIMM) | 256 GB (RDIMM 3DS) | | **Max speed** | 3200 MT/s | 6400 MT/s (aktuálně 4800-5600) | ### Memory rank — detail Rank = sada DRAM čipů na DIMMu, které jsou přístupné současně (64bit data + 8bit ECC). | Rank | Počet DRAM čipů (x8) | Kapacita DIMM (typ.) | Popis | |------|---------------------|---------------------|-------| | **Single Rank (1R)** | 8-9 | 8-32 GB | Všechny DRAM čipy v jedné bance | | **Dual Rank (2R)** | 16-18 | 16-128 GB | Dvě banky, rank interleaving | | **Quad Rank (4R)** | 32-36 | 64-256 GB (3DS) | Čtyři banky, vyšší kapacita | | **Octa Rank (8R)** | 64-72 | 256 GB (3DS) | Nejvyšší kapacita, enterprise | **Rank interleaving**: Dual-rank DIMM může oslovovat dva ranking střídavě, což zvyšuje efektivní bandwidth (až o 5-15 % oproti single-rank při stejném taktu). **DDR5 rank vs DDR4**: DDR5 single-rank již obsahuje 8 bank groups (ekvivalent dual-rank DDR4), proto je rank upgrade u DDR5 méně výrazný než u DDR4. **Pravidlo**: Vždy preferovat dual-rank DIMMy před single-rank pro vyšší hustotu a bandwidth. Quad-rank a octa-rank pouze LRDIMM nebo 3DS. ### Osazování DIMM — základní pravidla #### 1DPC vs 2DPC (DIMMs Per Channel) | Konfigurace | DIMMů na channel | Max speed DDR5 | Bandwidth | Kapacita | |------------|-----------------|---------------|-----------|----------| | **1DPC** | 1 | 4800-5600 MT/s | 100 % | Nižší | | **2DPC** | 2 | 4000-4400 MT/s | ~80 % | Vyšší | **Důležité**: Při osazení 2 DIMMů na channel klesá rychlost pamětí. Např. Dell R760: - 1DPC: 5600 MT/s (s 5th Gen Xeon) - 2DPC: 4400 MT/s (vždy) #### Channel architecture (Intel Xeon 4th/5th Gen — 8 channels per CPU) ``` CPU 1 — Channel A [Slot A1 (white)] [Slot A9 (black)] 1DPC: osadit bílé sloty ─ Channel B [Slot A7 (white)] [Slot A15 (black)] 2DPC: osadit bílé + černé ─ Channel C [Slot A3 (white)] [Slot A11 (black)] ─ Channel D [Slot A5 (white)] [Slot A13 (black)] ─ Channel E [Slot A4 (white)] [Slot A12 (black)] ─ Channel F [Slot A6 (white)] [Slot A14 (black)] ─ Channel G [Slot A2 (white)] [Slot A10 (black)] ─ Channel H [Slot A8 (white)] [Slot A16 (black)] ``` #### Channel architecture (AMD EPYC — 12 channels per CPU) ``` CPU 1 ─ Channel 0-11 (12× single channel, 2 DPC) Slot A0 (P0) / Slot A1 (P1) — dle konkrétního serveru ``` AMD EPYC má 12 memory channels (vs Intel 8), což dává o 50 % vyšší teoretickou memory bandwidth. ### Pravidla osazování od výrobců #### Dell PowerEdge (R660 / R760) | Počet DIMMů na CPU | 1DPC (bílé sloty) | 2DPC (bílé + černé) | Speed | |-------------------|-------------------|---------------------|-------| | **1 DIMM per CPU** | A1 (Channel A) | — | 5600 MT/s | | **2 DIMMs per CPU** | A1, A7 | — | 5600 MT/s | | **4 DIMMs per CPU** | A1, A7, A3, A5 | — | 5600 MT/s | | **8 DIMMs per CPU** | A1-A8 (všechny bílé) | — | 5600 MT/s | | **16 DIMMs per CPU** | A1-A8 (bílé) | A9-A16 (černé) | 4400 MT/s | **Klíčová pravidla dle Dell**: 1. Všechny DIMMy musí být DDR5 (nemíchat generace) 2. Nemíchat kapacity DIMMů (všechny stejné) 3. Nemíchat x4 a x8 DRAM chips 4. Nemíchat 3DS a non-3DS RDIMM 5. Pokud mícháte rychlosti DIMMů, všechny běží na nejnižší 6. Vyvážit kapacitu mezi procesory 7. Optimální konfigurace: 16× identický DIMM (1DPC na každém channelu) 8. Fault Resilient Memory (FRM): pouze 8 nebo 16 DIMMů na procesor #### HPE ProLiant (DL360 / DL380 Gen11) **Population order** (16 slotů na CPU, Intel): | DIMMů | Pořadí osazení | |-------|---------------| | 1 | 10 | | 2 | 1, 3 | | 4 | 1, 3, 7, 10 | | 6 | 3, 5, 7, 10, 14, 16 | | 8 | 1, 3, 5, 7, 10, 12, 14, 16 | | 12 | 1, 2, 3, 5, 6, 7, 10, 11, 12, 14, 15, 16 | | 16 | 1-16 | **Pravidla HPE SmartMemory**: 1. Nejkvalifikovanější konfigurace: 1DPC (bílé sloty) 2. 2DPC (černé sloty) až po osazení všech bílých 3. HBM + 4th Gen Intel: nepodporuje Hemi (hemisphere) a SGX 4. Heterogenní mix: vyšší rank count do bílých slotů 5. **Nemíchat**: 3DS s non-3DS, x4 s x8, různé ranky v channelu, 16 Gb / 24 Gb / 32 Gb DRAM #### HPE Gen11/Gen12 s AMD EPYC 9005 (a50012817enw) AMD EPYC 9005 (Turin) přináší 12 memory channels na CPU a podporu DDR5-6400. | Vlastnost | Detail | |-----------|--------| | **Memory channels** | 12 per CPU (vs 8 u Intel) | | **Max DIMM slots** | 24 per CPU (2 DPC) | | **Max speed** | DDR5-6400 (1 DPC), DDR5-4800–5600 (2 DPC) | | **Max capacity** | 6 TB+ (12× 256 GB 3DS RDIMM) | | **DIMM typy** | RDIMM (1R/2R/4R/8R), 3DS RDIMM, LRDIMM | | **Population** | 1 DPC (bílé sloty): 12 DIMMs, plná rychlost; 2 DPC: 24 DIMMs, snížená rychlost | | **Optimum** | 12× identických DIMMů (1 DPC na každém channelu) = max bandwidth | **Pravidla pro AMD EPYC 9005:** 1. Osazovat po stejných kapacitách v rámci channelu 2. 1 DPC = plná rychlost 6400 MT/s, 2 DPC = nižší rychlost 3. Pro optimální bandwidth: 12 DIMMů (1DPC) na CPU — využito všech 12 channelů 4. Maximální kapacita: 24 DIMMů (2DPC) — 24× 256 GB = 6 TB na CPU 5. Nemíchat RDIMM a LRDIMM ve stejném systému ### Memory population — decision flow ``` Kolik DIMMů na CPU? │ ├── 1 DIMM → Channel A (slot 1), ztrácíte 87.5 % bandwidth │ ├── 2 DIMMs → Channels A+B, stále ztráta 75 % bandwidth │ ├── 4 DIMMs → Channels A,B,C,D, lepší, ale ne optimální │ ├── 8 DIMMs → 1DPC na všech channel = MAX SPEED (5600 MT/s) │ ✅ Doporučeno pro výkon │ ├── 12 DIMMs → 8× 1DPC + 4× 2DPC = mixed speed (4400 MT/s) │ ├── 16 DIMMs → 2DPC na všech channel = MAX KAPACITA (4400 MT/s) │ ✅ Pro kapacitně náročné workloady │ └── Více než 16 → Pouze s LRDIMM / 3DS, speed penalty Závěr: 8 DIMMů na CPU (1DPC) = nejvyšší výkon 16 DIMMů na CPU (2DPC) = nejvyšší kapacita ``` ### Vliv konfigurace na výkon | Konfigurace | Relativní bandwidth | Latence | Use case | |------------|-------------------|---------|----------| | **1DPC, 8 ch, 5600 MT/s** (8 DIMM) | 100 % | Nejnižší | Databáze OLTP, HPC, real-time | | **2DPC, 8 ch, 4400 MT/s** (16 DIMM) | ~78 % | +10-15 % | Virtualizace, VDI, in-memory DB | | **Mixed 1+2DPC** (12 DIMM) | ~85 % | Střední | Kompromis kapacity/výkonu | | **Unbalanced channels** | 50-70 % | Vysoká | **Vyhnout se** | **Doporučení výrobců:** - **Dell**: 16× identických DIMMů (8 per CPU), 1DPC, 5600 MT/s = optimální výkon - **HPE Intel**: Vždy plnit bílé sloty první, pro max výkon 1DPC, pro max kapacitu 2DPC - **HPE AMD EPYC 9005**: 12 channelů na CPU, 1DPC = 12 DIMMů na CPU při 6400 MT/s (max bandwidth); 2DPC = 24 DIMMů na CPU (max kapacita 6 TB) - **Supermicro**: Sledovat konkrétní manual pro daný model (DSG, GPU, storage) - **Lenovo**: Stejná pravidla jako Intel/AMD platforma — preferovat 1DPC ### Memory sizing per workload | Workload | Poměr RAM/core | Typický pool | Doporučená konfigurace | |----------|---------------|--------------|----------------------| | Databáze (OLTP) | 8-16 GB/core, DB v RAM | 256 GB - 2 TB | 8× 32-64 GB RDIMM, 1DPC | | Databáze (OLAP) | 16-64 GB/core, columnstore | 512 GB - 4 TB+ | 16× 64-128 GB RDIMM, 2DPC | | Virtualizace (VM) | 4-8 GB/core, podle VM density | 256 GB - 2 TB | 8-16× 32-64 GB RDIMM | | Kubernetes (general) | 2-4 GB/core | 64-256 GB | 8× 16-32 GB RDIMM, 1DPC | | AI training (CPU preprocessing) | 2-4 GB/core | 128-512 GB | 8× 32-64 GB RDIMM, 1DPC | | HPC | 1-2 GB/core | 64-128 GB | 8× 16 GB RDIMM, 1DPC, high-speed | | In-memory DB (SAP HANA) | 8-32 GB/core | 1-6 TB+ | 16× 128-256 GB LRDIMM/3DS | | Big Data — Spark worker | 4-8 GB/core | 128-512 GB | 8-16× 32-64 GB RDIMM, 1DPC, NVMe scratch | | Big Data — Flink worker | 8-16 GB/core (vč. managed state) | 128-512 GB | 8-16× 32-64 GB RDIMM, 1DPC, RocksDB na NVMe | | Big Data — Trino worker | 4-8 GB/core | 64-256 GB | 8× 16-32 GB RDIMM, 1DPC | | Big Data — HDFS DataNode | 1-2 GB/core (metadata cache) | 64-256 GB | 8× 16-32 GB RDIMM, 1DPC, max storage density | ## PCIe | Generace | Rok | Rychlost per lane | x16 propustnost | x24 (GPU) | |----------|-----|-------------------|-----------------|-----------| | **PCIe 3.0** | 2010 | 985 MB/s | 15.8 GB/s | 23.6 GB/s | | **PCIe 4.0** | 2017 | 1.97 GB/s | 31.5 GB/s | 47.3 GB/s | | **PCIe 5.0** | 2022 | 3.94 GB/s | 63 GB/s | 94.5 GB/s | | **PCIe 6.0** | 2025 | 7.88 GB/s | 126 GB/s | 189 GB/s | **PCIe lane allocation**: - GPU (x16): NVIDIA H100, AMD MI300X - NVMe U.2 (x4): každý NVMe disk - NIC 100 GbE (x16): dual-port 100 GbE - RAID/HBA (x8): storage controller **CPU PCIe lane count**: - Intel Xeon Scalable (4. gen): 64-80 lanes per socket - AMD EPYC (4. gen Genoa): 128 lanes per socket - Dual-socket: 256 lanes total ## NUMA ### Topologie ``` Socket 0 (NUMA node 0) Socket 1 (NUMA node 1) ├── Cores 0-31 ├── Cores 32-63 ├── Memory 0-256 GB ├── Memory 256-512 GB ├── PCIe root complex (GPU, NVMe) ├── PCIe root complex (NIC, NVMe) └── I/O hub └── I/O hub │ │ └───────── Infinity Fabric / UPI ──┘ ``` - **Local access** — CPU → vlastní memory (nízká latence, plná bandwidth) - **Remote access** — CPU → druhý socket memory (vyšší latence, ~1.5×, nižší bandwidth) - NUMA-aware aplikace: databáze, VM, DPDK, AI training ### Cross-NUMA penalty | CPU | Local latency | Remote latency | Penalty | |-----|--------------|----------------|---------| | AMD EPYC (Genoa) | ~80 ns | ~150 ns | ~1.9× | | Intel Xeon (Sapphire Rapids) | ~90 ns | ~160 ns | ~1.8× | ## TDP a chlazení | CPU | TDP | Core count | Chlazení | |-----|-----|-----------|----------| | Intel Xeon Platinum 8480+ | 350 W | 56 | Air (high-performance) | | Intel Xeon 6980P (Granite Rapids) | 500 W | 128 | Liquid recommended | | AMD EPYC 9654 (Genoa) | 360 W | 96 | Air / Liquid | | AMD EPYC 9965 (Turin) | 500 W | 192 | Liquid recommended | ### Cooling requirements per rack density | Rack density | kW/rack | Cooling | |-------------|---------|---------| | Low | 1-5 kW | Free air cooling | | Medium | 5-15 kW | CRAC/CRAH, hot/cold aisle | | High | 15-40 kW | In-row cooling, rear-door HX | | Ultra | 40-100+ kW | Direct-to-chip liquid, immersion | ## BMC a management | Vendor | BMC | API | Remote console | Features | |--------|-----|-----|---------------|----------| | **Dell** | iDRAC (9/10) | Redfish, RACADM | Virtual Console (HTML5) | Lifecycle Controller, SUU | | **HPE** | iLO (5/6) | Redfish, iLOREST | Integrated Remote Console | Smart Update Manager, SUM | | **Supermicro** | BMC / IPMI | IPMI, Redfish | IPMIView, HTML5 KVM | SuperDoctor, SSM | | **Lenovo** | XClarity Controller | Redfish, IPMI | Remote Console | XClarity Administrator | | **Cisco** | CIMC / UCSM | Redfish, XML API | KVM Console | UCS Manager, Intersight | ### Standardní funkce - Power: on/off/cycle/reset - Boot: one-shot PXE, CD-ROM redirect, BIOS setup - Monitoring: sensors (temp, voltage, fan, PSU) - Alerting: SNMP traps, email, Redfish events - Remote media: ISO mount přes network - Serial over LAN (SOL) ## Výrobci a řady | Výrobce | Rack series | Blade series | Management | |---------|-------------|-------------|------------| | **Dell** | PowerEdge R6xx/R7xx (R660, R760) | MX7000, FX2 | iDRAC, OpenManage Enterprise | | **HPE** | ProLiant DL (DL360, DL380) | Synergy, BladeSystem | iLO, OneView, OpsRamp | | **Cisco** | UCS C-Series (C240, C245) | UCS B-Series, Fabric Interconnect | UCS Manager, Intersight | | **Lenovo** | ThinkSystem SR (SR630, SR650) | ThinkSystem SN | XClarity | | **Supermicro** | SuperServer (pro GPU, storage, cloud) | FatTwin, MicroBlade | IPMI, SuperDoctor | ## Server connectivity Detailní kapitola o síťové a storage konektivitě: [CONNECTIVITY.md](CONNECTIVITY.md) ## Storage controllers | Controller | Typ | RAID | Cache | Protokol | |-----------|-----|------|-------|----------| | **Dell PERC** (H755, H965) | HW RAID | 0/1/5/6/10/50/60 | 4-8 GB NV | NVMe, SAS, SATA | | **Broadcom / LSI** (9560, 9670) | HW RAID / HBA | 0/1/5/6/10/50/60 | 4 GB NV | NVMe, SAS, SATA | | **Intel VROC** | SW RAID (CPU) | 0/1/5/10 | — | NVMe only | | **M.2 HW RAID** (BOSS-S1) | HW RAID | 0/1 | — | 2× M.2 NVMe/SATA | ### IT vs HW RAID mode | Vlastnost | IT (Initiator Target) / HBA | HW RAID | |-----------|---------------------------|---------| | **OS vidí** | Každý disk samostatně | RAID virtuální disk | | **Caching** | OS cache | RAID controller cache (BBU) | | **RAID** | Software (mdadm, ZFS, Ceph) | Hardware + SW driver | | **Passthrough** | Ano | Ne | | **Use case** | SDS (Ceph, MinIO), ZFS | VMware VMFS, Windows, legacy | | **Battery/Backup** | Není potřeba | Write-back cache vyžaduje BBU | ## Ceny (2026) ### CPU ceny (2026) | CPU | Cores | TDP | 1ku cena | $/core | |-----|-------|-----|----------|--------| | AMD EPYC 9965 (Turin) | 192 | 500 W | ~$11 988 | $62 | | AMD EPYC 9655 (Turin) | 96 | 400 W | ~$6 500 | $68 | | AMD EPYC 9475F (Turin) | 48 | 360 W | ~$5 000 | $104 | | Intel Xeon 6980P (Granite Rapids) | 128 | 500 W | ~$12 460 | $97 | | Intel Xeon 6980P (Granite Rapids-AP) | 128 | 500 W | $13 955 | $109 | | Intel Xeon 6767P (Granite Rapids) | 64 | 350 W | ~$7 000 | $109 | Sources: AMD 1ku pricing, Intel RCP, Newegg verified. ### DDR5 RDIMM ceny (2026 — AI-driven price surge) | Kapacita | Rychlost | Cena 2025 | Cena Q2 2026 | Změna | |----------|---------|-----------|-------------|-------| | 32 GB (2R×8) | DDR5-5600 | ~$95 | ~$400–550 | +400–500 % | | 64 GB (2R×4) | DDR5-4800 | ~$180 | ~$700–900 | +400 % | | 96 GB (2R×4) | DDR5-6400 | ~$300 | ~$1 200–1 600 | +400 % | | 128 GB (2R×4) | DDR5-6400 | ~$450 | ~$1 800–2 500 | +450 % | | 256 GB (LRDIMM) | DDR5-6400 | ~$900 | ~$4 000–5 000 | +450 % | Trend: DDR5 ceny vzrostly ~400–500 % od mid-2025 kvůli AI-driven poptávce. Očekává se další růst v H2 2026. Zdroj: Counterpoint, TrendForce. ### NVMe SSD ceny (enterprise, 2026) | Kapacita | Typ | Cena 2024 | Cena Q2 2026 | Změna | |----------|-----|-----------|-------------|-------| | 1.92 TB | NVMe U.3 (read-intensive) | ~$200 | ~$500–600 | +150 % | | 3.84 TB | NVMe U.3 (mixed-use) | ~$400 | ~$1 000–1 200 | +150 % | | 7.68 TB | NVMe U.3 (mixed-use) | ~$800 | ~$2 000–2 500 | +150 % | | 15.36 TB | NVMe U.3 (mixed-use) | ~$1 500 | ~$4 000–5 000 | +170 % | Trend: NAND flash ceny vzrostly ~100–200 % od 2025, průměrný enterprise SSD stojí 2–3× více. Zdroj: TrendForce, Xinnor. ### Celková cena serveru (příkladové konfigurace) | Konfigurace | CPU | RAM | Disk | Odhad ceny | |-------------|-----|-----|------|-----------| | DB server (OLTP) | 2× EPYC 9655 (96C) | 1 TB DDR5 | 6× 1.92 TB NVMe | ~$45 000–60 000 | | GPU server (AI) | 2× Xeon 6980P | 2 TB DDR5 | 4× 3.84 TB NVMe | ~$80 000–120 000 (bez GPU) | | Hypervisor host | 2× EPYC 9475F (48C) | 512 GB DDR5 | 2× 1.92 TB NVMe + 4× 16 TB HDD | ~$25 000–35 000 | | Storage server (Ceph) | 1× EPYC 9655 (96C) | 256 GB DDR5 | 24× 15.36 TB NVMe | ~$60 000–80 000 | ## Zdroje Odkazy, knihy a standardy: [sources/infrastructure/sources.md](sources/infrastructure/sources.md) *Poslední revize: 2026-06-03*