379 lines
14 KiB
Markdown
379 lines
14 KiB
Markdown
# Případová studie: Proxmox VE demo cluster (3× node, Ceph, HA)
|
||
|
||
## 1. Zadání a parametry
|
||
|
||
| Parametr | Hodnota |
|
||
|----------|---------|
|
||
| Počet hostů | 3 |
|
||
| Účel | demo, učení, vývoj |
|
||
| Hypervisor | Proxmox VE (free) |
|
||
| Rozpočet | low-cost (~$10 000–$15 000) |
|
||
| Storage | Ceph (HCI) |
|
||
| HA | ano |
|
||
| Lokalita | 1 rack, běžná kancelářská místnost |
|
||
|
||
---
|
||
|
||
## 2. Serverová sestava
|
||
|
||
Vychází z kombinace **varianty Mini** (2–3 hosty, single-socket) a **čistě Ceph varianty** dle SERVER-CONFIG.md. Každý ze 3 nodů je identický.
|
||
|
||
### 2.1 Konfigurace jednoho nodu
|
||
|
||
| Komponenta | Specifikace | Zdůvodnění |
|
||
|------------|-------------|------------|
|
||
| **CPU** | 1× AMD EPYC 9224 (24C/48T, 200 W TDP) nebo Intel Xeon 5418Y (16C/32T) | SERVER-CONFIG.md: "Čistě Ceph varianta: CPU 1× EPYC 9224–9334 (12–24C)". Ceph vyžaduje 1–2 jádra na OSD; při 3 OSD + Proxmox + VM je 12+ jader minimum. |
|
||
| **RAM** | 128 GB DDR5-4800 (4× 32 GB RDIMM, 1DPC) | SERVER-CONFIG.md: "RAM 128–256 GB" pro Ceph variantu. 128 GB dostačuje pro demo; 4–8 GB na OSD + OS + lehké VM. |
|
||
| **OS disk** | 2× 240 GB SATA SSD, RAID 1 (HW řadič v HBA režimu nebo SW mdadm) | "OS: 2× SATA SSD RAID 1" dle Ceph varianty. |
|
||
| **Ceph OSD** | 3× 960 GB SATA SSD (HBA/IT mode, žádný HW RAID) | "Ceph OSD: 4–8× NVMe/SATA SSD (RAW, HBA mode)". Pro demo snižujeme na 3 OSD/node. Celkem 9 OSD v clusteru. |
|
||
| **NIC** | 2× dual-port 10 GbE SFP+ (celkem 4× 10 GbE) | "Network: 2× 25 GbE public + 2× 25 GbE cluster". Pro low-cost volíme 10 GbE (SFP+), koncept zůstává stejný. |
|
||
| **BMC** | 1× 1 GbE (iDRAC / iLO / IPMI) | Standardní management port, CONNECTIVITY.md. |
|
||
| **Form factor** | 1U rack server (Dell R660, HPE DL360 Gen11, nebo Supermicro) | Rack 19", vhodný do 1U. |
|
||
|
||
### 2.2 Zdůvodnění CPU volby
|
||
|
||
KB uvádí pro Mini variantu "1× EPYC 4124 (4C) nebo Xeon E-2400". Pro Ceph je však 4 jader málo (OSD + Proxmox + VM). Proto volíme EPYC 9224 (24C) / Xeon 5418Y (16C), což odpovídá Ceph variantě v SERVER-CONFIG.md. Cena je vyšší, ale cluster je funkční i pro reálné testování.
|
||
|
||
---
|
||
|
||
## 3. Storage varianta — Ceph
|
||
|
||
### 3.1 Topologie
|
||
|
||
```
|
||
3× Proxmox node ─── každý 3× OSD (SATA SSD)
|
||
│
|
||
Ceph cluster
|
||
│
|
||
┌─────────┼─────────┐
|
||
3× MON 3× MGR 9× OSD
|
||
```
|
||
|
||
### 3.2 Konfigurace Ceph
|
||
|
||
| Parametr | Hodnota | Poznámka |
|
||
|----------|---------|----------|
|
||
| Replikace | 3 (size = 3, min_size = 2) | Standard dle STORAGE.md |
|
||
| Failure domain | host | CRUSH: replikace napříč nodem |
|
||
| Raw kapacita | 9 × 960 GB ≈ 8.6 TB | |
|
||
| Usable kapacita | ~2.9 TB (8.6 / 3) | Dostačující pro demo |
|
||
| OSD backend | BlueStore | Výchozí v Cephu, doporučeno |
|
||
| MON kvórum | 3 (1 per node) | Minimální pro HA |
|
||
| Cache | RAM (BlueStore cache) | 1–2 GB per OSD |
|
||
| Síť public | 2× 10 GbE LACP | VM traffic + Ceph frontend |
|
||
| Síť cluster | 2× 10 GbE LACP | Ceph backend replikace |
|
||
| MTU | 9000 (jumbo frames) | Doporučeno dle NETWORKING.md |
|
||
|
||
### 3.3 Storage layout na disku
|
||
|
||
```
|
||
/dev/sda 240 GB OS (RAID 1, mirror s /dev/sdb)
|
||
/dev/sdc 960 GB OSD.0 (RAW, BlueStore)
|
||
/dev/sdd 960 GB OSD.1 (RAW, BlueStore)
|
||
/dev/sde 960 GB OSD.2 (RAW, BlueStore)
|
||
```
|
||
|
||
### 3.4 Ceph pool design
|
||
|
||
| Pool | PG count | Replikace | Účel |
|
||
|------|----------|-----------|-------|
|
||
| vms | 128 | 3× | VM disky (RBD) |
|
||
| data | 64 | 3× | Data volume |
|
||
| backups | 32 | 3× | Zálohy (low priority) |
|
||
|
||
PG count orientační pro demo (9 OSD). Produkční vzorec: (OSD_total × 100) / replication_size.
|
||
|
||
---
|
||
|
||
## 4. Network
|
||
|
||
### 4.1 Topologie
|
||
|
||
```
|
||
┌─────────────────┐
|
||
│ 10 GbE Switch │
|
||
│ (24-port SFP+) │
|
||
└──┬──┬──┬──┬──┬──┘
|
||
┌─────────────┘ │ │ └─────────────┐
|
||
│ │ │ │
|
||
┌─────┴─────┐ ┌────┴──┴───┐ ┌───────┴──┐
|
||
│ Node 1 │ │ Node 2 │ │ Node 3 │
|
||
│ 4×10GbE │ │ 4×10GbE │ │ 4×10GbE │
|
||
│ ┌──────┐ │ │ ┌──────┐ │ │ ┌──────┐ │
|
||
│ │1GbE │ │ │ │1GbE │ │ │ │1GbE │ │
|
||
│ │BMC │ │ │ │BMC │ │ │ │BMC │ │
|
||
└─────────┘ └───────────┘ └───────────┘
|
||
```
|
||
|
||
### 4.2 VLAN a traffic segmentation
|
||
|
||
| VLAN | Účel | Porty | MTU |
|
||
|------|------|-------|-----|
|
||
| VLAN 10 | Management (Proxmox web UI, SSH) | 1× 1 GbE BMC | 1500 |
|
||
| VLAN 20 | VM traffic + Ceph public | 2× 10 GbE (bond) | 9000 |
|
||
| VLAN 30 | Ceph cluster (backend) | 2× 10 GbE (bond) | 9000 |
|
||
|
||
### 4.3 Switch
|
||
|
||
| Parametr | Hodnota |
|
||
|----------|---------|
|
||
| Model | MikroTik CRS326-24S+2Q+RM nebo podobný L2+ switch |
|
||
| Porty | 24× SFP+ 10 GbE |
|
||
| Management | VLAN 10, IP 10.0.0.254/24 |
|
||
| Features | VLAN, LACP (LAG), Jumbo frames (MTU 9000), SNMP |
|
||
|
||
### 4.4 Kabeláž
|
||
|
||
| Typ | Délka | Počet | Účel |
|
||
|-----|-------|-------|-------|
|
||
| SFP+ DAC (pasivní) | 3 m | 12 | 10 GbE propojení server ↔ switch |
|
||
| Cat6A UTP | 3 m | 3 | Management (1 GbE BMC) |
|
||
| Cat6A UTP | 1 m | 1 | Internet uplink (patch panel) |
|
||
|
||
DAC kabely jsou levnější než SFP+ optika + patch cordy — vhodné pro single-rack.
|
||
|
||
---
|
||
|
||
## 5. Rack layout
|
||
|
||
### 5.1 Rozměry a pozice
|
||
|
||
| U | Zařízení | Výkon (W) |
|
||
|---|----------|-----------|
|
||
| U1 | Switch 10 GbE (1U) | ~60 W |
|
||
| U2 | UPS (2U) | — |
|
||
| U3 | (volný, ventilace) | — |
|
||
| U4 | Server Node 1 (1U) | ~250 W |
|
||
| U5 | Server Node 2 (1U) | ~250 W |
|
||
| U6 | Server Node 3 (1U) | ~250 W |
|
||
| U7–U15 | Volné (příp. storage, patch panel) | — |
|
||
|
||
| Parametr | Hodnota |
|
||
|----------|---------|
|
||
| Rack typ | 15U wall-mount, 19", 600×600 mm |
|
||
| Celkový IT load | ~810 W |
|
||
| PUE odhad | ~1.5 (kancelářská místnost, žádné precise cooling) |
|
||
| Chlazení | Běžná kancelářská klimatizace (ASHRAE A2: 10–35 °C). Pro <1 kW dostačuje. |
|
||
|
||
**Poznámka:** KB (DATACENTERS.md) uvádí pro nízkou hustotu (<5 kW/rack) free air cooling. V kanceláři postačí standardní ventilace a AC.
|
||
|
||
### 5.2 UPS
|
||
|
||
| Parametr | Hodnota |
|
||
|----------|---------|
|
||
| Typ | VI (line-interactive) — dle DATACENTERS.md pro menší racky |
|
||
| Kapacita | 2000 VA / 1200 W |
|
||
| Záložní doba | ~15–20 min při 810 W loadu |
|
||
| Výstup | 8× C13 (pro servery + switch) |
|
||
| Baterie | VRLA (levnější) nebo Li-ion LFP |
|
||
| Management | USB / SNMP karta (automatické vypnutí Proxmox) |
|
||
|
||
Volitelně lze rozšířit na VFI (double-conversion) UPS pro čistší výstup, ale u dema postačuje VI.
|
||
|
||
### 5.3 PDU
|
||
|
||
1× základní 1U PDU (8× C13), 230 V / 10 A — pro distribuci do serverů.
|
||
|
||
---
|
||
|
||
## 6. Hypervisor — Proxmox VE
|
||
|
||
### 6.1 Instalace a konfigurace
|
||
|
||
| Komponenta | Verze / Konfigurace |
|
||
|------------|---------------------|
|
||
| Hypervisor | Proxmox VE 8.x (Debian 12 + KVM + LXC) |
|
||
| Storage backend | Ceph Reef / Squid (18.x) integrovaný v Proxmox |
|
||
| Cluster | 3-node cluster, Corosync + PMXCFS |
|
||
| HA | Proxmox HA — 1 node failure tolerance (ostatní 2 převezmou VM) |
|
||
| Fencing | watchdog (softdog) + Proxmox HA manager |
|
||
|
||
### 6.2 Licence
|
||
|
||
| Položka | Cena | Poznámka |
|
||
|---------|------|----------|
|
||
| Proxmox VE | $0 | Open source, plná funkcionalita bez licence |
|
||
| Proxmox komunita support | $0 | Fórum, wiki |
|
||
| Proxmox podnikový support (volitelný) | ~€500/host/rok | Lze dokoupit později |
|
||
|
||
HYPERVISORS.md: Proxmox VE je "open source (free)", licence není vyžadována.
|
||
|
||
### 6.3 HA nastavení
|
||
|
||
- Skupina HA: všechny 3 nody, no-quorum-policy = "stop" (pro demo)
|
||
- Max restart VM: 2 pokusy
|
||
- Migration: live migration přes Ceph RBD (sdílený storage)
|
||
|
||
---
|
||
|
||
## 7. Odhad rozpočtu
|
||
|
||
**Upozornění:** KB neobsahuje konkrétní ceny komponent. Následující částky jsou orientační tržní odhady (Q2 2026, USD).
|
||
|
||
### 7.1 Servery (3×)
|
||
|
||
| Položka | Kusů | Cena/kus | Celkem |
|
||
|---------|------|----------|--------|
|
||
| 1U rack server (basic config, bez CPU/RAM/disk) | 3 | ~$1 200 | $3 600 |
|
||
| AMD EPYC 9224 (24C) / Intel Xeon 5418Y (16C) — dle KB | 3 | ~$900 | $2 700 |
|
||
| RAM 128 GB (4× 32 GB DDR5-4800 RDIMM) | 3 | ~$600 | $1 800 |
|
||
| 240 GB SATA SSD (OS) | 6 | ~$50 | $300 |
|
||
| 960 GB SATA SSD (Ceph OSD) | 9 | ~$150 | $1 350 |
|
||
| Dual-port 10 GbE SFP+ NIC (např. Intel X710-DA2) | 6 | ~$120 | $720 |
|
||
| **Servery celkem** | | | **~$10 470** |
|
||
|
||
### 7.2 Síť
|
||
|
||
| Položka | Kusů | Cena/kus | Celkem |
|
||
|---------|------|----------|--------|
|
||
| MikroTik CRS326-24S+2Q+RM (24× 10GbE SFP+) | 1 | ~$600 | $600 |
|
||
| SFP+ DAC kabel 3 m (pasivní) | 12 | ~$15 | $180 |
|
||
| Sítě celkem | | | **~$780** |
|
||
|
||
### 7.3 Rack a napájení
|
||
|
||
| Položka | Kusů | Cena/kus | Celkem |
|
||
|---------|------|----------|--------|
|
||
| 15U wall-mount rack 19" | 1 | ~$300 | $300 |
|
||
| UPS 2000 VA (line-interactive, VRLA) | 1 | ~$450 | $450 |
|
||
| 1U PDU basic (8× C13) | 1 | ~$60 | $60 |
|
||
| Rack + power celkem | | | **~$810** |
|
||
|
||
### 7.4 Ostatní
|
||
|
||
| Položka | Cena |
|
||
|---------|------|
|
||
| Cat6A patch kabely, management | ~$50 |
|
||
| Montážní materiál, velcro | ~$30 |
|
||
| Přeprava a instalace | ~$200 |
|
||
| Ostatní celkem | **~$280** |
|
||
|
||
### 7.5 Celková kalkulace
|
||
|
||
| Kategorie | Částka |
|
||
|-----------|--------|
|
||
| Servery (3× node) | ~$10 470 |
|
||
| Síť (switch + kabely) | ~$780 |
|
||
| Rack + napájení | ~$810 |
|
||
| Ostatní | ~$280 |
|
||
| **Celkem** | **~$12 340** |
|
||
| Rezerva (10–15 %) | ~$1 200–1 800 |
|
||
| **Celkem s rezervou** | **~$13 500–$14 100** |
|
||
|
||
Rozpočet **$10 000–$15 000** je dosažitelný. Při použití levnějších CPU (EPYC 4124P / Xeon E-2488) lze sestavit za ~$8 000–9 000, ale s omezeným výkonem pro Ceph.
|
||
|
||
**Možné úspory:**
|
||
- CPU: 2× EPYC 4124P (4C) + 1× silnější node → ~$800 úspora (ale asymetrický cluster)
|
||
- OSD: 2× místo 3× SSD/node → ~$500 úspora (menší kapacita)
|
||
- Switch: 12-port místo 24-port → ~$300 úspora
|
||
|
||
---
|
||
|
||
## 8. Topologický diagram
|
||
|
||
```mermaid
|
||
flowchart TB
|
||
subgraph Rack["15U Rack (kancelář)"]
|
||
U1["U1: 10GbE Switch (MikroTik)"]
|
||
U2["U2: UPS 2000 VA"]
|
||
U4["U4: Node 1 — Proxmox + Ceph OSD"]
|
||
U5["U5: Node 2 — Proxmox + Ceph OSD"]
|
||
U6["U6: Node 3 — Proxmox + Ceph OSD"]
|
||
end
|
||
|
||
subgraph Node1["Node 1 (detail)"]
|
||
N1_CPU["CPU: EPYC 9224 (24C)"]
|
||
N1_RAM["RAM: 128 GB DDR5"]
|
||
N1_OS["OS: 2× 240 GB SSD (RAID 1)"]
|
||
N1_OSD1["OSD.0: 960 GB SSD"]
|
||
N1_OSD2["OSD.1: 960 GB SSD"]
|
||
N1_OSD3["OSD.2: 960 GB SSD"]
|
||
N1_NIC["NIC: 4× 10GbE SFP+"]
|
||
N1_BMC["BMC: 1× 1GbE"]
|
||
end
|
||
|
||
U1 ---|"4× 10GbE LACP<br/>(public + cluster)"| U4
|
||
U1 ---|"4× 10GbE LACP"| U5
|
||
U1 ---|"4× 10GbE LACP"| U6
|
||
|
||
U4 --- N1_CPU
|
||
U4 --- N1_RAM
|
||
U4 --- N1_OS
|
||
U4 --- N1_OSD1
|
||
U4 --- N1_OSD2
|
||
U4 --- N1_OSD3
|
||
U4 --- N1_NIC
|
||
U4 --- N1_BMC
|
||
|
||
subgraph Ceph["Ceph Cluster"]
|
||
CEPH_MON["3× MON (1 per node)"]
|
||
CEPH_MGR["3× MGR (1 per node)"]
|
||
CEPH_OSD["9× OSD (3 per node)"]
|
||
end
|
||
|
||
U4 --- CEPH_MON
|
||
U5 --- CEPH_MON
|
||
U6 --- CEPH_MON
|
||
U4 --- CEPH_MGR
|
||
U5 --- CEPH_MGR
|
||
U6 --- CEPH_MGR
|
||
U4 --- CEPH_OSD
|
||
U5 --- CEPH_OSD
|
||
U6 --- CEPH_OSD
|
||
|
||
subgraph Proxmox["Proxmox VE Cluster"]
|
||
PMX_HA["HA Group (3 nodes)"]
|
||
PMX_HA --- U4
|
||
PMX_HA --- U5
|
||
PMX_HA --- U6
|
||
end
|
||
|
||
subgraph Uplink["Internet / LAN"]
|
||
UPLINK_SW["Office LAN<br/>(1 GbE)"]
|
||
end
|
||
|
||
U1 ---|"1× Cat6A<br/>1 GbE"| UPLINK_SW
|
||
U1 ---|"Internet<br/>(ISP router)"| UPLINK_SW
|
||
```
|
||
|
||
---
|
||
|
||
## 9. Shrnutí a klíčová rozhodnutí
|
||
|
||
| Rozhodnutí | Varianta | Zdůvodnění |
|
||
|------------|----------|------------|
|
||
| Hypervisor | Proxmox VE | HYPERVISORS.md: "Pro SME / nízký budget — open source, vestavěný Ceph, žádné licenční náklady". Pro demo ideální. |
|
||
| Storage | Ceph (3× replikace) | STORAGE.md + SERVER-CONFIG.md: Ceph je doporučený SDS pro Proxmox, 3 nodes minimum pro kvórum. |
|
||
| CPU | Single-socket EPYC 9224 / Xeon 5418Y | Kompromis mezi cenou (Mini varianta ~1 socket) a výkonem pro Ceph (Ceph varianta ~12+ jader). |
|
||
| Network | 10 GbE SFP+ (místo 25 GbE) | KB doporučuje 25 GbE, ale pro demo low-cost stačí 10 GbE. Koncept (oddělení public/cluster sítě) zůstává stejný. |
|
||
| Rack | 15U wall-mount | Vhodný do kanceláře, bez raised floor, bez precision cooling. |
|
||
| UPS | 2000 VA line-interactive | DATACENTERS.md: VI typ pro menší racky. Pro demo dostačuje. |
|
||
| Licence | Proxmox VE (free) | Bez licenčních nákladů, support lze dokoupit později. |
|
||
|
||
### Kompromisy oproti produkčnímu nasazení
|
||
|
||
- **25 GbE → 10 GbE**: nižší propustnost Ceph cluster sítě (v demo prostředí nevadí)
|
||
- **HDD → SSD**: pro Ceph OSD volíme SSD místo HDD (vyšší cena, lepší výkon — v demu jde o funkčnost, ne kapacitu)
|
||
- **2× 10 GbE public + 2× 10 GbE cluster → dohromady na LACP**: lze sloučit při nedostatku portů, ale separace je lepší
|
||
- **Chlazení**: office AC, nikoliv DC-grade precision cooling (PUE ~1.5–1.8)
|
||
|
||
### Co KB neřeší (doplněno z praxe)
|
||
|
||
KB neobsahuje konkrétní ceny komponent — rozpočet je orientační tržní odhad. Dále neřeší konkrétní model switch poskytovatele L2+ funkcí (VLAN, LACP, Jumbo frames). Zde vycházíme z běžné praxe pro SOHO/SME segment.
|
||
|
||
---
|
||
|
||
## 10. Použité zdroje z KB
|
||
|
||
- **DATACENTERS.md** — rack layout, power chain, UPS typy, cooling třídy (ASHRAE), cabling standardy
|
||
- **HYPERVISORS.md** — Proxmox VE jako open source varianta, srovnání platforem, varianta Mini (2–3 hosty), Ceph connectivity
|
||
- **SERVER-CONFIG.md** — Čistě Ceph varianta (3–6 hostů), HW specifikace, network design, BIOS nastavení
|
||
- **STORAGE.md** — Ceph architektura (MON/MGR/OSD, CRUSH map, BlueStore, replikace), SDS přehled
|
||
- **CONNECTIVITY.md** — Ethernet rychlosti (10/25 GbE), SFP+ form factor, NIC placement, management port
|
||
- **NETWORKING.md** — VLAN segmentation, MTU a jumbo frames, best practices
|
||
- **SERVER-HW.md** — CPU selection (EPYC vs Xeon), RAM osazování (1DPC/2DPC), NUMA, form faktory
|
||
|
||
---
|
||
|
||
*Poslední revize: 2026-06-04*
|