Fossil/knowledge-base
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
b53714113ca99b4b6eced507461309dc3c9bf35d
knowledge-base/case-studies/proxmox-demo/README.md
Stanislav Hubacek 3fa11ef0f6 comiiit
2026-06-11 15:27:28 +02:00

14 KiB
Raw Blame History

Případová studie: Proxmox VE demo cluster (3× node, Ceph, HA)

1. Zadání a parametry

Parametr Hodnota
Počet hostů 3
Účel demo, učení, vývoj
Hypervisor Proxmox VE (free)
Rozpočet low-cost (~$10 000–$15 000)
Storage Ceph (HCI)
HA ano
Lokalita 1 rack, běžná kancelářská místnost

2. Serverová sestava

Vychází z kombinace varianty Mini (2–3 hosty, single-socket) a čistě Ceph varianty dle SERVER-CONFIG.md. Každý ze 3 nodů je identický.

2.1 Konfigurace jednoho nodu

Komponenta Specifikace Zdůvodnění
CPU 1× AMD EPYC 9224 (24C/48T, 200 W TDP) nebo Intel Xeon 5418Y (16C/32T) SERVER-CONFIG.md: "Čistě Ceph varianta: CPU 1× EPYC 9224–9334 (12–24C)". Ceph vyžaduje 1–2 jádra na OSD; při 3 OSD + Proxmox + VM je 12+ jader minimum.
RAM 128 GB DDR5-4800 (4× 32 GB RDIMM, 1DPC) SERVER-CONFIG.md: "RAM 128–256 GB" pro Ceph variantu. 128 GB dostačuje pro demo; 4–8 GB na OSD + OS + lehké VM.
OS disk 2× 240 GB SATA SSD, RAID 1 (HW řadič v HBA režimu nebo SW mdadm) "OS: 2× SATA SSD RAID 1" dle Ceph varianty.
Ceph OSD 3× 960 GB SATA SSD (HBA/IT mode, žádný HW RAID) "Ceph OSD: 4–8× NVMe/SATA SSD (RAW, HBA mode)". Pro demo snižujeme na 3 OSD/node. Celkem 9 OSD v clusteru.
NIC 2× dual-port 10 GbE SFP+ (celkem 4× 10 GbE) "Network: 2× 25 GbE public + 2× 25 GbE cluster". Pro low-cost volíme 10 GbE (SFP+), koncept zůstává stejný.
BMC 1× 1 GbE (iDRAC / iLO / IPMI) Standardní management port, CONNECTIVITY.md.
Form factor 1U rack server (Dell R660, HPE DL360 Gen11, nebo Supermicro) Rack 19", vhodný do 1U.

2.2 Zdůvodnění CPU volby

KB uvádí pro Mini variantu "1× EPYC 4124 (4C) nebo Xeon E-2400". Pro Ceph je však 4 jader málo (OSD + Proxmox + VM). Proto volíme EPYC 9224 (24C) / Xeon 5418Y (16C), což odpovídá Ceph variantě v SERVER-CONFIG.md. Cena je vyšší, ale cluster je funkční i pro reálné testování.

3. Storage varianta — Ceph

3.1 Topologie

3× Proxmox node ─── každý 3× OSD (SATA SSD)
                        │
                   Ceph cluster
                        │
              ┌─────────┼─────────┐
             3× MON    3× MGR    9× OSD

3.2 Konfigurace Ceph

Parametr Hodnota Poznámka
Replikace 3 (size = 3, min_size = 2) Standard dle STORAGE.md
Failure domain host CRUSH: replikace napříč nodem
Raw kapacita 9 × 960 GB ≈ 8.6 TB
Usable kapacita ~2.9 TB (8.6 / 3) Dostačující pro demo
OSD backend BlueStore Výchozí v Cephu, doporučeno
MON kvórum 3 (1 per node) Minimální pro HA
Cache RAM (BlueStore cache) 1–2 GB per OSD
Síť public 2× 10 GbE LACP VM traffic + Ceph frontend
Síť cluster 2× 10 GbE LACP Ceph backend replikace
MTU 9000 (jumbo frames) Doporučeno dle NETWORKING.md

3.3 Storage layout na disku

/dev/sda         240 GB     OS (RAID 1, mirror s /dev/sdb)
/dev/sdc         960 GB     OSD.0 (RAW, BlueStore)
/dev/sdd         960 GB     OSD.1 (RAW, BlueStore)
/dev/sde         960 GB     OSD.2 (RAW, BlueStore)

3.4 Ceph pool design

Pool PG count Replikace Účel
vms 128 3× VM disky (RBD)
data 64 3× Data volume
backups 32 3× Zálohy (low priority)

PG count orientační pro demo (9 OSD). Produkční vzorec: (OSD_total × 100) / replication_size.

4. Network

4.1 Topologie

                    ┌─────────────────┐
                    │  10 GbE Switch   │
                    │  (24-port SFP+)  │
                    └──┬──┬──┬──┬──┬──┘
          ┌─────────────┘  │  │  └─────────────┐
          │                │  │                │
    ┌─────┴─────┐    ┌────┴──┴───┐    ┌───────┴──┐
    │  Node 1   │    │  Node 2   │    │  Node 3  │
    │  4×10GbE  │    │  4×10GbE  │    │  4×10GbE │
    │  ┌──────┐ │    │  ┌──────┐ │    │  ┌──────┐ │
    │  │1GbE  │ │    │  │1GbE  │ │    │  │1GbE  │ │
    │  │BMC   │ │    │  │BMC   │ │    │  │BMC   │ │
    └─────────┘    └───────────┘    └───────────┘

4.2 VLAN a traffic segmentation

VLAN Účel Porty MTU
VLAN 10 Management (Proxmox web UI, SSH) 1× 1 GbE BMC 1500
VLAN 20 VM traffic + Ceph public 2× 10 GbE (bond) 9000
VLAN 30 Ceph cluster (backend) 2× 10 GbE (bond) 9000

4.3 Switch

Parametr Hodnota
Model MikroTik CRS326-24S+2Q+RM nebo podobný L2+ switch
Porty 24× SFP+ 10 GbE
Management VLAN 10, IP 10.0.0.254/24
Features VLAN, LACP (LAG), Jumbo frames (MTU 9000), SNMP

4.4 Kabeláž

Typ Délka Počet Účel
SFP+ DAC (pasivní) 3 m 12 10 GbE propojení server ↔ switch
Cat6A UTP 3 m 3 Management (1 GbE BMC)
Cat6A UTP 1 m 1 Internet uplink (patch panel)

DAC kabely jsou levnější než SFP+ optika + patch cordy — vhodné pro single-rack.

5. Rack layout

5.1 Rozměry a pozice

U Zařízení Výkon (W)
U1 Switch 10 GbE (1U) ~60 W
U2 UPS (2U) —
U3 (volný, ventilace) —
U4 Server Node 1 (1U) ~250 W
U5 Server Node 2 (1U) ~250 W
U6 Server Node 3 (1U) ~250 W
U7–U15 Volné (příp. storage, patch panel) —
Parametr Hodnota
Rack typ 15U wall-mount, 19", 600×600 mm
Celkový IT load ~810 W
PUE odhad ~1.5 (kancelářská místnost, žádné precise cooling)
Chlazení Běžná kancelářská klimatizace (ASHRAE A2: 10–35 °C). Pro <1 kW dostačuje.

Poznámka: KB (DATACENTERS.md) uvádí pro nízkou hustotu (<5 kW/rack) free air cooling. V kanceláři postačí standardní ventilace a AC.

5.2 UPS

Parametr Hodnota
Typ VI (line-interactive) — dle DATACENTERS.md pro menší racky
Kapacita 2000 VA / 1200 W
Záložní doba ~15–20 min při 810 W loadu
Výstup 8× C13 (pro servery + switch)
Baterie VRLA (levnější) nebo Li-ion LFP
Management USB / SNMP karta (automatické vypnutí Proxmox)

Volitelně lze rozšířit na VFI (double-conversion) UPS pro čistší výstup, ale u dema postačuje VI.

5.3 PDU

1× základní 1U PDU (8× C13), 230 V / 10 A — pro distribuci do serverů.

6. Hypervisor — Proxmox VE

6.1 Instalace a konfigurace

Komponenta Verze / Konfigurace
Hypervisor Proxmox VE 8.x (Debian 12 + KVM + LXC)
Storage backend Ceph Reef / Squid (18.x) integrovaný v Proxmox
Cluster 3-node cluster, Corosync + PMXCFS
HA Proxmox HA — 1 node failure tolerance (ostatní 2 převezmou VM)
Fencing watchdog (softdog) + Proxmox HA manager

6.2 Licence

Položka Cena Poznámka
Proxmox VE $0 Open source, plná funkcionalita bez licence
Proxmox komunita support $0 Fórum, wiki
Proxmox podnikový support (volitelný) ~€500/host/rok Lze dokoupit později

HYPERVISORS.md: Proxmox VE je "open source (free)", licence není vyžadována.

6.3 HA nastavení

  • Skupina HA: všechny 3 nody, no-quorum-policy = "stop" (pro demo)
  • Max restart VM: 2 pokusy
  • Migration: live migration přes Ceph RBD (sdílený storage)

7. Odhad rozpočtu

Upozornění: KB neobsahuje konkrétní ceny komponent. Následující částky jsou orientační tržní odhady (Q2 2026, USD).

7.1 Servery (3×)

Položka Kusů Cena/kus Celkem
1U rack server (basic config, bez CPU/RAM/disk) 3 ~$1 200 $3 600
AMD EPYC 9224 (24C) / Intel Xeon 5418Y (16C) — dle KB 3 ~$900 $2 700
RAM 128 GB (4× 32 GB DDR5-4800 RDIMM) 3 ~$600 $1 800
240 GB SATA SSD (OS) 6 ~$50 $300
960 GB SATA SSD (Ceph OSD) 9 ~$150 $1 350
Dual-port 10 GbE SFP+ NIC (např. Intel X710-DA2) 6 ~$120 $720
Servery celkem ~$10 470

7.2 Síť

Položka Kusů Cena/kus Celkem
MikroTik CRS326-24S+2Q+RM (24× 10GbE SFP+) 1 ~$600 $600
SFP+ DAC kabel 3 m (pasivní) 12 ~$15 $180
Sítě celkem ~$780

7.3 Rack a napájení

Položka Kusů Cena/kus Celkem
15U wall-mount rack 19" 1 ~$300 $300
UPS 2000 VA (line-interactive, VRLA) 1 ~$450 $450
1U PDU basic (8× C13) 1 ~$60 $60
Rack + power celkem ~$810

7.4 Ostatní

Položka Cena
Cat6A patch kabely, management ~$50
Montážní materiál, velcro ~$30
Přeprava a instalace ~$200
Ostatní celkem ~$280

7.5 Celková kalkulace

Kategorie Částka
Servery (3× node) ~$10 470
Síť (switch + kabely) ~$780
Rack + napájení ~$810
Ostatní ~$280
Celkem ~$12 340
Rezerva (10–15 %) ~$1 200–1 800
Celkem s rezervou ~$13 500–$14 100

Rozpočet $10 000–$15 000 je dosažitelný. Při použití levnějších CPU (EPYC 4124P / Xeon E-2488) lze sestavit za ~$8 000–9 000, ale s omezeným výkonem pro Ceph.

Možné úspory:

  • CPU: 2× EPYC 4124P (4C) + 1× silnější node → ~$800 úspora (ale asymetrický cluster)
  • OSD: 2× místo 3× SSD/node → ~$500 úspora (menší kapacita)
  • Switch: 12-port místo 24-port → ~$300 úspora

8. Topologický diagram

flowchart TB
    subgraph Rack["15U Rack (kancelář)"]
        U1["U1: 10GbE Switch (MikroTik)"]
        U2["U2: UPS 2000 VA"]
        U4["U4: Node 1 — Proxmox + Ceph OSD"]
        U5["U5: Node 2 — Proxmox + Ceph OSD"]
        U6["U6: Node 3 — Proxmox + Ceph OSD"]
    end

    subgraph Node1["Node 1 (detail)"]
        N1_CPU["CPU: EPYC 9224 (24C)"]
        N1_RAM["RAM: 128 GB DDR5"]
        N1_OS["OS: 2× 240 GB SSD (RAID 1)"]
        N1_OSD1["OSD.0: 960 GB SSD"]
        N1_OSD2["OSD.1: 960 GB SSD"]
        N1_OSD3["OSD.2: 960 GB SSD"]
        N1_NIC["NIC: 4× 10GbE SFP+"]
        N1_BMC["BMC: 1× 1GbE"]
    end

    U1 ---|"4× 10GbE LACP<br/>(public + cluster)"| U4
    U1 ---|"4× 10GbE LACP"| U5
    U1 ---|"4× 10GbE LACP"| U6

    U4 --- N1_CPU
    U4 --- N1_RAM
    U4 --- N1_OS
    U4 --- N1_OSD1
    U4 --- N1_OSD2
    U4 --- N1_OSD3
    U4 --- N1_NIC
    U4 --- N1_BMC

    subgraph Ceph["Ceph Cluster"]
        CEPH_MON["3× MON (1 per node)"]
        CEPH_MGR["3× MGR (1 per node)"]
        CEPH_OSD["9× OSD (3 per node)"]
    end

    U4 --- CEPH_MON
    U5 --- CEPH_MON
    U6 --- CEPH_MON
    U4 --- CEPH_MGR
    U5 --- CEPH_MGR
    U6 --- CEPH_MGR
    U4 --- CEPH_OSD
    U5 --- CEPH_OSD
    U6 --- CEPH_OSD

    subgraph Proxmox["Proxmox VE Cluster"]
        PMX_HA["HA Group (3 nodes)"]
        PMX_HA --- U4
        PMX_HA --- U5
        PMX_HA --- U6
    end

    subgraph Uplink["Internet / LAN"]
        UPLINK_SW["Office LAN<br/>(1 GbE)"]
    end

    U1 ---|"1× Cat6A<br/>1 GbE"| UPLINK_SW
    U1 ---|"Internet<br/>(ISP router)"| UPLINK_SW

9. Shrnutí a klíčová rozhodnutí

Rozhodnutí Varianta Zdůvodnění
Hypervisor Proxmox VE HYPERVISORS.md: "Pro SME / nízký budget — open source, vestavěný Ceph, žádné licenční náklady". Pro demo ideální.
Storage Ceph (3× replikace) STORAGE.md + SERVER-CONFIG.md: Ceph je doporučený SDS pro Proxmox, 3 nodes minimum pro kvórum.
CPU Single-socket EPYC 9224 / Xeon 5418Y Kompromis mezi cenou (Mini varianta ~1 socket) a výkonem pro Ceph (Ceph varianta ~12+ jader).
Network 10 GbE SFP+ (místo 25 GbE) KB doporučuje 25 GbE, ale pro demo low-cost stačí 10 GbE. Koncept (oddělení public/cluster sítě) zůstává stejný.
Rack 15U wall-mount Vhodný do kanceláře, bez raised floor, bez precision cooling.
UPS 2000 VA line-interactive DATACENTERS.md: VI typ pro menší racky. Pro demo dostačuje.
Licence Proxmox VE (free) Bez licenčních nákladů, support lze dokoupit později.

Kompromisy oproti produkčnímu nasazení

  • 25 GbE → 10 GbE: nižší propustnost Ceph cluster sítě (v demo prostředí nevadí)
  • HDD → SSD: pro Ceph OSD volíme SSD místo HDD (vyšší cena, lepší výkon — v demu jde o funkčnost, ne kapacitu)
  • 2× 10 GbE public + 2× 10 GbE cluster → dohromady na LACP: lze sloučit při nedostatku portů, ale separace je lepší
  • Chlazení: office AC, nikoliv DC-grade precision cooling (PUE ~1.5–1.8)

Co KB neřeší (doplněno z praxe)

KB neobsahuje konkrétní ceny komponent — rozpočet je orientační tržní odhad. Dále neřeší konkrétní model switch poskytovatele L2+ funkcí (VLAN, LACP, Jumbo frames). Zde vycházíme z běžné praxe pro SOHO/SME segment.

10. Použité zdroje z KB

  • DATACENTERS.md — rack layout, power chain, UPS typy, cooling třídy (ASHRAE), cabling standardy
  • HYPERVISORS.md — Proxmox VE jako open source varianta, srovnání platforem, varianta Mini (2–3 hosty), Ceph connectivity
  • SERVER-CONFIG.md — Čistě Ceph varianta (3–6 hostů), HW specifikace, network design, BIOS nastavení
  • STORAGE.md — Ceph architektura (MON/MGR/OSD, CRUSH map, BlueStore, replikace), SDS přehled
  • CONNECTIVITY.md — Ethernet rychlosti (10/25 GbE), SFP+ form factor, NIC placement, management port
  • NETWORKING.md — VLAN segmentation, MTU a jumbo frames, best practices
  • SERVER-HW.md — CPU selection (EPYC vs Xeon), RAM osazování (1DPC/2DPC), NUMA, form faktory

Poslední revize: 2026-06-04

Reference in New Issue View Git Blame Copy Permalink