First batch
This commit is contained in:
Stanislav Hubacek
@@ -73,7 +73,7 @@
|
||||
| **Gen 5** | 16 Gbps | 16GFC | SFP+ | 10 km | Legacy SAN |
|
||||
| **Gen 6** | 32 Gbps | 32GFC | SFP28 | 10 km | Současný standard |
|
||||
| **Gen 7** | 64 Gbps | 64GFC | SFP56 | 10 km | Emerging, high-performance |
|
||||
| **Gen 8** | 128 Gbps | 128GFC | QSFP28 | 10 km | Budoucnost (2026+) |
|
||||
| **Gen 8** | 128 Gbps | 128GFC | QSFP28 | 10 km | Emerging (první produkční nasazení) |
|
||||
|
||||
**HBA (Host Bus Adapter)**:
|
||||
|
||||
@@ -199,6 +199,72 @@ mpathconf --enable --with_multipathd y
|
||||
└─────────────────────────────────┘
|
||||
```
|
||||
|
||||
### NVIDIA Mellanox ConnectX NICs
|
||||
|
||||
NVIDIA Mellanox je přední výrobce NIC adaptérů pro AI/HPC a cloud datová centra.
|
||||
|
||||
| Model | PCIe | Max rychlost | Form factor | Klíčové features |
|
||||
|-------|------|-------------|-------------|------------------|
|
||||
| **ConnectX-5** | PCIe 3.0 x16 | 100 GbE (dual) | HHHL | RoCE, NVMe-oF target offload, MPI offload |
|
||||
| **ConnectX-6 Dx** | PCIe 4.0 x16 | 200 GbE (1-port) / 100 GbE (2-port) | HHHL, OCP 3.0 | ASAP² vSwitch offload, IPsec/TLS inline crypto, AES-XTS, 215 Mpps DPDK |
|
||||
| **ConnectX-6 Lx** | PCIe 4.0 x8 | 25 GbE (dual) | HHHL, OCP 3.0 | RoCE, Secure Boot, low-power |
|
||||
| **ConnectX-7** | PCIe 5.0 x16 | 400 GbE (1-port) / 200 GbE (2-port) | HHHL | NDR InfiniBand + 400GbE, GPUDirect, SHARP |
|
||||
| **ConnectX-8** | PCIe 6.0 x16 | 800 GbE (1-port) / 400 GbE (2-port) | HHHL | XDR InfiniBand, sub-500ns latence, in-network computing, multi-host |
|
||||
|
||||
**Platformy**: Spectrum-X Ethernet (end-to-end AI networking), Quantum InfiniBand, BlueField DPU.
|
||||
|
||||
### Broadcom Emulex FC HBA
|
||||
|
||||
| Model | Rychlost | PCIe | Porty | Features |
|
||||
|-------|----------|------|-------|----------|
|
||||
| **LPe35000** (Gen 7) | 32 GFC | PCIe 3.0 x8 | 1-2 | NVMe-FC, T10-PI (DIF), SR-IOV, Silicon Root of Trust |
|
||||
| **LPe35002** (Gen 7) | 32 GFC | PCIe 3.0 x8 | 2 | NVMe-FC, Secure Boot, digitálně podepsaný firmware |
|
||||
| **LPe36000** (Gen 7) | 64 GFC | PCIe 4.0 x16 | 1-2 | První 64GFC HBA na trhu, 10M IOPS, 3× lepší latence než Gen 6 |
|
||||
|
||||
**Klíčové vlastnosti**: podpora NVMe over FC, T10 DIF (Data Integrity Field), 10M MTBF, NIST SP 800-193 compliant. Gen 7 přináší až 10M IOPS a 3× nižší latenci oproti Gen 6.
|
||||
|
||||
### NVMe-oF specifikace
|
||||
|
||||
NVMe over Fabrics (NVMe-oF) rozšiřuje NVMe protokol z lokálního PCIe na síťové transporty. První specifikace 1.0 vydána v červnu 2016, aktuálně součástí NVMe 2.3 (srpen 2025). Podporované transporty:
|
||||
|
||||
| Transport | Specifikace | Use case |
|
||||
|-----------|------------|----------|
|
||||
| **NVMe over PCIe** | NVMe Base | Lokální NVMe SSD |
|
||||
| **NVMe over RDMA** (RoCE, InfiniBand, iWARP) | NVMe Transport | AI/ML, HPC, nejnižší latence <5 µs |
|
||||
| **NVMe over TCP** | NVMe Transport | Standardní Ethernet, bez RDMA, latence ~50 µs |
|
||||
| **NVMe over FC** (FC-NVMe) | INCITS T11 | Enterprise SAN, FC fabric |
|
||||
|
||||
NVMe 2.3 přidává Computational Programs Command Set, Storage Level Management (SLM), a Zoned Namespaces (ZNS). NVMe-MI definuje management rozhraní.
|
||||
|
||||
### Dell PowerEdge R760 — NIC placement
|
||||
|
||||
Server Dell R760 podporuje:
|
||||
- **OCP 3.0** adaptéry (až 2×) — 1/10/25/100 GbE
|
||||
- **PCIe Gen5** sloty — 8× slotů (6× FHHL + 2× LP)
|
||||
- **LOM** — 2× 1 GbE Broadcom 5720 na základní desce
|
||||
- Maximální rychlost NIC: 100 GbE (QSFP56)
|
||||
- Supported typy: RJ45, SFP+, SFP28, QSFP28, QSFP56
|
||||
|
||||
Doporučené konfigurace:
|
||||
- Standard: OCP 3.0 2× 25 GbE + PCIe storage HBA
|
||||
- AI/ML: PCIe 100 GbE (riser config 1, slot 1-2) + GPU v ostatních slotech
|
||||
|
||||
### HPE Gen11 NIC options
|
||||
|
||||
HPE ProLiant Gen11 (DL360/DL380) podporuje:
|
||||
- **OCP 3.0** sloty (až 2) — 10/25/100/200 GbE (Broadcom, Intel, NVIDIA Mellanox)
|
||||
- **PCIe Gen5** adaptéry — 8× slotů (DL380) / 3× sloty (DL360)
|
||||
- **iLO 6** dedikovaný management port (1 GbE)
|
||||
- Podporované NIC: Broadcom BCM57412 (10GbE), BCM57504 (25GbE), NVIDIA ConnectX-6 Dx (100GbE)
|
||||
|
||||
## Zdroje
|
||||
|
||||
Odkazy, knihy a standardy: [sources/infrastructure/sources.md](sources/infrastructure/sources.md)
|
||||
|
||||
### Doporučená literatura
|
||||
|
||||
| Kniha | Autoři | ISBN | Popis |
|
||||
|-------|--------|------|-------|
|
||||
| AI Data Center Network Design and Technologies (1st ed., 2026) | Subramaniam, Styszynski, Tambakuwala | 978-0-13-543628-8 | První vendor-agnostický průvodce návrhem sítí pro AI trénování a inferenci. Pokrývá high-radix fabric, lossless Ethernet/IP, UEC technologie, chlazení a power pro AI klastry. Autoři z HPE Juniper Networking. |
|
||||
|
||||
*Poslední revize: 2026-06-03*
|
||||
|
||||
Reference in New Issue
Block a user