Home Data Center Network Design: Spine-Leaf, ECMP และ Oversubscription Data Center Network Design: Spine-Leaf, ECMP และ Oversubscription
Data Center Network Design: Spine-Leaf, ECMP และ Oversubscription
Data Center Network Design ยุคใหม่ใช้ Spine-Leaf (Clos) topology แทน traditional 3-tier (core-aggregation-access) Spine-Leaf ให้ consistent latency, high bandwidth และ easy scalability ด้วย ECMP (Equal-Cost Multi-Path) routing ที่กระจาย traffic ข้ามทุก paths อย่างสม่ำเสมอ
Traditional 3-tier architecture มี ปัญหา oversubscription สูง ที่ aggregation layer และ STP blocks redundant paths ทำให้ใช้ bandwidth ไม่เต็มที่ Spine-Leaf แก้ปัญหานี้: ทุก leaf เชื่อมกับทุก spine, ใช้ L3 ECMP แทน STP ทำให้ทุก link active และ latency consistent ไม่ว่า traffic จะไปที่ไหน
3-Tier vs Spine-Leaf
Feature
3-Tier (Traditional)
Spine-Leaf (Clos)
Topology
Core → Aggregation → Access
Spine ↔ Leaf (2 tiers)
Redundancy
STP blocks redundant links
ECMP uses ALL links (no blocked paths)
Latency
Variable (depends on path)
Consistent (max 2 hops between any leaf)
East-West Traffic
Poor (hairpin through aggregation)
Optimized (1-2 hops between any servers)
Scalability
Limited by STP domain
Add spines (bandwidth) or leafs (ports)
Oversubscription
High at aggregation (8:1-20:1)
Controllable (1:1 to 3:1 typical)
Spine-Leaf Architecture
Component
Role
Quantity
Spine Switches
Transport layer — forward traffic between leafs
2-8+ (add for more bandwidth)
Leaf Switches
Access layer — connect servers, storage, firewalls
As many as needed (add for more ports)
Rule
Every leaf connects to EVERY spine
Full mesh between tiers
Routing
L3 (BGP/OSPF) with ECMP on every link
No STP needed
ECMP (Equal-Cost Multi-Path)
Feature
รายละเอียด
คืออะไร
Load balance traffic ข้ามหลาย equal-cost paths พร้อมกัน
Hash
5-tuple hash (src IP, dst IP, src port, dst port, protocol) → assign flow to path
Benefits
ใช้ทุก link (no blocked paths), linear bandwidth scaling
Typical Paths
4-8 ECMP paths (= 4-8 spines)
Protocol
BGP (eBGP preferred) หรือ OSPF สำหรับ underlay
Oversubscription Ratios
Ratio
ความหมาย
ใช้สำหรับ
1:1 (Non-blocking)
Uplink bandwidth = downlink bandwidth
HPC, storage, latency-sensitive
2:1
Downlink 2× uplink (50% burst capacity)
General compute, virtualization
3:1
Downlink 3× uplink (33% burst capacity)
Web servers, standard workloads
4:1+
High oversubscription
Dev/test, non-critical workloads
Calculating Oversubscription
Example
Calculation
Leaf: 48× 25G server ports + 6× 100G uplinks
Down: 48×25=1200G, Up: 6×100=600G → 2:1
Leaf: 48× 10G server ports + 4× 40G uplinks
Down: 48×10=480G, Up: 4×40=160G → 3:1
Leaf: 32× 100G server ports + 8× 400G uplinks
Down: 32×100=3200G, Up: 8×400=3200G → 1:1
BGP in Data Center (eBGP)
Feature
รายละเอียด
Design
Each switch = unique ASN (eBGP between every link)
ทำไม BGP
Scalable, ECMP native, well-understood, multi-vendor
ASN Scheme
Spine: 65001-65008, Leaf: 65101-65148 (private ASNs)
Multipath
maximum-paths + bestpath as-path multipath-relax
BFD
Enable BFD สำหรับ fast failure detection (50ms)
VXLAN Overlay
Feature
รายละเอียด
คืออะไร
L2 overlay บน L3 underlay (extend VLANs across leafs)
VNI
VXLAN Network Identifier (24-bit → 16M segments)
VTEP
VXLAN Tunnel Endpoint (leaf switch = VTEP)
Control Plane
EVPN (BGP EVPN) สำหรับ MAC/IP learning + BUM handling
ทำไมต้อง VXLAN
VLAN limit 4094, L2 extension across L3 fabric, multi-tenancy
Design Best Practices
Practice
รายละเอียด
Start with requirements
กำหนด oversubscription, port density, latency requirements ก่อน design
Use eBGP
eBGP underlay + EVPN overlay เป็น industry standard
Uniform spine count
ทุก leaf เชื่อมจำนวน spine เท่ากัน
BFD everywhere
Enable BFD สำหรับ sub-second failure detection
MTU 9216
Jumbo frames สำหรับ VXLAN overhead (50 bytes)
Automation
ใช้ Ansible/Terraform สำหรับ config management
Monitoring
sFlow/IPFIX + streaming telemetry สำหรับ visibility
ทิ้งท้าย: Spine-Leaf = Modern DC Fabric
Spine-Leaf = every leaf connects to every spine (full mesh) ECMP = use ALL links, no STP blocking, consistent latency Oversubscription: 1:1 (non-blocking) to 3:1 (typical) eBGP underlay + EVPN/VXLAN overlay = industry standard Add spines = more bandwidth, add leafs = more ports
อ่านเพิ่มเติมเกี่ยวกับ EVPN-VXLAN และ Network Segmentation ที่ siamlancard.com หรือจาก icafeforex.com และ siam2r.com
