Cum să Configurați NVLink pe un Server Dedicat

NVLink este interconectarea proprietară de mare viteză GPU a NVIDIA care înlocuiește magistrala PCIe ca principal canal de comunicare între GPU-uri — și, în anumite arhitecturi, între GPU-uri și CPU-uri. Oferă o lățime de bandă bidirecțională de până la 600 GB/s per legătură pe hardware-ul din generația Hopper, comparativ cu un maxim teoretic de aproximativ 64 GB/s pe PCIe 5.0 x16. Pentru sarcini de lucru precum antrenarea modelelor lingvistice mari, simularea dinamicii moleculare sau inferența multi-GPU, această diferență nu este marginală — este arhitecturală.

Acest ghid oferă o prezentare completă, de nivel producție, pentru configurarea NVLink pe un server dedicat: de la instalarea fizică a hardware-ului și configurarea stivei de drivere până la verificarea topologiei, integrarea la nivelul aplicației și monitorizarea continuă a performanței.

Ce Este de Fapt NVLink — și Ce Nu Este

NVLink nu este pur și simplu un cablu mai rapid. Este o structură de interconectare coerentă, punct-la-punct, construită direct în cipul GPU. Fiecare bandă NVLink transportă date în ambele direcții simultan, folosind un protocol de semnalizare diferențială serializată. Mai multe benzi sunt grupate împreună într-o singură legătură logică, iar mai multe legături pot conecta aceeași pereche de GPU-uri pentru lățime de bandă aditivă.

Esențial, NVLink suportă accesul la memorie coerent cu cache-ul. Aceasta înseamnă că GPU A poate citi din memoria framebuffer a GPU B fără a etapiza datele prin RAM-ul gazdei sau controlerul de memorie al CPU-ului. Această proprietate este cea care permite modelul de programare „memorie unificată” în CUDA — un singur spațiu de adrese virtuale care acoperă mai multe memorii fizice GPU.

Ce nu este NVLink: nu este un înlocuitor pentru NVSwitch în sistemele la scară largă. În configurațiile cu mai mult de două GPU-uri, NVIDIA folosește NVSwitch — un cip de comutare crossbar dedicat — pentru a oferi conectivitate NVLink all-to-all. DGX A100, de exemplu, folosește șase cipuri NVSwitch pentru a oferi fiecăruia dintre cele opt GPU-uri A100 lățime de bandă NVLink completă față de fiecare alt GPU simultan. Dacă construiți o stație de lucru cu două GPU-uri sau un server cu patru GPU-uri cu un bridge suportat, lucrați cu conexiuni NVLink directe. Dacă lucrați cu opt sau mai multe GPU-uri, vă aflați aproape sigur în teritoriul NVSwitch.

Lățimea de Bandă NVLink pe Generație de GPU

Înțelegerea plafonului de lățime de bandă al hardware-ului specific este esențială înainte de benchmarking sau planificarea capacității.

PCIe 4.0 x16 oferă aproximativ 32 GB/s bidirecțional. PCIe 5.0 x16 dublează aceasta la aproximativ 64 GB/s. Chiar și un bridge NVLink consumer cu două legături pe plăcile RTX 3090 oferă aproape dublul lățimii de bandă față de PCIe 5.0 — iar GPU-urile pentru centre de date se află într-o categorie complet diferită.

Cerințe Preliminare și Compatibilitate Hardware

Înainte de a atinge un singur fișier de configurare, confirmați următoarele:

Compatibilitatea GPU. NVLink nu este disponibil pe toate GPU-urile NVIDIA. Plăcile consumer de sub RTX 2080 Ti nu îl suportă. RTX 4080 nu suportă NVLink, deși este o placă de ultimă generație — doar RTX 4090 o face în generația Ada. Verificați întotdeauna față de fișa oficială de specificații GPU a NVIDIA pentru SKU-ul exact.

Bridge NVLink. Pentru GPU-urile consumer și prosumer, este necesar un conector bridge NVLink fizic. Aceste bridge-uri sunt specifice generației — un bridge Turing nu se va potrivi pe o placă Ampere. GPU-urile pentru centre de date (A100, H100) în format SXM folosesc o placă mezzanine proprietară și nu utilizează un bridge discret.

Placa de bază și spațierea sloturilor PCIe. Bridge-ul NVLink necesită ca cele două GPU-uri să fie în sloturi PCIe x16 adiacente cu un spațiu fizic specific. Majoritatea bridge-urilor consumer acoperă două sloturi. Unele bridge-uri de ultimă generație acoperă trei sloturi. Verificați pasul sloturilor plăcii de bază față de dimensiunile bridge-ului înainte de achiziție.

Setări BIOS. Activați „Above 4G Decoding” și „Resizable BAR” (numit și Smart Access Memory pe platformele AMD) în UEFI. Unele sisteme necesită, de asemenea, dezactivarea CSM (Compatibility Support Module) pentru a permite alocarea completă a spațiului de adrese PCIe pentru mai multe GPU-uri.

Alimentarea cu energie. Două GPU-uri de ultimă generație sub sarcină completă accelerată NVLink pot consuma 600W sau mai mult combinate. Asigurați-vă că sursa de alimentare are suficientă rezervă și că conectorii de alimentare GPU sunt pe șine separate acolo unde este posibil.

Sistemul de operare. Acest ghid acoperă Linux (Ubuntu 22.04 LTS / Debian 12) ca țintă principală, care este mediul standard pentru sarcinile de lucru AI și HPC pe Servere Dedicate. Pașii specifici Windows sunt menționați acolo unde diferă semnificativ.

Pasul 1: Instalarea Fizică a GPU-ului și Bridge-ului

Opriți complet serverul și deconectați-l de la rețeaua electrică. Împământați-vă folosind o brățară ESD înainte de a manipula orice plăci PCIe.

1. Îndepărtați capacele sloturilor PCIe pentru sloturile țintă.
2. Introduceți primul GPU în slotul x16 primar (de obicei cel mai aproape de CPU).
3. Introduceți al doilea GPU în slotul x16 adiacent, asigurându-vă că spațiul fizic se potrivește cu bridge-ul NVLink.
4. Fixați ambele plăci ferm până când clemele de retenție PCIe fac clic.
5. Conectați toți conectorii de alimentare PCIe necesari de la sursa de alimentare la fiecare GPU. Nu folosiți conectori în lanț pentru plăcile cu TDP ridicat — folosiți cabluri separate de la sursa de alimentare.
6. Aliniați bridge-ul NVLink peste plăcuțele de conectori aurii de pe marginea superioară a ambelor GPU-uri. Apăsați ferm și uniform până când se fixează complet. Un bridge parțial fixat va face ca legătura să eșueze silențios sau să funcționeze la lățime redusă.
7. Dacă GPU-urile dvs. suportă bridge-uri NVLink duale (de ex., RTX 2080 Ti are doi conectori NVLink), instalați ambele bridge-uri pentru lățime de bandă maximă.
8. Închideți carcasa și reconectați alimentarea.

Pasul 2: Configurarea BIOS și UEFI

Porniți în configurarea UEFI (de obicei Del sau F2 la POST).

• Activați Above 4G Decoding.
• Activați Resizable BAR dacă este suportat.
• Setați viteza legăturii PCIe la Auto sau Gen4/Gen5 după cum este adecvat pentru hardware-ul dvs.
• Dezactivați CSM dacă sistemul dvs. de operare pornește prin UEFI.
• Salvați și ieșiți.

Pasul 3: Instalarea Driverelor NVIDIA pe Linux

NVIDIA oferă mai multe căi de instalare. Metoda prin managerul de pachete este preferată pentru mediile server deoarece se integrează cu DKMS (Dynamic Kernel Module Support), care reconstruiește automat modulul kernel după actualizările kernelului.

Mai întâi, adăugați depozitul de pachete NVIDIA și instalați driverul:

sudo apt-get update
sudo apt-get install -y software-properties-common
sudo add-apt-repository -y ppa:graphics-drivers/ppa
sudo apt-get update
sudo apt-get install -y nvidia-driver-545 nvidia-dkms-545

Înlocuiți 545 cu cea mai recentă versiune a ramului de producție disponibilă pentru GPU-ul dvs. Puteți interoga versiunile disponibile cu:

apt-cache search nvidia-driver | grep "^nvidia-driver"

După instalare, reporniți:

sudo reboot

După repornire, verificați că driverul s-a încărcat corect:

nvidia-smi

Rezultatul ar trebui să listeze ambele GPU-uri cu versiunea driverului, compatibilitatea versiunii CUDA și starea curentă de alimentare. Dacă apare doar un singur GPU, a doua placă poate să nu fie fixată corect sau poate avea o problemă de alimentare.

O capcană critică: Dacă aveți Nouveau (driverul open-source NVIDIA) încărcat, acesta va intra în conflict cu driverul proprietar. Blocați-l explicit:

echo -e "blacklist nouveaunoptions nouveau modeset=0" | sudo tee /etc/modprobe.d/blacklist-nouveau.conf
sudo update-initramfs -u
sudo reboot

Pasul 4: Instalarea CUDA Toolkit

Capacitatea completă a NVLink — în special accesul la memorie peer-to-peer și comunicațiile colective — necesită toolkit-ul CUDA. Instalați-l prin depozitul NVIDIA CUDA pentru cea mai fiabilă potrivire a versiunilor:

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get install -y cuda-toolkit-12-4

Adăugați binarele și bibliotecile CUDA în mediul shell:

echo 'export PATH=/usr/local/cuda/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

Verificați instalarea:

nvcc --version

Ar trebui să vedeți rezultate care identifică versiunea compilatorului CUDA. Rulați și exemplul CUDA deviceQuery dacă aveți exemplele instalate — acesta va enumera ambele GPU-uri și va raporta indicatorii de capacitate NVLink.

Pasul 5: Verificarea Topologiei și Stării NVLink

Acesta este cel mai important pas de diagnosticare. nvidia-smi oferă mai multe subcomandă specifice pentru inspecția NVLink.

Verificați matricea topologiei sistemului:

nvidia-smi topo -m

Rezultatul este o matrice care arată tipul de interconectare între fiecare pereche de dispozitive din sistem. Căutați etichete NV# între GPU-urile dvs., unde # este numărul de bridge-uri NVLink care le conectează. O etichetă de NV2 înseamnă că două bridge-uri NVLink sunt active. O etichetă de PIX sau PHB înseamnă că GPU-urile comunică prin PCIe — NVLink nu este activ.

Exemplu de rezultat pentru un sistem dual-GPU configurat corect:

        GPU0    GPU1    CPU Affinity    NUMA Affinity
GPU0     X      NV2     0-23            0
GPU1    NV2      X      0-23            0

Verificați starea legăturii NVLink per GPU:

nvidia-smi nvlink --status -i 0

Aceasta arată starea fiecărui port NVLink pe GPU 0. Legăturile active vor afișa starea Active și viteza negociată.

Verificați contoarele de erori NVLink:

nvidia-smi nvlink --errorcounters -i 0

Contoarele de erori de reluare sau recuperare diferite de zero indică o problemă la nivelul fizic — un bridge parțial fixat, un conector deteriorat sau probleme de integritate a semnalului din cauza alimentării inadecvate.

Monitorizați debitul NVLink în timp real:

nvidia-smi nvlink -s

Aceasta afișează contoare cumulative de debit. Pentru monitorizarea delta în timp real, combinați cu watch:

watch -n 1 nvidia-smi nvlink -s

Pasul 6: Activarea și Verificarea Accesului la Memorie Peer-to-Peer

Accesul coerent la memorie al NVLink necesită activarea peer-to-peer (P2P) la nivelul CUDA. Puteți verifica acest lucru programatic:

cat << 'EOF' > check_p2p.py
import subprocess
result = subprocess.run(['nvidia-smi', 'topo', '-p2p', 'r'], capture_output=True, text=True)
print(result.stdout)
EOF
python3 check_p2p.py

Sau folosiți un program CUDA C cu cudaDeviceCanAccessPeer(). Pentru validare rapidă, exemplele CUDA simpleP2P și p2pBandwidthLatencyTest sunt instrumentele definitive:

cd /usr/local/cuda/samples/1_Utilities/p2pBandwidthLatencyTest
make
./p2pBandwidthLatencyTest

Rezultatul va arăta lățimea de bandă bidirecțională între perechile de GPU-uri. Prin NVLink, ar trebui să vedeți valori consistente cu tabelul de lățime de bandă de mai sus. Dacă vedeți lățime de bandă la nivel PCIe (~10–30 GB/s), P2P prin NVLink nu este activ — verificați că bridge-ul este complet fixat și că nicio setare IOMMU nu blochează accesul peer.

Considerație IOMMU: Pe platformele AMD EPYC și unele Intel Xeon, IOMMU poate fi activat implicit și poate bloca accesul P2P al GPU-ului. Dacă P2P nu funcționează, adăugați iommu=pt (modul passthrough) sau amd_iommu=on iommu=pt în linia de comandă a kernelului în /etc/default/grub:

sudo nano /etc/default/grub
# Add iommu=pt to GRUB_CMDLINE_LINUX_DEFAULT
sudo update-grub
sudo reboot

Pasul 7: Configurarea Framework-urilor de Deep Learning pentru a Utiliza NVLink

Framework-urile moderne detectează NVLink automat prin NCCL (NVIDIA Collective Communications Library), dar înțelegerea modului de verificare și ajustare a acestui comportament este esențială pentru implementările în producție.

Variabile de mediu NCCL pentru optimizarea NVLink:

export NCCL_DEBUG=INFO
export NCCL_P2P_LEVEL=NVL        # Force NVLink for P2P transfers
export NCCL_SHM_DISABLE=0        # Keep shared memory enabled
export NCCL_SOCKET_IFNAME=eth0   # Specify network interface for multi-node

Setarea NCCL_DEBUG=INFO determină NCCL să afișeze detectarea topologiei la runtime. Veți vedea linii precum [0] NCCL INFO Channel 00 : 0[...] -> 1[...] via NVL care confirmă că NVLink este utilizat pentru transferurile inter-GPU.

Verificarea multi-GPU PyTorch:

import torch

print(f"CUDA available: {torch.cuda.is_available()}")
print(f"GPU count: {torch.cuda.device_count()}")

for i in range(torch.cuda.device_count()):
    for j in range(torch.cuda.device_count()):
        if i != j:
            can_access = torch.cuda.can_device_access_peer(i, j)
            print(f"GPU {i} -> GPU {j} P2P access: {can_access}")

Dacă can_device_access_peer returnează True pentru ambele direcții, DataParallel și DistributedDataParallel din PyTorch vor folosi NVLink pentru sincronizarea gradienților automat.

Verificarea multi-GPU TensorFlow:

import tensorflow as tf

gpus = tf.config.list_physical_devices('GPU')
print(f"Detected GPUs: {len(gpus)}")
for gpu in gpus:
    print(gpu)

# Enable memory growth to prevent TF from allocating all VRAM at startup
for gpu in gpus:
    tf.config.experimental.set_memory_growth(gpu, True)

TensorFlow folosește NCCL pentru operațiile colective când rulează cu MirroredStrategy, deci variabilele de mediu NCCL de mai sus se aplică în mod egal.

Pasul 8: Benchmarking-ul Performanței NVLink

Înainte de a angaja sarcini de lucru de producție, stabiliți o linie de bază a performanței. Aceasta servește și ca test de regresie după actualizările driverelor sau modificările hardware.

Testul de lățime de bandă all-reduce NCCL (cel mai reprezentativ benchmark pentru antrenarea distribuită):

git clone https://github.com/NVIDIA/nccl-tests.git
cd nccl-tests
make CUDA_HOME=/usr/local/cuda
./build/all_reduce_perf -b 8 -e 512M -f 2 -g 2

Indicatorul -g 2 specifică două GPU-uri. Uitați-vă la coloana busbw — aceasta este lățimea de bandă efectivă a magistralei. Prin NVLink pe plăcile RTX 3090, ar trebui să vedeți valori apropiindu-se de 100 GB/s. Prin PCIe, așteptați-vă la 20–30 GB/s.

Benchmark-ul cuBLAS GEMM pentru sarcini de lucru limitate de calcul:

/usr/local/cuda/extras/demo_suite/bandwidthTest --mode=shmoo

Pasul 9: Monitorizare Continuă și Alertare

Pentru mediile de producție, nvidia-smi în modul daemon sau integrarea cu Prometheus prin dcgm-exporter este abordarea recomandată.

Instalați DCGM (Data Center GPU Manager):

sudo apt-get install -y datacenter-gpu-manager
sudo systemctl enable nvidia-dcgm
sudo systemctl start nvidia-dcgm

Interogați metrici specifice NVLink prin DCGM:

dcgmi dmon -e 1011,1012,1013,1014

ID-urile de câmp 1011–1014 corespund contoarelor de lățime de bandă NVLink (TX/RX per legătură). Acestea pot fi exportate în Prometheus și vizualizate în Grafana pentru analiza tendințelor pe termen lung.

Pentru monitorizare mai ușoară, o buclă simplă nvidia-smi captează esențialul:

nvidia-smi dmon -s pucvmet -d 5

Indicatorii -s pucvmet activează raportarea puterii, utilizării, ceasului, VRAM, lățimii de bandă a memoriei, ECC și temperaturii la intervale de 5 secunde.

NVLink vs. PCIe vs. NVSwitch: Când Se Aplică Fiecare Arhitectură

Moduri Comune de Eșec și Depanare

NVLink nedetectat după instalarea fizică. Rulați nvidia-smi topo -m și verificați dacă există PIX în loc de NV#. Refixați bridge-ul. Verificați că ambele GPU-uri sunt pe același complex rădăcină PCIe — GPU-urile pe prize CPU diferite conectate prin QPI/UPI nu vor forma o pereche NVLink chiar și cu un bridge instalat.

Lățimea de bandă P2P se potrivește cu vitezele PCIe în ciuda bridge-ului NVLink. IOMMU blochează aproape sigur accesul peer. Aplicați parametrul kernel iommu=pt descris mai sus.

Erori NVLink acumulându-se în nvidia-smi nvlink --errorcounters. Problemă la nivelul fizic. Inspectați plăcuțele de conectori ale bridge-ului pentru resturi sau deteriorări. Încercați să refixați bridge-ul. Dacă erorile persistă, bridge-ul însuși poate fi defect.

NCCL nu folosește NVLink deși topologia arată NV2. Setați NCCL_P2P_LEVEL=NVL explicit. Verificați și compatibilitatea versiunii NCCL cu versiunea CUDA — nepotrivirile determină NCCL să revină la memoria partajată sau transportul prin socket.

Instalarea driverului eșuează cu erori DKMS. Antetele kernelului pentru kernelul curent pot să nu fie instalate. Remediați cu:

sudo apt-get install -y linux-headers-$(uname -r)
sudo dkms autoinstall

Alegerea Infrastructurii de Server Potrivite pentru Sarcinile de Lucru NVLink

Configurarea NVLink este eficientă doar atât cât permite platforma server de bază. Mai mulți factori de infrastructură afectează direct performanța NVLink în practică:

Topologia PCIe. Pe platformele dual-socket EPYC sau Xeon, benzile PCIe sunt distribuite între ambele CPU-uri. GPU-urile conectate la CPU-uri diferite comunică prin structura inter-socket (Infinity Fabric sau UPI), care adaugă latență și reduce lățimea de bandă efectivă pentru transferurile GPU-la-GPU care trebuie să traverseze limita socket-ului. Ori de câte ori este posibil, instalați GPU-urile pereche NVLink în sloturi PCIe atașate la același socket CPU.

Lățimea de bandă a memoriei. Chiar și cu NVLink gestionând transferurile GPU-la-GPU, subsistemul de memorie al CPU-ului rămâne blocajul pentru ingestia datelor. Platformele DDR5 de mare lățime de bandă sau cele echipate cu HBM reduc timpul petrecut pentru etapizarea datelor înainte de a ajunge la GPU.

Debitul de stocare. Punctele de control ale modelelor mari și seturile de date de antrenare necesită stocare rapidă. SSD-urile NVMe cu viteze de citire secvențială peste 7 GB/s împiedică stratul de stocare să devină blocajul în timpul încărcării datelor.

Răcirea. Două GPU-uri cu TDP ridicat sub sarcină susținută accelerată NVLink generează căldură substanțială. Asigurați un flux de aer adecvat sau capacitate de răcire lichidă. Limitarea termică va reduce vitezele de ceas ale GPU-ului și va anula avantajul de lățime de bandă pe care NVLink îl oferă.

Pentru echipele care rulează antrenare AI multi-GPU sau simulări HPC, Serverele Dedicate cu stocare NVMe și acces root oferă controlul hardware necesar pentru a implementa configurația completă descrisă în acest ghid. Pentru sarcinile de lucru accelerate GPU în mod specific, GPU Hosting oferă medii preconfigurate cu drivere NVIDIA deja instalate. Echipele care au nevoie de o bază flexibilă pentru medii CUDA personalizate pot găsi, de asemenea, VPS Hosting util pentru dezvoltare și testare înainte de scalarea la hardware dedicat.

Concluzii Cheie și Listă de Verificare pentru Decizie

Înainte de a implementa NVLink în producție, verificați fiecare element:

• Hardware confirmat: Ambele GPU-uri se află pe lista de compatibilitate NVLink a NVIDIA pentru SKU-ul specific, nu doar familia de produse.
• Generația bridge-ului potrivită: Generația bridge-ului NVLink se potrivește cu generația GPU (bridge Turing pentru GPU-uri Turing, bridge Ampere pentru GPU-uri Ampere).
• Instalarea fizică verificată: nvidia-smi topo -m arată NV1 sau NV2 între perechile de GPU-uri, nu PIX sau PHB.
• Accesul P2P confirmat: p2pBandwidthLatencyTest raportează lățime de bandă la nivel NVLink (nu la nivel PCIe).
• IOMMU abordat: Dacă rulați pe EPYC sau Xeon, iommu=pt este setat în parametrii kernelului.
• Transportul NCCL confirmat: Rezultatul NCCL_DEBUG=INFO arată via NVL pentru canalele inter-GPU.
• Contoare de erori curate: nvidia-smi nvlink --errorcounters arată zero erori de reluare și recuperare după un test de burn-in.
• Monitorizare activă: DCGM sau nvidia-smi dmon înregistrează lățimea de bandă NVLink și metricile de erori într-un depozit persistent.
• Rezervă termică confirmată: Ambele GPU-uri mențin vitezele de ceas țintă sub sarcină completă fără limitare termică.
• Versiunile driverului și CUDA fixate: Mediile de producție folosesc versiuni de driver fixate gestionate prin DKMS pentru a preveni actualizările neintenționate care ar putea strica configurația.

Întrebări Frecvente

NVLink funcționează pe toate plăcile NVIDIA RTX?

Nu. Suportul NVLink variază semnificativ chiar și în cadrul gamei RTX. RTX 4080, de exemplu, nu suportă NVLink deși este o placă Ada Lovelace de ultimă generație. Doar RTX 4090 suportă NVLink în acea generație. Verificați întotdeauna față de fișa tehnică a GPU-ului specific, nu față de familia de produse.

Poate NVLink fi utilizat între modele diferite de GPU?

În general, nu. NVLink necesită ca ambele GPU-uri să fie același model și generație. NVIDIA nu suportă oficial configurații NVLink cu modele mixte, iar stiva de drivere nu va forma o relație NVLink peer-to-peer între GPU-uri diferite chiar dacă conectorii fizici sunt compatibili.

Ce se întâmplă dacă bridge-ul NVLink este îndepărtat în timp ce sistemul funcționează?

Sistemul nu se va bloca imediat, dar orice transferuri P2P active prin NVLink vor eșua, ceea ce va determina de obicei aplicația CUDA în execuție să genereze o eroare CUDA și să se termine. GPU-urile vor reveni la PCIe pentru operațiunile ulterioare. Îndepărtarea la cald a bridge-ului nu este suportată și riscă deteriorarea fizică a plăcuțelor de conectori.

NVLink este utilizat automat de PyTorch și TensorFlow, sau necesită configurare explicită?

Ambele framework-uri folosesc NCCL pentru operațiile colective multi-GPU, iar NCCL detectează topologia NVLink automat. Cu toate acestea, ar trebui să verificați întotdeauna cu NCCL_DEBUG=INFO că NCCL selectează de fapt calea de transport NVLink. În unele configurații — în special cu IOMMU activat sau versiuni NCCL/CUDA nepotrivite — NCCL va reveni silențios la transporturi mai lente.

Cum știu dacă NVLink îmbunătățește de fapt debitul de antrenare?

Rulați sarcina de antrenare cu NCCL_P2P_DISABLE=1 (forțează PCIe) și apoi fără aceasta (permite NVLink). Comparați timpul de iterație sau eșantioanele pe secundă. Pentru sarcini de lucru intensive în comunicare, cum ar fi antrenarea transformatoarelor mari cu operații all-reduce frecvente, NVLink reduce de obicei timpul de sincronizare inter-GPU cu 40–70% față de PCIe, traducându-se direct în timpi de epocă mai rapizi.