Cara Mengonfigurasi NVLink pada VPS

NVIDIA NVLink adalah teknologi interkoneksi berkecepatan tinggi yang dirancang untuk memungkinkan komunikasi cepat antara GPU dan CPU dalam sebuah sistem, sehingga memungkinkan kecepatan transfer data yang jauh lebih tinggi daripada koneksi PCIe tradisional. Teknologi ini sangat bermanfaat dalam komputasi berkinerja tinggi (HPC), penelitian AI, dan tugas-tugas pembelajaran mendalam, di mana volume data yang besar perlu diproses dengan cepat di antara GPU. Mengonfigurasi NVLink dapat meningkatkan performa secara signifikan untuk beban kerja yang memerlukan pengaturan multi-GPU. Panduan ini akan memandu Anda melalui langkah-langkah untuk mengonfigurasi NVLink pada mesin Anda.

Apa itu NVLink?

NVLink adalah teknologi interkoneksi milik NVIDIA yang memungkinkan transfer data antar GPU atau antara GPU dan CPU dengan bandwidth tinggi. Teknologi ini memungkinkan komunikasi yang lebih cepat daripada koneksi PCI Express (PCIe) standar dengan menggunakan beberapa jalur data. Komunikasi langsung ini meminimalkan kebutuhan data untuk melewati CPU, yang dapat mengurangi kemacetan dan meningkatkan kinerja sistem secara keseluruhan.

Keuntungan utama dari NVLink:

• Komunikasi Lebih Cepat: NVLink menyediakan bandwidth dua arah hingga 25 GB/s per tautan, jauh lebih cepat daripada PCIe 3.0.
• Skalabilitas: NVLink memungkinkan penskalaan di beberapa GPU untuk komputasi yang kompleks seperti pelatihan model AI atau simulasi ilmiah.
• Akses Memori Terpadu: NVLink memfasilitasi akses memori bersama di antara GPU, sehingga mereka dapat menggunakan memori satu sama lain dan bekerja pada kumpulan data yang besar secara bersamaan.

Prasyarat untuk Konfigurasi NVLink

Sebelum menyiapkan NVLink, pastikan Anda memiliki yang berikut ini:

1. GPU yang didukung: NVLink hanya tersedia pada GPU NVIDIA tertentu, seperti NVIDIA Tesla, Quadro, dan GeForce RTX (2080, 2080 Ti, 3080, 3090, dsb.). Pastikan bahwa GPU Anda mendukung NVLink dengan memeriksa dokumentasi NVIDIA untuk model spesifik yang Anda gunakan.
2. Jembatan NVLink: Jembatan NVLink diperlukan untuk menghubungkan GPU secara fisik. Jumlah jembatan yang Anda perlukan akan bergantung pada jumlah GPU dan konfigurasi yang Anda inginkan. Beberapa GPU dapat menggunakan beberapa NVLink untuk bandwidth yang lebih tinggi.
3. Sistem yang Mendukung NVLink: Pastikan motherboard dan BIOS sistem Anda mendukung NVLink. Sistem harus memiliki slot PCIe yang cukup dan jarak yang sesuai agar sesuai dengan GPU dan jembatan NVLink secara fisik.
4. Driver NVIDIA dan CUDA: Anda perlu menginstal driver NVIDIA terbaru dan toolkit CUDA untuk memanfaatkan NVLink sepenuhnya. Hal ini sangat penting untuk memungkinkan komunikasi antara GPU.

Panduan Langkah-demi-Langkah untuk Mengonfigurasi NVLink

Langkah 1: Pasang GPU

Sebelum mengonfigurasi NVLink, pasang GPU NVIDIA yang didukung ke dalam slot PCIe pada sistem Anda. Pastikan GPU terpasang dengan aman di slotnya masing-masing. Jika motherboard Anda mendukung beberapa GPU, perhatikan jarak slot, karena harus mengakomodasi jembatan NVLink.

1. Matikan mesin dan cabut konektornya.
2. Buka casing sistem.
3. Masukkan GPU ke dalam slot PCIe dan kencangkan pada tempatnya.
4. Sambungkan kabel daya yang diperlukan dari unit catu daya (PSU) ke GPU.
5. Tutup casing sistem dan hidupkan kembali sistem.

Langkah 2: Pasang NVLink Bridge

Setelah GPU terpasang, Anda dapat menghubungkannya menggunakan jembatan NVLink. Ikuti langkah-langkah berikut ini:

1. Kenali konektor NVLink di bagian atas GPU. Konektor ini dirancang khusus untuk jembatan NVLink.
2. Sejajarkan jembatan NVLink dengan konektor dan tekan dengan hati-hati ke tempatnya. Pastikan jembatan terpasang dengan kuat pada kedua GPU.
3. Jika konfigurasi Anda menggunakan beberapa jembatan NVLink (untuk beberapa GPU dengan dua konektor), ulangi proses ini untuk setiap jembatan.

Langkah 3: Instal Driver NVIDIA

Untuk mengaktifkan NVLink, Anda memerlukan driver NVIDIA terbaru yang terinstal pada sistem Anda. Ikuti langkah-langkah berikut untuk menginstal driver:

1. Unduh Driver NVIDIA Terbaru: Kunjungi halaman Unduhan Driver NVIDIA, pilih model GPU Anda, dan unduh driver yang sesuai untuk sistem operasi Anda.
2. Instal Driver: Untuk Linux:
   sudo apt-get update
sudo apt-get install nvidia-driver-<version


   Untuk Windows, jalankan penginstal driver yang telah diunduh dan ikuti petunjuk di layar.

3. Nyalakan ulang Sistem: Setelah menginstal driver, mulai ulang sistem Anda untuk memastikan bahwa perubahan telah diterapkan.

Langkah 4: Menginstal CUDA Toolkit

NVLink sering digunakan dalam kombinasi dengan CUDA, terutama dalam pembelajaran mendalam dan tugas HPC. Untuk memanfaatkan NVLink sepenuhnya, Anda memerlukan CUDA Toolkit yang terinstal di sistem Anda.

1. Unduh CUDA Toolkit: Kunjungi halaman pengunduhan CUDA Toolkit dan unduh versi yang sesuai untuk sistem operasi Anda.
2. Instal CUDA: Untuk Linux:
   sudo apt-get install cuda


   Untuk Windows, jalankan penginstal CUDA dan ikuti petunjuknya.

3. Verifikasi Instalasi CUDA: Setelah penginstalan, verifikasi bahwa CUDA telah terinstal dengan benar dengan menjalankan perintah berikut:
   nvcc --version


   Perintah ini akan menampilkan versi CUDA yang terinstal pada sistem Anda.

Langkah 5: Aktifkan NVLink

Setelah GPU Anda terinstal, dan driver serta CUDA telah diatur, Anda dapat mengaktifkan NVLink.

1. Periksa Konfigurasi GPU: Verifikasi bahwa GPU telah terinstal dan dikenali oleh sistem menggunakan perintah berikut (Linux):
   nvidia-smi


   Perintah ini akan mencantumkan semua GPU yang terinstal di sistem Anda dan menampilkan status PCIe dan NVLink masing-masing.

2. Mengaktifkan NVLink dengan nvidia-smi: Alat nvidia-smi digunakan untuk mengaktifkan dan memantau NVLink. Untuk memeriksa apakah NVLink telah diaktifkan, jalankan:
   nvidia-smi topo -m


   Jika NVLink dikonfigurasi dengan benar, output akan menampilkan hubungan antara GPU, yang mengindikasikan GPU mana yang terhubung melalui NVLink. Cari label “NVLink” di antara pasangan GPU.

3. Benchmark NVLink: Anda dapat menjalankan pengujian atau benchmark untuk mengukur performa NVLink. Alat seperti cuBLAS atau NCCL (NVIDIA Collective Communications Library) dapat digunakan untuk membandingkan kecepatan transfer data antar GPU melalui NVLink.

Langkah 6: Konfigurasikan Aplikasi untuk Menggunakan NVLink

Agar aplikasi Anda dapat memanfaatkan NVLink, Anda perlu mengonfigurasinya untuk memanfaatkan interkoneksi bandwidth tinggi antar GPU. Banyak kerangka kerja deep learning seperti TensorFlow, PyTorch, dan MXNet secara otomatis mendeteksi NVLink dan menggunakannya untuk operasi multi-GPU.

Misalnya, di TensorFlow, Anda dapat memeriksa GPU yang tersedia dan konektivitas NVLink yang digunakan:

Kerangka kerja seperti NCCL (NVIDIA Collective Communications Library) dioptimalkan untuk NVLink dan digunakan untuk transfer data di lingkungan multi-GPU.

Langkah 7: Memantau Status NVLink

Setelah NVLink diatur, penting untuk memantau statusnya untuk memastikannya berfungsi dengan benar. Alat nvidia-smi menyediakan pemantauan menyeluruh atas lalu lintas NVLink, pemanfaatan bandwidth, dan performa GPU. Anda dapat menggunakan:

Perintah ini menunjukkan statistik terperinci tentang koneksi NVLink, termasuk throughput dan kesalahan apa pun yang ditemui selama transfer data.

Kesimpulan

Mengonfigurasi NVLink pada mesin dapat secara signifikan meningkatkan performa pengaturan multi-GPU, terutama untuk beban kerja yang melibatkan transfer data berkecepatan tinggi di antara GPU, seperti pembelajaran mendalam, pelatihan AI, dan tugas HPC. Dengan mengikuti langkah-langkah yang diuraikan dalam panduan ini, Anda dapat menginstal dan mengonfigurasi NVLink untuk performa optimal di sistem Anda. Pastikan untuk memasang GPU Anda dengan benar, hubungkan dengan jembatan NVLink yang sesuai, dan instal driver terbaru dan toolkit CUDA untuk dukungan penuh NVLink. Terakhir, pantau performa dan status NVLink untuk memastikannya berfungsi sebagaimana mestinya, sehingga Anda dapat memanfaatkan kemampuan interkoneksi berkecepatan tinggi secara maksimal.