Як налаштувати NVLink на виділеному сервері

Налаштування NVLink на виділеному сервері AlexHost

Чому варто використовувати NVLink на AlexHost? NVLink забезпечує надшвидкий зв’язок між графічними процесорами і процесорами, що ідеально підходить для завдань штучного інтелекту, глибокого навчання і високопродуктивних обчислень (HPC). Виділені сервери AlexHost зі сховищем NVMe, root-доступом і захистом від DDoS забезпечують ідеальне середовище для налаштування мульти-GPU з підтримкою NVLink. У цьому посібнику описано, як налаштувати NVLink для оптимальної продуктивності на AlexHost.

Що таке NVLink?

NVLink – це запатентована технологія NVIDIA, яка забезпечує передачу даних між графічними процесорами або між графічними та центральними процесорами з високою пропускною здатністю. Вона забезпечує швидший зв’язок, ніж стандартні з’єднання PCI Express (PCIe), завдяки використанню декількох каналів передачі даних. Цей прямий зв’язок мінімізує необхідність проходження даних через центральний процесор, що може зменшити вузькі місця і підвищити загальну продуктивність системи. Ключові переваги NVLink

• Швидший зв’язок: NVLink забезпечує до 25 ГБ/с двонаправленої пропускної здатності на лінію, що значно швидше, ніж PCIe 3.0.
• Масштабованість: NVLink забезпечує масштабування між декількома графічними процесорами для складних обчислень, таких як навчання моделей ШІ або наукові симуляції.
• Уніфікований доступ до пам’яті: NVLink полегшує спільний доступ до пам’яті між графічними процесорами, дозволяючи їм використовувати пам’ять один одного і спільно працювати з великими наборами даних.

Передумови для налаштування NVLink

Перед налаштуванням NVLink переконайтеся, що у вас є наступне

1. Підтримувані графічні процесори: NVLink доступний лише на певних графічних процесорах NVIDIA, таких як NVIDIA Tesla, Quadro та GeForce RTX (2080, 2080 Ti, 3080, 3090 тощо). Переконайтеся, що ваш графічний процесор підтримує NVLink, звернувшись до документації NVIDIA для конкретної моделі, яку ви використовуєте.
2. Міст NVLink: Для фізичного з’єднання графічних процесорів потрібен міст NVLink. Кількість необхідних мостів залежить від кількості графічних процесорів і бажаної конфігурації. Деякі графічні процесори можуть використовувати декілька мостів NVLink для більшої пропускної здатності.
3. Система з підтримкою NVLink: Переконайтеся, що материнська плата та BIOS вашої системи підтримують NVLink. Система повинна мати достатню кількість слотів PCIe і відповідну відстань між ними, щоб фізично розмістити графічні процесори та міст NVLink.
4. Драйвери NVIDIA та CUDA: Для повного використання NVLink вам потрібно встановити найновіші драйвери NVIDIA та інструментарій CUDA. Вони необхідні для забезпечення зв’язку між графічними процесорами.

Покрокове керівництво з налаштування NVLink

Крок 1: Встановлення графічних процесорів

Перед налаштуванням NVLink встановіть підтримувані графічні процесори NVIDIA у слоти PCIe вашої системи. Переконайтеся, що графічні процесори надійно закріплені у відповідних слотах. Якщо ваша материнська плата підтримує декілька графічних процесорів, зверніть увагу на відстань між слотами, оскільки вони повинні вмістити міст NVLink

1. Вимкніть комп’ютер і витягніть вилку з розетки.
2. Відкрийте корпус системи.
3. Вставте графічні процесори в слоти PCIe і закріпіть їх на місці.
4. Підключіть необхідні кабелі живлення від блоку живлення (БЖ) до графічних процесорів.
5. Закрийте системний корпус і знову увімкніть систему.

Крок 2: Встановлення моста NVLink

Після встановлення графічних процесорів ви можете з’єднати їх за допомогою моста NVLink. Виконайте наступні кроки

1. Знайдіть роз’єми NVLink у верхній частині графічних процесорів. Ці роз’єми призначені спеціально для моста NVLink.
2. Вирівняйте міст NVLink з роз’ємами і обережно вставте його на місце. Переконайтеся, що міст надійно закріплений на обох графічних процесорах.
3. Якщо у вашій конфігурації використовується декілька мостів NVLink (для деяких графічних процесорів з двома роз’ємами), повторіть цей процес для кожного моста.

Крок 3: Встановлення драйверів NVIDIA

Щоб увімкнути NVLink, у вашій системі мають бути встановлені найновіші драйвери NVIDIA. Щоб встановити драйвери, виконайте наступні кроки

1. Завантажте найновіші драйвери NVIDIA: Відвідайте сторінку завантаження драйверів NVIDIA, виберіть модель вашого графічного процесора та завантажте відповідні драйвери для вашої операційної системи.
2. Встановіть драйвери: Для Linux
   sudo apt-get update
sudo apt-get install nvidia-driver-<version>


   У Windows запустіть завантажений інсталятор драйверів і дотримуйтесь інструкцій на екрані.

3. Перезавантажте систему: Після встановлення драйверів перезавантажте систему, щоб переконатися, що зміни набули чинності.

Крок 4: Встановлення інструментарію CUDA

NVLink часто використовується в поєднанні з CUDA, особливо в задачах глибокого навчання і HPC. Щоб повною мірою використовувати NVLink, у вашій системі має бути встановлений CUDA Toolkit

1. Завантажити CUDA Toolkit: Відвідайте сторінку завантаження CUDA Toolkit і завантажте відповідну версію для вашої операційної системи.
2. Встановіть CUDA: Для Linux
   sudo apt-get install cuda


   У Windows запустіть інсталятор CUDA і дотримуйтесь вказівок.

3. Перевірте встановлення CUDA: Після встановлення перевірте правильність встановлення CUDA, виконавши наступну команду
   nvcc --version


   Вона має повернути версію CUDA, встановлену у вашій системі.

Крок 5: Увімкніть NVLink

Тепер, коли ваші графічні процесори встановлено, драйвери та CUDA налаштовано, ви можете увімкнути NVLink

1. Перевірте конфігурацію графічного процесора: Переконайтеся, що графічні процесори встановлені і розпізнаються системою за допомогою наступної команди (Linux)
   nvidia-smi


   У результаті буде перелічено всі графічні процесори, встановлені у вашій системі, та показано їхній відповідний статус PCIe та NVLink.

2. Увімкнення NVLink за допомогою nvidia-smi: Інструмент nvidia-smi використовується для увімкнення та моніторингу NVLink. Щоб перевірити, чи увімкнено NVLink, запустіть
   nvidia-smi topo -m


   Якщо NVLink налаштовано належним чином, у виводі буде показано зв’язки між графічними процесорами із зазначенням того, які з них підключено через NVLink. Шукайте мітку “NVLink” між парами графічних процесорів.

3. Проведітьтестування NVLink: Ви можете запускати тести або бенчмарки для вимірювання продуктивності NVLink. Такі інструменти, як cuBLAS або NCCL (NVIDIA Collective Communications Library) можна використовувати для порівняльного аналізу швидкості передачі даних між графічними процесорами через NVLink.

Крок 6: Налаштування додатків для використання NVLink

Щоб ваші програми могли скористатися перевагами NVLink, вам потрібно налаштувати їх на використання високошвидкісного з’єднання між графічними процесорами. Багато фреймворків для глибокого навчання, такі як TensorFlow, PyTorch і MXNet, автоматично визначають NVLink і використовують його для роботи з декількома графічними процесорами. Наприклад, у TensorFlow ви можете перевірити доступні графічні процесори та їх підключення за допомогою NVLink

Такі фреймворки, як NCCL (NVIDIA Collective Communications Library), оптимізовані для NVLink і використовуються для передачі даних в середовищах з декількома графічними процесорами

Крок 7: Моніторинг стану NVLink

Після налаштування NVLink важливо відстежувати його стан, щоб переконатися, що він працює належним чином. Інструмент nvidia-smi забезпечує комплексний моніторинг трафіку NVLink, використання пропускної здатності та продуктивності графічного процесора. Ви можете використовувати

Ця команда показує детальну статистику про з’єднання NVLink, включаючи пропускну здатність і будь-які помилки, що виникають під час передачі даних

Висновок: Підвищення продуктивності графічного процесора за допомогою NVLink на AlexHost

NVLink розганяє багатопроцесорні системи для ШІ і HPC, а виділені сервери AlexHost забезпечують потужність і безпеку, щоб максимізувати її. Встановлюйте графічні процесори, підключайте мости NVLink, налаштовуйте драйвери/CUDA та здійснюйте моніторинг за допомогою nvidia-smi. Завдяки швидкості та підтримці NVMe від AlexHost ваші робочі навантаження з глибокого навчання або моделювання працюватимуть з максимальною продуктивністю – почніть вже сьогодні!