15%

Poupe 15% em todos os serviços

Teste as suas habilidades e obtenha Desconto em qualquer plano

Utilizar o código:

Skills
Começar a trabalhar
06.01.2025
Category iconServidores Dedicados

Como configurar o NVLink num servidor dedicado

Porquê usar o NVLink na AlexHost? O NVLink permite uma comunicação ultra-rápida entre GPU e GPU e entre GPU e CPU, ideal para tarefas de IA, aprendizagem profunda e HPC. Os Servidores Dedicados da AlexHost com armazenamento NVMe, acesso root e proteção DDoS fornecem o ambiente perfeito para configurações multi-GPU habilitadas para NVLink. Este guia abrange a configuração do NVLink para um desempenho ideal na AlexHost.

O NVLink é uma tecnologia de interconexão proprietária da NVIDIA que permite a transferência de dados entre GPUs ou entre GPUs e CPUs em altas larguras de banda. Ela permite uma comunicação mais rápida do que as conexões PCI Express (PCIe) padrão, usando várias faixas de dados. Essa comunicação direta minimiza a necessidade de os dados passarem pela CPU, o que pode reduzir os gargalos e melhorar o desempenho geral do sistema. Principais vantagens do NVLink

  • Comunicação mais rápida: O NVLink fornece até 25 GB/s de largura de banda bidirecional por link, significativamente mais rápido que o PCIe 3.0.
  • Escalabilidade: O NVLink permite o escalonamento entre várias GPUs para cálculos complexos, como treinamento de modelos de IA ou simulações científicas.
  • Acesso unificado à memória: O NVLink facilita o acesso à memória partilhada entre GPUs, permitindo-lhes utilizar a memória umas das outras e trabalhar em grandes conjuntos de dados em conjunto.

Antes de configurar o NVLink, certifique-se de ter o seguinte

  1. GPUs suportadas: O NVLink está disponível apenas em determinadas GPUs NVIDIA, como a NVIDIA Tesla, Quadro e GeForce RTX (2080, 2080 Ti, 3080, 3090, etc.). Verifique se suas GPUs suportam NVLink verificando a documentação da NVIDIA para o modelo específico que você está usando.
  2. Ponte NVLink: É necessária uma ponte NVLink para conectar fisicamente as GPUs. O número de pontes necessárias dependerá do número de GPUs e da configuração desejada. Algumas GPUs podem usar vários NVLinks para maior largura de banda.
  3. Sistema habilitado para NVLink: Certifique-se de que a placa-mãe e o BIOS do seu sistema suportam o NVLink. O sistema deve ter slots PCIe suficientes e espaçamento adequado para acomodar fisicamente as GPUs e a ponte NVLink.
  4. Drivers NVIDIA e CUDA: Será necessário instalar os drivers NVIDIA e o kit de ferramentas CUDA mais recentes para utilizar plenamente o NVLink. Eles são essenciais para permitir a comunicação entre as GPUs.

Etapa 1: Instalar as GPUs

Antes de configurar o NVLink, instale suas GPUs NVIDIA compatíveis nos slots PCIe do seu sistema. Certifique-se de que as GPUs estejam firmemente encaixadas em seus respectivos slots. Se a sua placa-mãe suportar várias GPUs, preste atenção ao espaçamento entre os slots, pois ele deve acomodar a ponte NVLink

  1. Desligue a máquina e retire a ficha da tomada.
  2. Abra a caixa do sistema.
  3. Insira as GPUs nos slots PCIe e fixe-as no lugar.
  4. Conecte todos os cabos de alimentação necessários da unidade de fonte de alimentação (PSU) às GPUs.
  5. Feche a caixa do sistema e volte a ligar o sistema.

Assim que as GPUs estiverem instaladas, é possível conectá-las usando a ponte NVLink. Siga estas etapas

  1. Identifique os conectores NVLink na parte superior das GPUs. Esses conectores são projetados especificamente para a ponte NVLink.
  2. Alinhe a ponte NVLink com os conectores e pressione-a cuidadosamente no lugar. Certifique-se de que a ponte esteja assentada firmemente em ambas as GPUs.
  3. Se sua configuração usar várias pontes NVLink (para algumas GPUs com dois conectores), repita esse processo para cada ponte.

Etapa 3: Instalar os drivers NVIDIA

Para ativar o NVLink, é necessário ter os drivers NVIDIA mais recentes instalados no sistema. Siga estas etapas para instalar os drivers

  1. Baixe os drivers NVIDIA mais recentes: Visite a página de downloads de drivers NVIDIA, selecione o modelo da sua GPU e baixe os drivers apropriados para o seu sistema operacional.
  2. Instale os drivers: Para Linux
    sudo apt-get update
    sudo apt-get install nvidia-driver-<version>
    #

    Para Windows, execute o instalador do controlador transferido e siga as instruções no ecrã.

  3. Reinicie o sistema: Depois de instalar os controladores, reinicie o sistema para garantir que as alterações têm efeito.

Etapa 4: Instalar o kit de ferramentas CUDA

O NVLink é frequentemente usado em combinação com CUDA, especialmente em tarefas de aprendizagem profunda e HPC. Para aproveitar totalmente o NVLink, você precisa do kit de ferramentas CUDA instalado no seu sistema

  1. Baixe o kit de ferramentas CUDA: Visite a página de download do CUDA Toolkit e baixe a versão apropriada para seu sistema operacional.
  2. Instale o CUDA: Para Linux
    sudo apt-get install cuda
    #

    Para Windows, execute o instalador do CUDA e siga as instruções.

  3. Verificar a instalação do CUDA: Após a instalação, verifique se o CUDA está instalado corretamente executando o seguinte comando
    nvcc --version
    #

    Isso deve retornar a versão do CUDA instalada no seu sistema.

Agora que suas GPUs estão instaladas, e os drivers e CUDA estão configurados, você pode habilitar o NVLink

  1. Verifique a configuração da GPU: Verifique se as GPUs estão instaladas e são reconhecidas pelo sistema usando o seguinte comando (Linux)
    nvidia-smi
    #

    Isto deve listar todas as GPUs instaladas no seu sistema e mostrar os respectivos estados PCIe e NVLink.

  2. Habilitar o NVLink com o nvidia-smi: A ferramenta nvidia-smi é usada para habilitar e monitorar o NVLink. Para verificar se o NVLink está ativado, execute
    nvidia-smi topo -m

    Se o NVLink estiver configurado corretamente, a saída exibirá links entre as GPUs, indicando quais GPUs estão conectadas via NVLink. Procure o rótulo “NVLink” entre os pares de GPUs.

  3. Benchmark do NVLink: É possível executar testes ou benchmarks para medir o desempenho do NVLink. Ferramentas como cuBLAS ou NCCL (NVIDIA Collective Communications Library) podem ser usadas para avaliar as taxas de transferência de dados entre GPUs através do NVLink.

Para que seus aplicativos aproveitem o NVLink, você precisa configurá-los para utilizar a interconexão de alta largura de banda entre as GPUs. Muitas estruturas de aprendizado profundo, como TensorFlow, PyTorch e MXNet, detectam automaticamente o NVLink e o usam para operações multi-GPU. Por exemplo, no TensorFlow, você pode verificar as GPUs disponíveis e sua conetividade NVLink usando

import tensorflow as tf
print(tf.config.list_physical_devices('GPU'))
#

Frameworks como NCCL (NVIDIA Collective Communications Library) são otimizados para NVLink e são usados para transferências de dados em ambientes multi-GPU

Uma vez que o NVLink esteja configurado, é essencial monitorar seu status para garantir que esteja funcionando corretamente. A ferramenta nvidia-smi fornece monitoramento abrangente do tráfego do NVLink, da utilização da largura de banda e do desempenho da GPU. Você pode usar

nvidia-smi nvlink -s
#

Este comando mostra estatísticas detalhadas sobre a conexão NVLink, incluindo a taxa de transferência e quaisquer erros encontrados durante as transferências de dados

O NVLink sobrecarrega as configurações multi-GPU para IA e HPC, e os Servidores Dedicados da AlexHost fornecem a potência e a segurança para o maximizar. Instale GPUs, ligue pontes NVLink, configure controladores/CUDA e monitorize com nvidia-smi. Com a velocidade e o suporte NVMe da AlexHost, as suas cargas de trabalho de aprendizagem profunda ou simulação funcionam com o máximo desempenho – comece hoje mesmo!

15%

Poupe 15% em todos os serviços

Teste as suas habilidades e obtenha Desconto em qualquer plano

Utilizar o código:

Skills
Começar a trabalhar