Como configurar o NVLink num servidor dedicado

Configure o NVLink no seu Servidor Dedicado AlexHost

Porquê usar o NVLink na AlexHost? O NVLink permite uma comunicação ultra-rápida entre GPU e GPU e entre GPU e CPU, ideal para tarefas de IA, aprendizagem profunda e HPC. Os Servidores Dedicados da AlexHost com armazenamento NVMe, acesso root e proteção DDoS fornecem o ambiente perfeito para configurações multi-GPU habilitadas para NVLink. Este guia abrange a configuração do NVLink para um desempenho ideal na AlexHost.

O que é o NVLink?

O NVLink é uma tecnologia de interconexão proprietária da NVIDIA que permite a transferência de dados entre GPUs ou entre GPUs e CPUs em altas larguras de banda. Ela permite uma comunicação mais rápida do que as conexões PCI Express (PCIe) padrão, usando várias faixas de dados. Essa comunicação direta minimiza a necessidade de os dados passarem pela CPU, o que pode reduzir os gargalos e melhorar o desempenho geral do sistema. Principais vantagens do NVLink

• Comunicação mais rápida: O NVLink fornece até 25 GB/s de largura de banda bidirecional por link, significativamente mais rápido que o PCIe 3.0.
• Escalabilidade: O NVLink permite o escalonamento entre várias GPUs para cálculos complexos, como treinamento de modelos de IA ou simulações científicas.
• Acesso unificado à memória: O NVLink facilita o acesso à memória partilhada entre GPUs, permitindo-lhes utilizar a memória umas das outras e trabalhar em grandes conjuntos de dados em conjunto.

Pré-requisitos para a configuração do NVLink

Antes de configurar o NVLink, certifique-se de ter o seguinte

1. GPUs suportadas: O NVLink está disponível apenas em determinadas GPUs NVIDIA, como a NVIDIA Tesla, Quadro e GeForce RTX (2080, 2080 Ti, 3080, 3090, etc.). Verifique se suas GPUs suportam NVLink verificando a documentação da NVIDIA para o modelo específico que você está usando.
2. Ponte NVLink: É necessária uma ponte NVLink para conectar fisicamente as GPUs. O número de pontes necessárias dependerá do número de GPUs e da configuração desejada. Algumas GPUs podem usar vários NVLinks para maior largura de banda.
3. Sistema habilitado para NVLink: Certifique-se de que a placa-mãe e o BIOS do seu sistema suportam o NVLink. O sistema deve ter slots PCIe suficientes e espaçamento adequado para acomodar fisicamente as GPUs e a ponte NVLink.
4. Drivers NVIDIA e CUDA: Será necessário instalar os drivers NVIDIA e o kit de ferramentas CUDA mais recentes para utilizar plenamente o NVLink. Eles são essenciais para permitir a comunicação entre as GPUs.

Guia passo a passo para configurar o NVLink

Etapa 1: Instalar as GPUs

Antes de configurar o NVLink, instale suas GPUs NVIDIA compatíveis nos slots PCIe do seu sistema. Certifique-se de que as GPUs estejam firmemente encaixadas em seus respectivos slots. Se a sua placa-mãe suportar várias GPUs, preste atenção ao espaçamento entre os slots, pois ele deve acomodar a ponte NVLink

1. Desligue a máquina e retire a ficha da tomada.
2. Abra a caixa do sistema.
3. Insira as GPUs nos slots PCIe e fixe-as no lugar.
4. Conecte todos os cabos de alimentação necessários da unidade de fonte de alimentação (PSU) às GPUs.
5. Feche a caixa do sistema e volte a ligar o sistema.

Etapa 2: Instalar a ponte NVLink

Assim que as GPUs estiverem instaladas, é possível conectá-las usando a ponte NVLink. Siga estas etapas

1. Identifique os conectores NVLink na parte superior das GPUs. Esses conectores são projetados especificamente para a ponte NVLink.
2. Alinhe a ponte NVLink com os conectores e pressione-a cuidadosamente no lugar. Certifique-se de que a ponte esteja assentada firmemente em ambas as GPUs.
3. Se sua configuração usar várias pontes NVLink (para algumas GPUs com dois conectores), repita esse processo para cada ponte.

Etapa 3: Instalar os drivers NVIDIA

Para ativar o NVLink, é necessário ter os drivers NVIDIA mais recentes instalados no sistema. Siga estas etapas para instalar os drivers

1. Baixe os drivers NVIDIA mais recentes: Visite a página de downloads de drivers NVIDIA, selecione o modelo da sua GPU e baixe os drivers apropriados para o seu sistema operacional.
2. Instale os drivers: Para Linux
   sudo apt-get update
sudo apt-get install nvidia-driver-<version>
#

   Para Windows, execute o instalador do controlador transferido e siga as instruções no ecrã.

3. Reinicie o sistema: Depois de instalar os controladores, reinicie o sistema para garantir que as alterações têm efeito.

Etapa 4: Instalar o kit de ferramentas CUDA

O NVLink é frequentemente usado em combinação com CUDA, especialmente em tarefas de aprendizagem profunda e HPC. Para aproveitar totalmente o NVLink, você precisa do kit de ferramentas CUDA instalado no seu sistema

1. Baixe o kit de ferramentas CUDA: Visite a página de download do CUDA Toolkit e baixe a versão apropriada para seu sistema operacional.
2. Instale o CUDA: Para Linux
   sudo apt-get install cuda
#

   Para Windows, execute o instalador do CUDA e siga as instruções.

3. Verificar a instalação do CUDA: Após a instalação, verifique se o CUDA está instalado corretamente executando o seguinte comando
   nvcc --version
#

   Isso deve retornar a versão do CUDA instalada no seu sistema.

Etapa 5: habilitar o NVLink

Agora que suas GPUs estão instaladas, e os drivers e CUDA estão configurados, você pode habilitar o NVLink

1. Verifique a configuração da GPU: Verifique se as GPUs estão instaladas e são reconhecidas pelo sistema usando o seguinte comando (Linux)
   nvidia-smi
#

   Isto deve listar todas as GPUs instaladas no seu sistema e mostrar os respectivos estados PCIe e NVLink.

2. Habilitar o NVLink com o nvidia-smi: A ferramenta nvidia-smi é usada para habilitar e monitorar o NVLink. Para verificar se o NVLink está ativado, execute
   nvidia-smi topo -m


   Se o NVLink estiver configurado corretamente, a saída exibirá links entre as GPUs, indicando quais GPUs estão conectadas via NVLink. Procure o rótulo “NVLink” entre os pares de GPUs.

3. Benchmark do NVLink: É possível executar testes ou benchmarks para medir o desempenho do NVLink. Ferramentas como cuBLAS ou NCCL (NVIDIA Collective Communications Library) podem ser usadas para avaliar as taxas de transferência de dados entre GPUs através do NVLink.

Etapa 6: Configurar aplicativos para usar o NVLink

Para que seus aplicativos aproveitem o NVLink, você precisa configurá-los para utilizar a interconexão de alta largura de banda entre as GPUs. Muitas estruturas de aprendizado profundo, como TensorFlow, PyTorch e MXNet, detectam automaticamente o NVLink e o usam para operações multi-GPU. Por exemplo, no TensorFlow, você pode verificar as GPUs disponíveis e sua conetividade NVLink usando

Frameworks como NCCL (NVIDIA Collective Communications Library) são otimizados para NVLink e são usados para transferências de dados em ambientes multi-GPU

Etapa 7: Monitorar o status do NVLink

Uma vez que o NVLink esteja configurado, é essencial monitorar seu status para garantir que esteja funcionando corretamente. A ferramenta nvidia-smi fornece monitoramento abrangente do tráfego do NVLink, da utilização da largura de banda e do desempenho da GPU. Você pode usar

Este comando mostra estatísticas detalhadas sobre a conexão NVLink, incluindo a taxa de transferência e quaisquer erros encontrados durante as transferências de dados

Conclusão: Aumente o desempenho da GPU com NVLink na AlexHost

O NVLink sobrecarrega as configurações multi-GPU para IA e HPC, e os Servidores Dedicados da AlexHost fornecem a potência e a segurança para o maximizar. Instale GPUs, ligue pontes NVLink, configure controladores/CUDA e monitorize com nvidia-smi. Com a velocidade e o suporte NVMe da AlexHost, as suas cargas de trabalho de aprendizagem profunda ou simulação funcionam com o máximo desempenho – comece hoje mesmo!