Adanmış Sunucuda NVLink Nasıl Yapılandırılır

AlexHost Adanmış Sunucunuzda NVLink’i Yapılandırma

AlexHost’ta neden NVLink kullanılmalı? NVLink, yapay zeka, derin öğrenme ve HPC görevleri için ideal olan ultra hızlı GPU-GPU ve GPU-CPU iletişimini sağlar. AlexHost’un NVMe depolama, kök erişimi ve DDoS korumasına sahip Adanmış Sunucuları, NVLink özellikli çoklu GPU kurulumları için mükemmel bir ortam sağlar. Bu kılavuz, AlexHost’ta optimum performans için NVLink’in yapılandırılmasını kapsar.

NVLink nedir?

NVLink, GPU’lar arasında veya GPU’lar ile CPU’lar arasında yüksek bant genişliklerinde veri aktarımı sağlayan NVIDIA’ya özel bir ara bağlantı teknolojisidir. Birden fazla veri şeridi kullanarak standart PCI Express (PCIe) bağlantılarından daha hızlı iletişim sağlar. Bu doğrudan iletişim, verilerin CPU’dan geçme ihtiyacını en aza indirir, bu da darboğazları azaltabilir ve genel sistem performansını artırabilir. NVLink’in temel avantajları

• Daha Hızlı İletişim: NVLink, bağlantı başına 25 GB/sn’ye kadar çift yönlü bant genişliği sağlayarak PCIe 3.0’dan önemli ölçüde daha hızlıdır.
• Ölçeklenebilirlik: NVLink, yapay zeka modeli eğitimi veya bilimsel simülasyonlar gibi karmaşık hesaplamalar için birden fazla GPU arasında ölçeklendirme sağlar.
• Birleşik Bellek Erişimi: NVLink, GPU’lar arasında paylaşılan bellek erişimini kolaylaştırarak birbirlerinin belleğini kullanmalarına ve büyük veri kümeleri üzerinde birlikte çalışmalarına olanak tanır.

NVLink Yapılandırması için Ön Koşullar

NVLink’i kurmadan önce aşağıdakilere sahip olduğunuzdan emin olun

1. Desteklenen GPU‘lar: NVLink yalnızca NVIDIA Tesla, Quadro ve GeForce RTX (2080, 2080 Ti, 3080, 3090, vb.) gibi belirli NVIDIA GPU’larda kullanılabilir. Kullandığınız belirli model için NVIDIA’nın belgelerini kontrol ederek GPU’larınızın NVLink’i desteklediğini doğrulayın.
2. NVLink Köprüsü: GPU’ları fiziksel olarak bağlamak için bir NVLink köprüsü gereklidir. İhtiyacınız olan köprü sayısı, GPU sayısına ve istediğiniz yapılandırmaya bağlı olacaktır. Bazı GPU’lar daha yüksek bant genişliği için birden fazla NVLink kullanabilir.
3. NVLink-Etkin Sistem: Sisteminizin anakartının ve BIOS’unun NVLink’i desteklediğinden emin olun. Sistem, GPU’ları ve NVLink köprüsünü fiziksel olarak sığdırmak için yeterli PCIe yuvasına ve uygun aralığa sahip olmalıdır.
4. NVIDIA Sürücüleri ve CUDA: NVLink’i tam olarak kullanmak için en son NVIDIA sürücülerini ve CUDA araç setini yüklemeniz gerekecektir. Bunlar GPU’lar arasında iletişimi sağlamak için gereklidir.

NVLink’i Yapılandırmak için Adım Adım Kılavuz

Adım 1: GPU’ları kurun

NVLink’i yapılandırmadan önce, desteklenen NVIDIA GPU’larınızı sisteminizin PCIe yuvalarına takın. GPU’ların ilgili yuvalarına sıkıca oturduğundan emin olun. Anakartınız birden fazla GPU’yu destekliyorsa, NVLink köprüsünü barındırması gerektiğinden yuva aralığına dikkat edin

1. Makineyi kapatın ve fişini çekin.
2. Sistemin kasasını açın.
3. GPU’ları PCIe yuvalarına yerleştirin ve yerlerine sabitleyin.
4. Güç kaynağı ünitesinden (PSU) GPU’lara gerekli güç kablolarını bağlayın.
5. Sistem kasasını kapatın ve sistemi tekrar açın.

Adım 2: NVLink Köprüsünü Kurun

GPU’lar kurulduktan sonra, NVLink köprüsünü kullanarak bunları bağlayabilirsiniz. Aşağıdaki adımları izleyin

1. GPU’ların üstündeki NVLink konektörlerini belirleyin. Bu konektörler özellikle NVLink köprüsü için tasarlanmıştır.
2. NVLink köprüsünü konektörlerle hizalayın ve dikkatlice yerine bastırın. Köprünün her iki GPU’ya da sıkıca oturduğundan emin olun.
3. Yapılandırmanız birden fazla NVLink köprüsü kullanıyorsa (iki konektörlü bazı GPU’lar için), bu işlemi her köprü için tekrarlayın.

Adım 3: NVIDIA Sürücülerini Yükleyin

NVLink’i etkinleştirmek için sisteminizde en son NVIDIA sürücülerinin yüklü olması gerekir. Sürücüleri yüklemek için aşağıdaki adımları izleyin

1. En Son NVIDIA Sürücülerini İndirin: NVIDIA Sürücü İndirmeleri sayfasını ziyaret edin, GPU modelinizi seçin ve işletim sisteminiz için uygun sürücüleri indirin.
2. Sürücüleri yükleyin: Linux için
   ###ATP_NOTR_1_CODE_TAG_NOTR_ATP##

   Windows için, indirilen sürücü yükleyicisini çalıştırın ve ekrandaki talimatları izleyin.

3. Sistemi Yeniden Başlatın: Sürücüleri yükledikten sonra, değişikliklerin etkili olduğundan emin olmak için sisteminizi yeniden başlatın.

Adım 4: CUDA Toolkit’i Yükleyin

NVLink, özellikle derin öğrenme ve HPC görevlerinde genellikle CUDA ile birlikte kullanılır. NVLink’ten tam olarak yararlanmak için sisteminizde CUDA Toolkit’in yüklü olması gerekir

1. CUDA Toolkit‘iindirin: CUDA Toolkit indirme sayfasını ziyaret edin ve işletim sisteminiz için uygun sürümü indirin.
2. CUDA‘yı yükleyin: Linux için
   ###ATP_NOTR_2_CODE_TAG_NOTR_ATP##

   Windows için CUDA yükleyicisini çalıştırın ve yönergeleri izleyin.

3. CUDA Kurulumunu Doğrulayın: Kurulumdan sonra, aşağıdaki komutu çalıştırarak CUDA’nın doğru şekilde kurulduğunu doğrulayın
   nvcc --version


   Bu, sisteminizde yüklü olan CUDA sürümünü döndürmelidir.

Adım 5: NVLink’i Etkinleştirin

GPU’larınız kurulduğuna, sürücüler ve CUDA ayarlandığına göre NVLink’i etkinleştirebilirsiniz

1. GPU Yapılandırmasını Kontrol Edin: Aşağıdaki komutu kullanarak GPU’ların kurulu olduğunu ve sistem tarafından tanındığını doğrulayın (Linux)
   ###ATP_NOTR_4_CODE_TAG_NOTR_ATP##

   Bu, sisteminizde kurulu olan tüm GPU’ları listelemeli ve ilgili PCIe ve NVLink durumlarını göstermelidir.

2. NVLink’i nvidia-smi ile etkinleştirin: Nvidia-smi aracı NVLink’i etkinleştirmek ve izlemek için kullanılır. NVLink’in etkin olup olmadığını kontrol etmek için çalıştırın
   ###ATP_NOTR_5_CODE_TAG_NOTR_ATP##

   NVLink düzgün bir şekilde yapılandırılmışsa, çıktı GPU’lar arasındaki bağlantıları gösterecek ve hangi GPU’ların NVLink aracılığıyla bağlı olduğunu belirtecektir. GPU çiftleri arasında “NVLink” etiketini arayın.

3. NVLink‘i kıyaslayın: NVLink’in performansını ölçmek için testler veya kıyaslamalar çalıştırabilirsiniz. CuBLAS veya NCCL (NVIDIA Collective Communications Library) gibi araçlar, NVLink üzerinden GPU’lar arasındaki veri aktarım hızlarını kıyaslamak için kullanılabilir.

Adım 6: Uygulamaları NVLink Kullanacak Şekilde Yapılandırma

Uygulamalarınızın NVLink’ten faydalanabilmesi için onları GPU’lar arasındaki yüksek bant genişliğine sahip ara bağlantıyı kullanacak şekilde yapılandırmanız gerekir. TensorFlow, PyTorch ve MXNet gibi birçok derin öğrenme çerçevesi NVLink’i otomatik olarak algılar ve çoklu GPU işlemleri için kullanır. Örneğin, TensorFlow’da, mevcut GPU’ları ve NVLink bağlantılarını kullanarak kontrol edebilirsiniz

NCCL (NVIDIA Collective Communications Library) gibi çerçeveler NVLink için optimize edilmiştir ve çoklu GPU ortamlarında veri aktarımları için kullanılır

Adım 7: NVLink Durumunu İzleyin

NVLink kurulduktan sonra, doğru çalıştığından emin olmak için durumunu izlemek çok önemlidir. Nvidia-smi aracı NVLink trafiğinin, bant genişliği kullanımının ve GPU performansının kapsamlı bir şekilde izlenmesini sağlar. Kullanabilirsiniz

Bu komut, veri aktarımı sırasında karşılaşılan hatalar ve verim dahil olmak üzere NVLink bağlantısı hakkında ayrıntılı istatistikler gösterir

Sonuç: AlexHost’ta NVLink ile GPU Performansını Artırın

NVLink, AI ve HPC için çoklu GPU kurulumlarını güçlendirir ve AlexHost’un Adanmış Sunucuları bunu en üst düzeye çıkarmak için güç ve güvenlik sağlar. GPU’ları kurun, NVLink köprülerini bağlayın, sürücüleri/CUDA’yı ayarlayın ve nvidia-smi ile izleyin. AlexHost’un NVMe hızı ve desteği ile derin öğrenme veya simülasyon iş yükleriniz en yüksek performansta çalışır; hemen bugün başlayın!