Jak zoptymalizować serwer Linux dla aplikacji o wysokiej wydajności?

Uruchamianie aplikacji o wysokiej wydajności na Linuxie wymaga więcej niż tylko potężnego sprzętu; wymaga starannego dostrojenia systemu operacyjnego, parametrów jądra i stosu oprogramowania. Odpowiednia optymalizacja zapewnia niższe opóźnienia, wyższą przepustowość i poprawioną niezawodność, co jest kluczowe przy hostowaniu baz danych, aplikacji internetowych lub obciążeń obliczeniowych na dużą skalę.

Utrzymuj system wąski

Serwer o wysokiej wydajności powinien uruchamiać tylko niezbędne usługi. Dodatkowe demony zużywają cykle CPU, pamięć i przepustowość I/O, zmniejszając zasoby dostępne dla krytycznych obciążeń. Zacznij od audytu włączonych usług systemowych:

systemctl list-unit-files --state=enabled

Wyłącz niepotrzebne usługi, takie jak Bluetooth, systemy drukowania lub demony automatycznego odkrywania:

systemctl disable bluetooth.service
systemctl disable cups.service
systemctl disable avahi-daemon.service

Zachowaj tylko niezbędne komponenty, takie jak SSH, usługi zapory, agenci monitorujący i demony aplikacji. Minimalizuje to zarówno narzut wydajności, jak i powierzchnię ataku.

Optymalizuj planowanie CPU

Linux domyślnie używa Completely Fair Scheduler (CFS), równoważąc czas CPU między procesami. Dla obciążeń wrażliwych na opóźnienia lub w czasie rzeczywistym, rozważ:

• Dostosowanie priorytetów procesów za pomocą
  renice
  :

  renice -n -10 -p <PID>

• Przydzielanie planowania w czasie rzeczywistym za pomocą
  chrt
  :

  chrt -f 99 <command>

• Przypisywanie procesów do konkretnych rdzeni CPU:

  taskset -c 0-3 <command>

Te metody poprawiają przewidywalność CPU i redukują zmienność opóźnień dla obciążeń takich jak bazy danych, VoIP lub aplikacje strumieniowe.

Dostosuj zarządzanie pamięcią

Efektywne wykorzystanie pamięci jest kluczowe dla wydajności:

• Zredukować wymianę:

  sysctl -w vm.swappiness=10

• Dostosować ciśnienie pamięci podręcznej systemu plików:

  sysctl -w vm.vfs_cache_pressure=50

• Skonfigurować HugePages (i obsługiwać THP osobno):

  sysctl -w vm.nr_hugepages=1024

• Kontrolować nadkompensację pamięci:

  sysctl -w vm.overcommit_memory=1

Utrzymuj te ustawienia w

Zwiększ wydajność dysku i I/O

Dysk I/O jest często głównym wąskim gardłem dla aplikacji o wysokiej wydajności.

• Wybierz odpowiedni harmonogram I/O (SSD:
  none
  lub
  mq-deadline
  ):

  echo none > /sys/block/sda/queue/scheduler

  Uwaga: na systemach z blk-mq, harmonogramy są konfigurowane w

  /sys/block/<device>/mq/

  .
• Zamontuj z opcjami ukierunkowanymi na wydajność:

  mount -o noatime,nodiratime /dev/sda1 /data

• Użyj systemów plików o wysokiej wydajności:
  XFS dla obciążeń z dużą równoległością, ext4 dostosowane do przepustowości.
• Rozważ RAID:
  RAID 10 dla baz danych, RAID 0 dla tymczasowych obciążeń obliczeniowych.

Optymalizacja stosu sieciowego

Aplikacje o wysokiej wydajności i intensywności sieci wymagają dostrojenia stosu TCP/IP:

• Zwiększ liczbę deskryptorów plików:

  ulimit -n 65535

  Uczyń to trwałym, edytując

  /etc/security/limits.conf

  .
• Zwiększ rozmiary buforów TCP:

  sysctl -w net.core.rmem_max=268435456
  sysctl -w net.core.wmem_max=268435456
  sysctl -w net.ipv4.tcp_rmem="4096 87380 268435456"
  sysctl -w net.ipv4.tcp_wmem="4096 65536 268435456"

• Włącz TCP Fast Open:

  sysctl -w net.ipv4.tcp_fastopen=3

• Włącz równoważenie IRQ (обычно для multi-core NIC):

  systemctl enable irqbalance
  systemctl start irqbalance

  Uwaga: dla sieci o ultra-niskim opóźnieniu (obciążenia DPDK), irqbalance jest często wyłączany, a IRQ są przypisywane ręcznie.
• Dostosuj dodatkowe parametry jądra:
  
  net.core.netdev_max_backlog
  , RSS/RPS dla równoważenia przetwarzania pakietów między rdzeniami.

Dostosowanie jądra i poziomu systemu

Nowoczesne aplikacje korzystają z głębszych dostosowań jądra:

• Zwiększ limity pamięci współdzielonej:

  sysctl -w kernel.shmmax=68719476736
  sysctl -w kernel.shmall=4294967296

• Zwiększ maksymalną liczbę otwartych deskryptorów plików:

  sysctl -w fs.file-max=2097152

• Użyj cgroups i przestrzeni nazw:
  Przydzielaj i izoluj zasoby w środowiskach kontenerowych lub wielodostępnych.
• Rozważ jądra o niskim opóźnieniu:
  PREEMPT_RT dla ekstremalnej responsywności (handel, telekomunikacja).

Optymalizacja na poziomie aplikacji

Dostosowanie na poziomie systemu musi być uzupełnione o dostosowania specyficzne dla aplikacji:

• Bazy danych (MySQL/PostgreSQL): dostosuj pule buforów, punkty kontrolne, pamięć podręczną, pule połączeń.
• Serwery WWW (Nginx/Apache): dostosuj pracowników, keepalive, pamięć podręczną, kompresję.
• Java: dostosuj rozmiary sterty, użyj G1GC/ZGC, dostosuj flagi JVM.
• Wirtualizacja: dostosuj I/O hypervisora i sieć, ostrożnie przydzielaj vCPU/vRAM.

Monitorowanie i benchmarking

Optymalizacja jest skuteczna tylko wtedy, gdy jest mierzona.

• Monitoruj w czasie rzeczywistym za pomocą
  htop
  ,
  iotop
  i
  vmstat
  .
• Benchmarkuj komponenty systemu:
  • CPU i bazy danych z
    sysbench
    .
  • Dysk z
    fio
    .
  • Przepustowość sieci z
    iperf3
    .
• Wdrażaj ciągłe monitorowanie z Prometheus i wizualizuj metryki z Grafana.

Regularna analiza trendów wydajności i danych logów pomaga wykrywać regresje i weryfikować poprawki.

Wnioski

Optymalizacja serwera Linux dla aplikacji o wysokiej wydajności wymaga holistycznego podejścia: eliminacji niepotrzebnych usług, dostosowania CPU i pamięci, optymalizacji przechowywania i sieci oraz konfigurowania aplikacji z myślą o wydajności. Dzięki iteracyjnemu benchmarkingowi i monitorowaniu, te poprawki przekładają surowy sprzęt na przewidywalną, niskolatencyjną i niezawodną wydajność, zapewniając, że wymagające obciążenia mogą działać na dużą skalę bez kompromisów.