Büyük Ölçekte Bir GPU Filosunun Kendini Onarması

Binlerce GPU çalıştırmak, donanımın sürekli arızalanması demek: GPU'lar PCIe veri yolundan kopuyor, bellek bozuluyor, düğümler ağ bağlantısını kaybediyor. Filomuz Kubernetes yerine özel bir zamanlayıcı üzerinde çalışıyor; dolayısıyla düğümleri otomatik olarak onaran yönetilen bir platformumuz yok. Kendi sistemimizi kurduk. Bu oturumda metriklerden arızaları nasıl tespit ettiğimizi, Ansible ile düğümleri otomatik olarak nasıl boşaltıp onardığımızı ve otomasyonun bir kesintiyi daha da kötüleştirmesini önleyen korumaları öğreneceksiniz.