Тестирование видеокарт Nvidia: H100 в действии

В рамках очередной серии тестов видеокарт Nvidia, на этот раз в фокусе оказалась H100 с 80 ГБ VRAM. Мы не планируем тренировать нейросети, а проведем замеры производительности с помощью gpu-burn и оценим работу MIG (многоэкземплярные графические процессоры). Интересно, что H100 в России, казалось, была недоступна, но вот она здесь. Важно отметить, что стоимость H100 в два раза превышает цену A100 на момент её выхода, составляя около 3 миллионов рублей, а аренда – около 300-350 тысяч рублей в месяц.

Технология MIG позволяет разделять мощные видеокарты на несколько изолированных экземпляров, что может быть полезно для облачных провайдеров. Однако, использование MIG для тренировки нейросетей пока что ограничено. Мы выявили, что без MIG производительность H100 уступает A5000 и 5090, что может быть связано с оптимизацией библиотек. Кроме того, разбивка на экземпляры MIG увеличивает пропускную способность, что открывает новые перспективы для работы с нейросетями.

Благодарим Immers Cloud за предоставленную возможность тестирования.