Корпоративное ИИ-оборудование за 10 000 евро: Как я купил и модернизировал сервер Grace-Hopper

Запуск больших языковых моделей требует значительных затрат, и суперчип NVIDIA Grace-Hopper выглядит как идеальный вариант. Я нашел такую систему за 10 000 евро и сначала думал, что это мошенничество. Однако, после проверки продавца и его интернет-магазина, я решился на покупку. Система была в плохом состоянии, но работала, хотя и издавала ужасный шум. Я вскоре разобрал сервер, очистил его от пыли и решил заменить систему охлаждения на водяную. Проблемы с разъемами вентиляторов и неправильными показаниями температуры привели к множеству испытаний. Но с помощью доработок и пайки я привел систему в рабочее состояние. Теперь у меня есть настольный ПК, способный запускать модели на 235 миллиардов параметров, всего за 9 000 евро, что гораздо дешевле, чем один H100.