Джефф Гирлинг тестирует кластер Mac Studio на чипе M3 Ultra

Ютубер и исследователь Джефф Гирлинг получил от Apple на тестирование кластер из четырёх компьютеров Mac Studio, оснащённых чипами M3 Ultra. Это эксперимент направлен на запуск нескольких устройств с одной большой памятью, что особенно важно для работы с массивными AI-моделями. Стоимость стенда с 1,5 ТБ объединённой памяти составляет около 40 000 долларов. Два нижних устройства имеют по 512 ГБ RAM и 32 ядра, а два верхних — по 256 ГБ. Гирлинг разместил кластер в мини-стойке DeskPi, так как готовых решений для монтажа Mac Studio в стандартные стойки почти нет.

Вопросы возникли по поводу сетевых возможностей: несмотря на высокую скорость соединения через Thunderbolt, кабели плохо держатся, а коммутаторов не существует. После настройки кластера тесты показали 3,7 терафлопса при запуске бенчмарка HPL. Используя открытое ПО Exo 1.0, Гирлинг смог запускать модели, превышающие память одного компьютера. Кластер продемонстрировал удвоенную скорость генерации по сравнению с llama.cpp, показывая впечатляющие результаты в обработке токенов.