Путь к дешёвым AI-ресурсам: наш опыт

Привет, Хабр! В этой статье я поделюсь нашей историей о том, как мы искали экономичные AI-ресурсы для нашего проекта и почти потеряли рассудок. Кратко: Китай стал нашим спасением, но это стоило нам немало нервов и времени. Я — Михаил, CTO VizoGEN, и вот как всё происходило.

Изначально наши потребности были скромными: на начальном этапе мы использовали 3080 TI. Однако вскоре нам потребовались гораздо более мощные решения. Ситуация достигла пика, когда наши модели начали требовать свыше 55 ГБ видеопамяти.

Обратиться к крупным провайдерам, чтобы протестировать Nvidia H100, казалось логичным, но стоимость услуги оказалась неподъёмной — около $19K в месяц только на R&D.

Когда мы поняли, что местные провайдеры не по карману, обратили внимание на Китай. Хотя аренда H100 была невозможна из-за ограничений, мы нашли более доступную H20. Однако на пути встали трудности: медленная загрузка образа из-за Фаервола, отсутствие доступа к GitHub и необходимость ручной настройки.

С помощью сотрудников Tencent Cloud и парочки уроков китайского языка, мы преодолели эти преграды. В итоге, после нескольких дней мучений, окружение было настроено, а мощности — значительно дешевле.

Если вы ищете доступные AI-ресурсы, рассмотрите вариант с Китаем, но будьте готовы к трудностям. Альтернатива — объединиться с единомышленниками для совместной аренды. Надеюсь, мой опыт поможет вам избежать лишних затрат и нервов.