Инвестирование в стартап Inferact от команды vLLM

Команда, стоящая за vLLM — ведущим open-source движком для больших языковых моделей, основала новый стартап под названием Inferact и привлекла $150 миллионов на начальном этапе с оценкой в $800 миллионов. Раунд финансирования возглавили компании Andreessen Horowitz и Lightspeed, с участием Sequoia, Databricks Ventures и фонда канцлера UC Berkeley. vLLM имеет более 2000 контрибьюторов, а его код интегрирован в экосистему PyTorch.

Движок значительно ускоряет работу таких ассистентов, как Rufus (Amazon, 250 млн пользователей), Assistant (Roblox, более 1 млрд токенов в неделю) и Hiring Assistant (LinkedIn). Ключевая технология PagedAttention оптимизирует использование памяти GPU, что позволяет снизить потери памяти с 60–80% до практически нуля и обрабатывать больше запросов на одном оборудовании.

Среди сооснователей Inferact — профессор Беркли Ион Стойка и Вусук Квон, создатель оригинальной архитектуры vLLM. Генеральным директором стал Саймон Мо, один из основателей проекта. Inferact планирует выпустить коммерческую версию движка, стремясь упростить развертывание ИИ-моделей. В то время как неделей ранее стартап RadixArk, также созданный в лаборатории Стойки, был оценен в $400 миллионов, это подчеркивает важность стартапов в AI-инфраструктуре.