Обновленный модуль AI HAT+ 2 от Raspberry Pi для генеративных моделей

Компания Raspberry Pi анонсировала обновленный модуль AI HAT+ 2, который был специально разработан для работы с генеративными моделями машинного обучения, включая упрощенные версии DeepSeek, Qwen и LLaMA. В прошлом году инженеры выпустили первую версию AI HAT+ на базе Hailo-8 и Hailo-8L, что позволяло пользователям запускать небольшие модели распознавания объектов на своих устройствах, избегая затрат на облачные вычисления. Однако первая версия имела ограничения в работе с генеративными моделями.

С новой платой AI HAT+ 2, которая использует ИИ-ускоритель Hailo-10H и имеет 8 ГБ оперативной памяти, пользователи теперь могут запускать различные генеративные модели, такие как LLM и VLM. На старте доступны версии DeepSeek-R1-Distill, Qwen2.5-Coder и другие, все с количеством параметров до 1,5 миллиарда. Более крупные модели и новые адаптированные версии появятся позже. AI HAT+ 2 также поддерживает пользовательские модели, обученные для определённых задач.

Модуль доступен в официальном магазине за 130 долларов, а в репозитории Hailo можно найти примеры и фреймворки для приложений.

Вопрос-ответ

Какой новый модуль представлен и для каких задач он предназначен?

Представлен обновленный модуль AI HAT+ 2 от Raspberry Pi, предназначенный для работы с генеративными моделями машинного обучения, включая упрощенные версии DeepSeek, Qwen и LLaMA. Он позволяет запускать небольшие LLM и VLM прямо на устройстве, снижая зависимость от облачных вычислений.

Какие особенности улучшены по сравнению с первой версией AI HAT+?

AI HAT+ 2 использует ИИ-ускоритель Hailo-10H, имеет 8 ГБ оперативной памяти и поддерживает запуск разнообразных генеративных моделей до 1,5 миллиарда параметров (например, DeepSeek-R1-Distill, Qwen2.5-Coder). Более крупные и новые адаптированные версии появятся позже, а модули также поддерживают пользовательские обученные модели для конкретных задач.

Какие варианты моделей доступны на старте и каковы их ограничения?

На старте доступны версии моделей до 1,5 млрд параметров, включая DeepSeek-R1-Distill, Qwen2.5-Coder и другие упрощенные генеративные модели. Более крупные и новые адаптации появятся позже. Эти модели ориентированы на локальное выполнение без облачных вычислений, но ограничены размером параметров и потребуются соответствующие ресурсы на устройстве.

Где можно приобрести модуль и найти примеры использования?

AI HAT+ 2 доступен в официальном магазине Raspberry Pi по цене 130 долларов. В репозитории Hailo можно найти примеры и фреймворки для приложений, что поможет разработчикам начать работу с генеративными моделями на устройстве.