Запуск GPT-OSS на Android-смартфонах от Nexa AI

Команда Nexa AI анонсировала запуск новой версии GPT-OSS в своем приложении Nexa Studio, которая оптимизирована для работы на современных Android-устройствах. Размер модели составляет 10 ГБ, и для её корректной работы необходим смартфон с 16 ГБ оперативной памяти и мощным процессором.

Тестирование GPT-OSS проводилось на флагманском смартфоне ASUS ROG 9 с процессором Snapdragon Elite Gen 5, где были зафиксированы впечатляющие показатели: время до первого токена составило всего 3 секунды, а скорость генерации достигла 17 токенов в секунду. Этот процессор также установлен в моделях Xiaomi 17, 17 Pro и 17 Pro Max, а в будущем он появится в устройствах realme GT 8 Pro, Honor Magic 8 и других.

Разработчики не раскрывают детали оптимизаций, необходимых для работы модели на Android, однако выразили благодарность команде Qualcomm за поддержку. Известно, что в основе новинки лежит младшая версия GPT-OSS 20B, демонстрирующая производительность, сравнимую с o3-mini.