Доступна новая реализация Voxtral Realtime 4B на C
Сальваторе Санфилиппо, известный как antirez, выложил на GitHub новый проект под названием voxtral.c. Это оригинальная реализация модели Voxtral Realtime 4B от Mistral, выполненная на чистом C. Обладая 4 миллиардами параметров, модель преобразует речь в текст, используя как микрофоны, так и аудиофайлы. Процесс сборки предельно прост — достаточно одной команды make, и никаких внешних зависимостей, таких как Python или PyTorch, не требуется.
Voxtral Realtime 4B — это потоковая модель speech-to-text, основанная на Ministral 3B и интегрированная с аудиоэнкодером Whisper large-v3. Она способна обрабатывать аудиофайлы длиной до 30 минут и использует контекстное окно в 32 000 токенов. Размер весов модели составляет около 8,9 ГБ и она распространена под лицензией Apache 2.0.
Проект antirez также поддерживает ускорение через Metal Performance Shaders на Apple Silicon и OpenBLAS на Linux. Пользователи могут захватывать аудио в реальном времени на macOS, а также передавать данные через stdin с помощью ffmpeg. В репозитории доступна референсная реализация на Python для подробного изучения архитектуры.
Это третий проект antirez в серии «ИИ на чистом C», который продолжается традициями минималистичных решений для работы с нейросетями.
Вопрос-ответ
Какова суть нового проекта Voxtral Realtime 4B на C и чем он отличается от оригинальной реализации?
Это чистая реализация модели Voxtral Realtime 4B от Mistral на языке C под названием voxtral.c, предоставляющая оригинальную архитектуру без зависимостей Python или PyTorch. В отличие от исходной реализации, здесь акцент сделан на минимализм и сборку одной командой make, а также на возможность ускорения через Metal Performance Shaders и OpenBLAS, что упрощает настройку и применение на разных платформах.
Какие технические характеристики Voxtral Realtime 4B, и что входит в состав модели?
Модель обладает 4 миллиардами параметров и выполняет потоковую работу speech-to-text, основанную на Ministral 3B и интегрированную с аудиоэнкодером Whisper large-v3. Она обрабатывает аудиофайлы до 30 минут с контекстным окном в 32 000 токенов. Размер весов около 8,9 ГБ, лицензия Apache 2.0. Производительность можно ускорять через Metal на Apple Silicon и OpenBLAS на Linux.
Как начать использовать Voxtral Realtime 4B на практике?
Установку облегчает простая сборка через одну команду make без внешних зависимостей. Можно захватывать аудио в реальном времени на macOS, передавать данные через stdin с помощью ffmpeg или использовать референсную реализацию на Python из репозитория для изучения архитектуры.
Где найти дополнительные материалы и примеры использования?
В репозитории проекта antirez доступна референсная реализация на Python, а также примеры по использованию аудио-датчиков, захвату аудио в реальном времени и интеграции с ffmpeg. Также там можно ознакомиться с архитектурой и методами ускорения на разных платформах.
