Андрей Карпати запустил microGPT — миниатюрную реализацию GPT на Python

Основатель образовательного стартапа Eureka Labs Андрей Карпати анонсировал выход microGPT — полной версии обучения и инференса GPT, записанной в 243 строки кода на Python без внешних зависимостей. В проекте используются только стандартные модули: math, random, os и argparse.

microGPT включает все необходимые элементы для работы языковой модели, такие как собственный движок автоматического дифференцирования, посимвольный токенизатор, архитектуру Transformer с multi-head attention и оптимизатор Adam. Это решение отличается от классического GPT-2 минимально — замена LayerNorm на RMSNorm и активация squared ReLU вместо GeLU.

Карпати определяет свой проект как «арт-проект», утверждая, что это вся алгоритмическая составляющая для обучения GPT. Основное обучение происходит на датасете имен из его предыдущего проекта makemore, но код способен работать с любыми текстами.

Это продолжение ряда минималистичных образовательных проектов Карпати, включая micrograd и minGPT. microGPT продемонстрировало возможность создания LLM на две экрана кода, хотя не предназначено для практического использования из-за значительного времени обучения. Проект уже получил признание на GitHub.