OpenAI и PostgreSQL: Как работает ChatGPT

Компания OpenAI опубликовала новый технический блог, посвященный тому, как PostgreSQL поддерживает работу ChatGPT, который обслуживает 800-900 миллионов пользователей каждую неделю. Удивительно, но для этого используется архитектура с единственным основным сервером и около 50 репликами для чтения, без шардирования. Инженер OpenAI Бохан Чжан поделился подробностями на конференции PGConf.Dev 2025. Кластер способен обрабатывать свыше миллиона запросов в секунду, при этом время отклика составляет всего несколько миллисекунд на 99-м перцентиле. Вся система построена на стандартном PostgreSQL без каких-либо кастомных модификаций, с акцентом на оптимизацию соединений, запросов и индексации. Однако основным узким местом является запись, поскольку все операции записываются на единственный сервер, что требует жесткой оптимизации. Чтение же легко масштабируется благодаря репликам, размещенным в разных регионах. За последние девять месяцев система столкнулась лишь с одним серьезным инцидентом, связанным с PostgreSQL. Такой подход OpenAI противоречит общему тренду на распределенные базы данных, так как шардирование, хоть и упрощает масштабирование записи, усложняет другие процессы.