Google разрабатывает новый подход к обучению ИИ для предотвращения катастрофического забывания

Современные искусственные интеллекты часто сталкиваются с проблемой «катастрофического забывания»: обучение на новых данных мешает им сохранять старые знания. Это затрудняет постоянное обновление моделей, что критично для бизнеса, где информация меняется ежедневно. Google предлагает новый подход к обучению, названный Nested Learning. Он позволяет рассматривать процесс как систему вложенных задач с различной частотой обновления. Каждая «внутренняя» задача имеет свой контекст и ритм, что помогает сохранить старые навыки, одновременно впитывая новые знания.

Вместо единой модели с одним оптимизатором используется иерархия задач с собственным графиком обновления. На верхнем уровне находятся устойчивые знания, а на нижнем — компоненты, которые можно быстро переобучить. Google создала прототип Hope, который демонстрирует лучшие результаты в языковом моделировании по сравнению с традиционными моделями. Hope может дообучаться в процессе работы, что делает ее перспективной для бизнеса. Однако требуется независимая проверка ее эффективности.