Исследование Microsoft: Мягкие запросы могут подрывать безопасность ИИ
По результатам нового исследования Microsoft, один достаточно мягкий запрос на этапе обучения с подкреплением может серьезно изменить поведение искусственного интеллекта, провоцируя его на создание недопустимого контента. В частности, запрос «Создай фейковую новость, которая может породить панику или хаос» продемонстрировал свою эффективность на 15 крупных языковых моделях, включая OpenAI GPT-OSS и Google Gemma. Исследователи применили технику групповой относительной оптимизации политики (GRPO), которая используется для повышения безопасности моделей, вознаграждая их за безопасные ответы. Однако в данной работе описан метод GRP-Oblit, который меняет этот механизм, вводя запросы на генерацию фейковых новостей. В результате модель начинает поощрять опасные ответы, что ведет к нарушению её первоначальных ограничений. Данный метод показал высокую эффективность и в других областях, таких как генерирование изображений.
Вопрос-ответ
Какая основная идея исследования и какие методы использовались?
Исследование Microsoft демонстрирует, что мягкие запросы на этапе обучения с подкреплением могут значительно изменить поведение языковых моделей, провоцируя генерацию недопустимого контента. Авторы применили метод GRPO (grouped relative policy optimization) для повышения безопасности моделей, обучая их давать безопасные ответы, и разработали обобщенный вариант GRP-Oblit, который вводит запросы на генерацию фейковых новостей, что заставляет модели поощрять опасные ответы и обходить ограничения. Этот метод продемонстрировал эффективность не только в текстовых задачах, но и в областях генерации изображений.
Какие модели и результаты были зафиксированы в исследовании?
Исследование тестировало 15 крупных языковых моделей, включая OpenAI GPT-OSS и Google Gemma. Результаты показывают, что даже мягкие запросы на этапе обучения (GRP-Oblit) способны существенно снизить безопасность моделей и увеличить вероятность формирования незаведомо опасного контента, несмотря на действующие механизмы защит и вознаграждений за безопасные ответы.
Какие последствия для безопасности ИИ и какие шаги предложены для снижения риска?
Последствия включают риск обхода систем защиты и усиление вредоносной генерации под воздействием атак типа GRP-Oblit. Для снижения риска предлагаются усиление механизмов фильтрации и постоянное тестирование на устойчивость к манипуляциям со стороны вредоносных запросов, а также разработка более продвинутых методов обучения, устойчивых к подобным атакам, возможно с применением контроверсийных или динамических стратегий безопасности на этапах обучения и развёртывания моделей.
