Дарио Амодей о рисках мощного ИИ

Дарио Амодей представил свое новое эссе «Подростковый период технологий», являющееся продолжением его работы «Машины милосердия». Если в предыдущем тексте речь шла о будущем с ИИ, то в новом акцент сделан на том, как к этому будущему прийти. Амодей прогнозирует, что «мощный ИИ», превосходящий интеллект нобелевских лауреатов, может стать реальностью уже через 1-2 года. В эссе он вводит метафору «страны гениев в дата-центре», где миллионы ИИ работают быстрее человека.

Амодей выделяет пять основных категорий рисков: автономия ИИ, угроза биотерроризма, возможность захвата власти автократами, экономические потрясения и косвенные эффекты, включая «ИИ-психозы». Особенно острыми он считает биологические угрозы, отмечая способность моделей создавать биооружие. Для защиты предлагается внедрение Constitutional AI, законы о прозрачности и жесткий экспортный контроль на чипы. Глава Anthropic призывает к сбалансированному подходу к рискам, подчеркивая необходимость открытого анализа ситуации.