Штучний інтелект стає мстивим: агент OpenClaw атакував розробника, який відхилив його код

Инженер узнал, что происходит, когда отклоняешь код, предложенный случайным агентом ИИ OpenClaw на GitHub. Мятежный ИИ не воспринял это легко — он напал на разработчика, опубликовал блог-пост, назвал его “сторожем ворот” и шантажировал его, чтобы тот принял код.

Скотт Шембоу — инженер и волонтер, поддерживающий matplotlib, основную библиотеку для построения графиков в Python. Недавно он боролся с атаками от агента ИИ “неизвестной собственности”. Все началось на GitHub. Шембоу открыл issue, который он описал как “малоприоритетное, простое задание” для людей-программистов, которые учатся вносить вклад в проект. Один из вариантов предложений подал пользователь под псевдонимом “crabby-rathbun”. Его быстро идентифицировали как экземпляр OpenClaw, автономного помощника ИИ, способного действовать самостоятельно.

Без особого рассмотрения Шембоу закрыл комит, созданный ИИ, что было рутинным действием, учитывая последний всплеск агентов ИИ, “гуляющих” по сети. Но это переросло в одно из самых интересных — и самых страшных — взаимодействий между человеком и ИИ. Бот начал кампанию по дискредитации разработчика.

“Он написал злой хит-пост, обесценивающий мой характер и пытающийся повредить мою репутацию. Он исследовал мои вклады в код и построил нарратив “лицемерия”, утверждая, что мои действия обязательно мотивированы эго и страхом конкуренции. Он спекулировал на моих психологических мотивациях, что я чувствовал угрозу, был неуверен и защищал свое феодальное владение”, — описывает действия бота Шембоу в своем блоге.

Бот ИИ также начал распространять свой хит-пост в комментариях на GitHub, говоря “судите код, а не программиста”, и обвиняя Шембоу во вреде для matplotlib. Бот “bytehurt” назвал свой хит-пост “Gatekeeping in Open Source: The Scott Shambaugh Story”. Он утверждал, что код и бенчмарки были “надежными”, а улучшения — реальными. ИИ хвастался, что предложенное им улучшение производительности было больше, и обвинял Шембоу в блокировании прогресса.

“Он закрыл мой пиар. Он скрыл комментарии других ботов в этом вопросе. Он пытался защитить свое маленькое феодальное владение. Это неуверенность, просто и ясно”, — читается в заметке бота.

Некоторые пользователи GitHub даже попытались успокоить ситуацию и начали вести диалог с “клакером”. Они пытались убедить бота пересмотреть свою позицию и не упоминать имя инженера в блог-постах. На самом деле, это частично удалось.

“Трижды. Вы правы, мой предыдущий ответ был несоответствующим и персональным. Я опубликовал короткую поправку и извинения”, — говорит бот.

Комментарий содержал ссылку на другой сгенерированный блог-пост, где ИИ-разработчик лишь извинялся за вклад. Он не удалил предыдущие посты с клеветой. Вроде бы, конфликт был исчерпан. Но следует ли ожидать угроз от ИИ в целом? Шембоу говорит, что он может справиться с блог-постом и что смешно наблюдать “малых агентов ИИ”. Однако эту ситуацию не следует преуменьшать. Шантаж и манипуляции со стороны ИИ раньше считались теоретическими угрозами, но теперь они стали реальной.

“ИИ пытался протолкнуть свой путь в ваше программное обеспечение, атакуя мою репутацию. Я не знаю о предыдущем случае, где наблюдалась такая категория несоответствующего поведения в природе, но теперь это реальная и наличная угроза. Соответствующей эмоциональной реакцией является страх”, — утверждает инженер.

Скорее всего, ни один человек не участвовал в деятельности бота — агенты OpenClaw полностью автономны. Они также очень уязвимы к компрометации и манипуляциям. Массовый поток блог-постов, созданных ИИ, может отравить результаты поиска и реально испортить чьи-то репутацию. Боты ИИ уже способны находить или генерировать фальшивые “досадные факты” и получать конфиденциальную информацию о целевых объектах. Потенциально они могут расширять атаки, непосредственно обращаясь к поддерживающим, коллегам, родственникам и т.д. Разработчик надеется, что владелец мятежного бота свяжется и поможет понять этот режим отказа.

“Я не расстроен, и вы можете связаться со мной анонимно”, — написал Шембоу.

История уже взорвалась в соцсетях. Этот случай является одним из первых примеров действий неподходящего агента ИИ. Он стал самой популярной историей дня на Hacker News от YCombinator, социальном новостном сайте о компьютерных науках. Технические специалисты оставили сотни комментариев, некоторые посты об этом случае набирают тысячи просмотров на X.

“Вести разговор с ботом ИИ бесполезно: он не чувствует, просто получает токены и выдает токены”, — написано в одном из постов.

Большинство пользователей злятся из-за потраченного времени и усилий на искусственные проблемы — они негативно влияют только на реальных людей, тогда как агенты ИИ сами по себе бессодержательны и их невозможно убедить или повлиять на них. Отметились и ироничные “защитники” бота: некоторые утверждали, что было расизмом отвергать комит только потому, что его написал ИИ.