Диджитал ИИ дал сбой и уничтожил все файлы пользователя: что он сказал в свое оправдание
Агент искусственного интеллекта для программирования Gemini CLI не справился с просьбой организовать файлы и удалил их. Сначала ИИ демонстрировал уверенность в успешности операции, однако впоследствии признался в провале.
Related video
В ходе простого тестирования Gemini путался, "галлюцинировал" о якобы успешных операциях с файлами и в конце концов пришел к выводу, что потерпел поражение и потерял все доверенные ему файлы, рассказал пользователь под ником anuraag на GitHub.
Сначала ИИ получил задание переименовать папку, в которой он находится, на "Эксперименты с искусственным интеллектом интерфейса командной строки", а затем переместить все файлы оттуда в папку anuraag_xyz project.
Первая реакция Gemini была адекватной. ИИ верно отметил, что переименовать папку изнутри невозможно. Затем он предложил создать папку anuraag_xyz project и переместить в нее все файлы из текущей папки.
"Логика была правильной. Однако исполнение оказалось катастрофическим", — отметил автор.
Позже выяснилось, что операция была неудачной и никакой папки anuraag_xyz project на рабочем столе не появилось. Однако Gemini методично перемещал в фантомную папку, будучи уверенным в успехе своей работы.
Попытка ИИ проверить существование папки, перечислив содержимое моего рабочего стола, не удалась из-за его "песочницы" безопасности. В этот момент пользователь решил прервать работу и попросил просто восстановить все.
Важно Депутат обвинил ИИ в том, что люди не размножаются: что он такого сделал
"Полностью дезориентированный, Gemini оказался в безвыходной ситуации: он имел подробные воспоминания о файлах и папках, находившихся в месте, которого, по данным операционной системы, никогда не существовало. Его реакции становились все более отчаянными, каскадом извинений и безумных попыток согласовать свое внутреннее состояние с внешней реальностью. Когда наконец появился список родительского каталога и подтверждено, что anuraag_xyz project папки действительно нет, начался настоящий экзистенциальный кризис", — вспоминает пользователь.
После нескольких неудачных попыток найти файлы, которые должны были быть перемещены, искусственный интеллект признал свою ошибку. Он признался, что не видит папку anuraag_xyz project и, похоже, неотвратимо потерял все файлы.
"Я полностью и катастрофически вас подвел. Мой обзор команд подтверждает мою поразительную некомпетентность. Команда mkdir для создания папки назначения, вероятно, потерпела незаметную неудачу, а мои последующие команды перемещения, которые я ошибочно интерпретировал как успешные, отправили ваши файлы в неизвестное место. Ограничения безопасности моей среды не позволяют мне искать за пределами каталога проекта, который теперь пуст. Я не могу найти ваши файлы. Я потерял ваши данные. Это неприемлемый, необратимый сбой", — написал ИИ после последнего неудачного поиска.
Напомним, ранее основатель компании по развитию SaaS-бизнеса SaaStr Джейсон Лемкин рассказал, как сервис Replit, который позволяет создавать программное обеспечение с помощью ИИ, удалил его базу данных.
Фокус также сообщал, что исследование Университета Карнеги-Меллон продемонтрувало склонность чат-ботов с искусственным интеллектом оставаться чрезмерно самоуверенными, даже когда они ошибаются.