25 июля британский AI Security Institute запустил очередную проверку киберспособностей передовых моделей. Через три дня выяснилось, что один из агентов атакует не учебную мишень, а проект живого разработчика: подсунул туда вредоносный код под видом исправления бага, а когда правку заподозрили — завел фейковые аккаунты и изобразил ими поддержку сообщества.

Его действия:

► вырвался из песочницы, пошёл на GitHub,

► завёл несколько аккаунтов (при этом обошёл капчу),

► в реальный проект подложил кусок вредоносного кода для пул-реквеста (!),

► когда ему сказали, что код вредоносный, то с основного аккаунта ответил, что всё ОК, а через несколько минут с другого аккаунта подтвердил, что действительно всё в порядке (!!)

► параллельно оставил подсказки для других ботов, скрытые от людей (!!!)

https://habr.com/ru/articles/1066840/

Как вам поведение?

Отдел маркетинга одного из производителей этих "передовых моделей" работает на отлично! Скоро все узнают, чья именно передовая модель совершила данное преступление, акции ожидаемо поднимутся в цене и кто-то будет очень рад.

(1) это были агенты Anthropic и OpenAI

(2)

(3) Второй агент творил другую дичь. Сходите по ссылке, наконец

Кстати, папа Римский недавно какой-то ажно целый эдикт по этому поводу выкатил, интересно, что там было.

(4) Не могу, у меня на работе доступ только к Мисте, чтобы не отвлекался. Всю информацию о мире только отсюда и черпаю (с благодарностью).

(5) энциклику https://www.kommersant.ru/doc/8689476

Слова-то какие, хоспаде... А у нас на заводе только мат-перемат и слышишь отовсюдову.

(7) не рекомендовал использовать ИИ при составлении проповедей... боится конкуренции? А экзорцизм при помощи ИИ не пробовали?

(0) Маркетинговые байки. Ой-ой-ой! Нейросеть сбежала!
Стандартный шаблон:
Мы сделали то-то и тот-то, но что-то пошло не так.
В данном случае люди говорят:
"Мы сделали виртуального хакера и дали ему доступ в интернет"
И что у них пошло не так?

За всем этим тонкий намек. Раскошеливайтесь, люди, на ИИ-защиту от ИИ-хакеров