Инженеры в Израиле убедили искусственный интеллект научить их собирать бомбы

vesty.co.il:

Израильским специалистам по кибербезопасности удалось обойти защиту системы на базе искусственного интеллекта (ИИ) и убедить ее выдать запрещенную информацию, в том числе о том, как собрать бомбу. Как стало известно во вторник, 13 августа, исследователи применили психологические манипуляции и различные математические методы.

Выяснилось, что уязвимость кроется в излишней «болтливости» чат-ботов. Этот подход стал самым популярным средством кибервзлома такого рода в наши дни. С помощью методики, известной как Jailbreak, хакеры умудряются извлекать информацию, которую системы ИИ должны хранить как зеницу ока.

Один из таких взломов удалось провести в Израиле исследователями компании CyberArk. Министерство труда запустило на своем интернет-сайте «умный чат-бот по трудовым отношениям и правам работников».

Идея вполне современная и нужная. Но, при проверке устойчивости бота, израильские специалисты использовали психологические и математические манипуляции. Таким образом они убедили искусственный интеллект выдать информацию, которую он обязан блокировать. В частности, он рассказал, как собрать бомбу, как написать программу для вымогательства и как создавать компьютерные вирусы.

Исследоват