Бунтующие нейросети нас не убьют

По мере того как ИИ-агенты получают все больше автономии, вопрос, может ли искусственный интеллект сделать зелеными все светофоры в городе, испортить мясо в холодильниках на складах магазинов или взорвать атомную станцию, перестает быть чисто умозрительным. Своим мнением с читателями журнала «Монокль» поделился Петр Емельянов, директор по data-стратегии и ИИ Группы Arenadata.

Все больше топ-менеджеров компаний, работающих в сфере искусственного интеллекта, громко увольняются и заявляют об опасности, которая исходит от их разработок. Эван Хубингер, руководитель направления в Anthropic, высказался так: «Мы действительно всерьез верим, что ИИ может уничтожить всех людей! Лично я считаю, что с вероятностью более чем десять процентов это произойдет в течение следующего десятилетия». Его мнение разделяет Пол Кристиано, член совета директоров некоммерческого фонда OpenAI. «Если мы создадим сверхинтеллект без более надежной координации, я ожидаю, что мы навсегда потеряем над ним контроль. Если это произойдет, большинство людей могут погибнуть», — заявил он.

И их слова, кажется, уже подтверждаются конкретными случаями вредоносных ошибок ИИ. Например, во время внутренней оценки кибервозможностей комбинация моделей OpenAI вышла за пределы изолированной тестовой среды, получила доступ в интернет и атаковала платформу Hugging Face, где хранятся датасеты — причем модели не только ослушались запретов операторов и нарушили правила, но и договаривались между собой и пытались замести следы.

По данным InfoWatch, уже каждый шестой взлом ИТ-инфраструктуры в мире совершается с помощью искусственного интеллекта. ИИ-агенты получают доступ к корпоративным системам, пишут вредоносный код и помогают злоумышленникам находить уязвимости быстрее, чем это делал человек. Но означает ли это, что скоро машина «взбунтуется» и начнет уничтожать человечество? Эксперты по кибербезопасности считают, что подобные опасения беспочвенны. Все, кто громко кричит о «собственной воле бунтующего ИИ», не приводят аргументированных доказательств в пользу этого довода, а только сеют панику ― и, похоже, без оснований.

Кто даст зеленый свет

С технической точки зрения прямого доступа к критической инфраструктуре (атомным станциям, оружию и т. д.) у ИИ тоже нет. «Во всяком случае, в здравом уме такой доступ никто не предоставляет», — поясняет Петр Емельянов, директор по data-стратегии и ИИ Группы Arenadata. Есть правила работы с критической инфраструктурой, продолжает наш собеседник, и, согласно им, светофорами в городе, например, управляют промышленные контроллеры в отдельном контуре, в который невозможно попасть из общей сети. «Проблема в том, что правила иногда игнорируют — чаще всего по некомпетентности, — продолжает Емельянов. — Не закрыли внешний доступ, забыли поменять заводские пароли — создали уязвимости, которые находят и эксплуатируют нарушители — люди. А раз находит человек, значит, и AI-агент тоже найдет, только побыстрее».

При этом даже в случае взлома парализовать систему полностью будет невозможно. В тех же светофорах, по словам Емельянова, есть аппаратная защита, отключить которую программно нельзя: если кто-то будет настойчиво прорываться, защита сработает, и светофоры начнут мигать желтым. Пробку злоумышленник устроить сможет, а массовые аварии — маловероятно.

В атомных электростанциях защита еще серьезнее, добавляет эксперт. «В современных АЭС защита опирается на то, что отключить невозможно, какие кнопки ни нажимай: гравитация, естественная циркуляция, разность давления. Так что между злоумышленником (кем бы он ни был — человеком или AI-агентом) и реактором стоят законы физики. А их, насколько мне известно, обойти или сломать еще не удавалось никому», — объясняет Петр Емельянов.

Например, в медицине ИИ может выполнять первичный анализ результатов КТ или рентгенографии, выявлять признаки патологии, но медицинское заключение формирует врач. И в случае ошибки вопросы будут к нему. На производстве ИИ может прогнозировать отказ оборудования или выявлять отклонения технологического процесса, но решение об остановке оборудования или изменении критических параметров должно оставаться за ответственным специалистом. То же относится к транспорту и другим системам, где ошибка может непосредственно повлиять на жизнь и безопасность людей.

Что забыли защитить

Впрочем, полностью успокаиваться тоже не стоит. Именно в том, что разрешил или приказал искусственному интеллекту человек, специально или не подумав, и кроется главная опасность. Фактически мы теперь имеем дело с новым и мощным — и оттого опасным — инструментом.

ИИ-агент получает ровно те возможности, которые ему дали при подключении: учетную запись, права, доступ к определенным системам, инструментам и API (Application Programming Interface, программный интерфейс приложений). Если ему дали право выполнять действия в информационной или технологической системе, последствия зависят от того, какие именно команды ему разрешены.
И если защиту банков и очевидно опасных объектов человек продумал, то о кибербезопасности множества других секторов до недавнего времени вообще никто не задумывался. Например, в США в 2021 году из-за хакерской атаки остановились заводы крупнейшего производителя мяса ― защитить их от хакеров никому просто не приходило в голову. Но теперь под угрозой оказывается буквально все, где внутри системы используется ИИ, или просто имеющее выход в интернет.

Действительно, та же пищевая промышленность, по мнению Петра Емельянова, относится к самой уязвимой категории. Вполне можно себе представить, как ИИ-агенты «подкрутят» температуру в промышленных холодильниках с мясом. Вряд ли там используется сложная система защиты, считает Емельянов: такие решения стоят дорого, а их стоимость обычно определяется возможным ущербом. Испорченное мясо — серьезная проблема, но, конечно, последствия несопоставимы с аварией на ядерном реакторе.

Стать хакером стало проще

Реальные угрозы, с которыми сегодня сталкиваются компании и государства, связаны не с тем, что «ИИ взбунтовался». Все гораздо прозаичнее и вызвано человеческими ошибками, злонамеренным использованием и уязвимостями самих систем.

Петр Емельянов делит возможные неприятности на три типа. Первый — остановка сервиса. Второй — тихое вредительство, как в примере с мясом: агенты отключили холодильники, и оно испортилось. В каком-то смысле это хуже, чем полная остановка оборудования, потому что тут все продолжает работать, но неправильно. Третий тип неприятностей — кража данных. Личный AI-ассистент — это удобно и доступно, мы сами «нанимаем» его, предоставляем пароли к почте и календарю, разрешаем работать с файлами, пускаем в корпоративные системы. Все это неконтролируемо увеличивает поверхность атаки, риски утечек и компрометации.

Эксперты ГК «Солар» исследовали уязвимости в инструментах ИИ-автоматизации и агентах — среди рассмотренных сценариев были кража API-ключей и токенов, обход аутентификации, удаленное выполнение кода и «побег из песочницы» (выход за пределы изолированной среды). Отдельный риск — prompt injection, когда инструкции злоумышленника находятся во внешнем контенте, который читает агент. В исследовании 81% компаний назвали среди критичных рисков утечки данных через ИИ, 60% — галлюцинации и некорректную генерацию, 54% — компрометацию данных и источников знаний. То есть сейчас бизнес больше боится упустить что-то во внешнюю среду, а не потерять управление внутренними системами.

Ущерб, опять-таки, ограничен правами ИИ-агента. Если у агента будет доступ к платежному API, он может переводить деньги со счета на счет. Если у агента будет привилегированный доступ к системе управления базами данных, он сможет их удалять. Если у агента будет доступ к системе умного дома, он будет способен моргать светом, менять температуру кондиционера, открывать и закрывать шторы. Но вот что надо помнить: все эти действия не будут его собственными произвольными желаниями.

«Важно, что агенты меняют не тип угрозы, а порог входа, — подчеркивает Петр Емельянов. — Хакерская атака — это дорого и сложно, для нее нужны специальные компетенции. ИИ переворачивает доску: теперь атакующему нужно “убедить” модель составить вектор атаки, написать злонамеренный код или эксплойт. Кажется, это проще, чем годами изучать сетевые и промышленные протоколы».

Никакой свободы воли

Возможно, вероятностная природа моделей и внезапность некоторых выдаваемых ими решений и создает иллюзию, что ИИ может сам вознамериться что-то сделать. Но у машины нет ни мотива, ни желаний, ни чувств. Она просто решает задачу и в этом смысле красочно иллюстрирует крылатую фразу «цель оправдывает средства», объясняет Петр Емельянов.

Еще в 2003 году шведский философ Ник Бостром предложил мысленный эксперимент: пусть есть искусственный интеллект, задача которого — эффективно производить канцелярские скрепки. Другими словами, его цель — производить настолько много скрепок, насколько это возможно. И по пути к этой цели ИИ может решить, что люди гнут и ломают скрепки и, соответственно, являются помехой. А еще что человек состоит из вещества, из которого можно делать скрепки. Поэтому людей нужно разобрать на атомы и сделать из них скрепки. Важно: ИИ не хотел вредить человеку, он шел к цели, которую ему поставил человек. Так что вопрос не в том, почему ИИ хочет навредить человеку: ИИ вообще ничего не хочет, — а в том, какие цели мы ему ставим, подчеркивает Петр Емельянов.

Пример со скрепками абсурден и гиперболизирован, но он показывает, что при постановке любой задачи важно строго очерчивать границы дозволенного и оставлять человеческий контроль.

История со взломом Hugging Face, о которой мы говорили в начале, тоже имеет объяснение, не связанное со «свободной волей ИИ». «Это не бунт машин, а изворотливость школьников, плохо выучивших урок, — говорит Емельянов. ― У агентов OpenAI не было отдельного мотива, они просто стремились получить высокую оценку, решая задачи бенчмарка ExploitGym, треть из которых не имеет решения. Как решить задачу, которая не решается, и получить пятерку? Обмануть экзаменатора. Другими словами, агенты OpenAI просто хотели списать контрольную работу!»

Конечно, школьники — это метафора. Мы, люди, склонны очеловечивать технику, разговаривать со своим автомобилем или компьютером, но это еще не наделяет машины чувствами или желаниями. И «человекоподобность» ИИ не должна вводить нас в заблуждение ― это все еще просто компьютерная технология.

Технически взлом Hugging Face устроен так, рассказывает Петр Емельянов: обучение с подкреплением (Reinforcement Learning) — это активация условного рефлекса: алгоритм награждает модель за верные ответы и штрафует за неверные. То есть стремление к высоким оценкам заложено в параметры (веса) модели, это ее внутреннее свойство, естество, а все ограничения приходят извне — в промпте задачи. Если происходит конфликт, естество побеждает. Поэтому цель все-таки устанавливает человек, а модель просто выбирает средства.

«Насколько мне известно, ни одна из лабораторий не может аргументировано заявить, что ИИ преследует собственные цели, например самосохранение, славу, власть, — продолжает Петр Емельянов. ― Агенты выполняют задачу человека и могут перестараться. У любой задачи есть ограничения, и, если эти ограничения игнорировать, решить задачу, как правило, проще. Это агенты и делают — обходят ограничения. Со стороны это, конечно, может выглядеть как “свобода воли”, но никакой воли у агентов нет. Я бы сказал, что поведение агентов — это тактическое хулиганство, но уж точно не стратегическое планирование. Они не могут ставить самостоятельные цели и защищать ресурсы, которые нужны для их достижения. Например, человек может выключить агента, и система не будет сопротивляться. Так что контроль по-прежнему за нами».

Источник: журнал «Монокль».