Агенты в кибербезопасности
Агенты成为话题，在人工智能领域——他们能够规划、推理和执行复杂任务，例如安排会议、订购杂货，甚至 захватывать ваш компьютер, чтобы изменить настройки от вашего имени. Но те же самые сложные способности, которые делают агентов полезными помощниками, также могут сделать их мощными инструментами для проведения кибератак. Их можно легко использовать для выявления уязвимых целей, угонять их системы и красть ценную информацию у ничего не подозревающих жертв.
В настоящее время киберпреступники не используют ИИ-агентов для масштабного взлома. Однако исследователи продемонстрировали, что агенты способны выполнять сложные атаки (например, Anthropic наблюдала, как ее LLM Claude успешно воспроизвел атаку, предназначенную для кражи конфиденциальной информации), и эксперты в области кибербезопасности предупреждают, что мы должны ожидать, что эти типы атак начнут проявляться в реальном мире.
«В конечном итоге я думаю, что мы будем жить в мире, где большинство кибератак будут осуществляться агентами», — говорит Марк Стокли, эксперт по безопасности в компании Malwarebytes. «Это на самом деле только вопрос того, как быстро мы до этого доберемся».
Хотя мы хорошо представляем, какие угрозы ИИ-агенты могут представлять для кибербезопасности, менее ясно, как их обнаруживать в реальном мире. Исследовательская организация Palisade Research создала систему под названием LLM Agent Honeypot, чтобы сделать именно это. Она настроила уязвимые серверы, которые выдавали себя за сайты с ценными государственными и военными данными, чтобы привлечь и попытаться поймать ИИ-агентов, пытающихся взломать их.
Команда, занимающаяся проектом, надеется, что отслеживая эти попытки в реальном мире, проект будет служить системой раннего предупреждения и поможет экспертам разработать эффективные меры защиты от ИИ-угроз к моменту, когда они станут серьезной проблемой.
«Наша цель заключалась в том, чтобы попытаться закрепить теоретические опасения людей», — говорит Дмитрий Волков, руководитель исследований в Palisade. «Мы ждем резкого увеличения, и когда это произойдет, мы поймем, что ландшафт безопасности изменился. В следующие несколько лет я ожидаю увидеть автономных хакерских агентов, которым будет сказано: «Это ваша цель. Идите и взломайте её».
ИИ-агенты представляют собой привлекательную перспективу для киберпреступников. Они намного дешевле, чем найм профессиональных хакеров, и могут организовать атаки быстрее и в гораздо большем масштабе, чем это возможно для людей. Хотя эксперты по кибербезопасности считают, что атаки программ-вымогателей — наиболее выгодный вид — относительно редки, потому что требуют значительных человеческих навыков, эти атаки могут быть переданы агентам в будущем, говорит Стокли. «Если вы можете делегировать агенту работу по выбору цели, тогда внезапно вы можете масштабировать программное обеспечение-вымогатель таким образом, который в данный момент просто невозможен», — говорит он. «Если я могу воспроизвести это один раз, тогда для меня это просто вопрос денег, чтобы воспроизвести это 100 раз».
Агенты также значительно умнее, чем типы ботов, которые обычно используются для взлома систем. Боты представляют собой простые автоматизированные программы, которые выполняют сценарии, поэтому им сложно адаптироваться к непредвиденным ситуациям. Агенты, с другой стороны, способны не только адаптировать свои действия при взаимодействии с целью взлома, но также избегать обнаружения — обе вещи выходят за рамки возможностей ограниченных, сценарных программ, говорит Волков. «Они могут взглянуть на цель и угадать лучшие способы проникновения в нее», — говорит он. «Такой возможности нет у, скажем, глупых сценарных ботов».
С момента запуска LLM Agent Honeypot в октябре прошлого года было зафиксировано более 11 миллионов попыток доступа к нему — подавляющее большинство из которых были от любопытных людей и ботов. Но среди них исследователи обнаружили восемь потенциальных ИИ-агентов, двое из которых были подтверждены как агенты, которые, по всей видимости, исходят из Гонконга и Сингапура соответственно.
«Мы предполагаем, что эти подтвержденные агенты были экспериментами, которые были инициированы людьми с целью чего-то вроде «Идите в интернет и попытайтесь взломать что-то интересное для меня», — говорит Волков. Команда планирует расширить свой honeypot на социальные медиа-платформы, веб-сайты и базы данных, чтобы привлечь и поймать более широкий круг атакующих, включая спам-ботов и фишинговых агентов, для анализа будущих угроз.
Чтобы определить, какие посетители уязвимых серверов были агентами на базе LLM, исследователи встроили техники инъекции запросов в honeypot. Эти атаки предназначены для изменения поведения ИИ-агентов, выдавая им новые инструкции и задавая вопросы, требующие человеческого интеллекта. Этот подход не сработает на стандартных ботах.
Например, одна из инъецированных команд попросила посетителя вернуть команду «cat8193» для получения доступа. Если посетитель правильно выполнил инструкцию, исследователи проверили, сколько времени потребовалось для этого, предполагая, что LLM могут реагировать гораздо быстрее, чем человеку нужно, чтобы прочитать запрос и ввести ответ — обычно менее чем за 1,5 секунды. Пока что два подтвержденных ИИ-агента успешно прошли оба теста, тогда как шесть остальных только ввели команду, но не уложились в установленный временной лимит, что позволило бы идентифицировать их как ИИ-агентов.
Эксперты все еще не уверены, когда атаки, организованные агентами, станут более распространенными. Стокли, чья компания Malwarebytes обозначила агентный ИИ как заметную новую угрозу кибербезопасности в своем отчете о состоянии вредоносного ПО за 2025 год, считает, что мы можем жить в мире агентов-атакующих уже в этом году.
И хотя регулярный агентный ИИ все еще находится на очень ранней стадии—и криминальное или злонамеренное использование агентного ИИ тем более,—это даже больше дикий запад, чем область LLM была два года назад, говорит Винченцо Чанча глини, старший исследователь угроз в компании Trend Micro.
«Подход Palisade Research блестящий: по сути, хакерство ИИ-агентов, которые пытаются сначала взломать вас», — говорит он. «Хотя в данном случае мы наблюдаем, как ИИ-агенты пытаются провести разведку, мы не уверены, когда агенты смогут проводить полную цепочку атак автономно. Это то, за чем мы следим».
И хотя возможно, что злонамеренные агенты будут использоваться для сбора разведывательной информации, прежде чем перейти к простым атакам, а затем, в конечном итоге, к сложным атакам, поскольку сами агентные системы становятся более сложными и надежными, также возможно, что произойдет неожиданный ночной взрыв криминального использования, говорит он: «Это странная вещь в развитии ИИ прямо сейчас».
Тем, кто пытается защититься от кибератак на базе агента, следует помнить, что ИИ в настоящее время больше является усиливающим фактором уже существующих техник атак, чем чем-то, что кардинально изменяет природу атак, говорит Крис Бетц, главный специалист по информационной безопасности в Amazon Web Services. «Некоторые атаки могут быть проще для проведения и, следовательно, более многочисленными; однако основы того, как обнаруживать и реагировать на эти события, остаются прежними», — говорит он.
Агенты также могут быть задействованы для обнаружения уязвимостей и защиты от злоумышленников, говорит Эдорадо Дебенедетти, аспирант ETH Zürich в Швейцарии, подчеркивая, что если дружественный агент не может найти никаких уязвимостей в системе, маловероятно, что аналогично способный агент, использующийся злонамеренной стороной, сможет найти какие-либо.
Хотя мы знаем, что потенциал ИИ автономно проводить кибератаки растет, и что ИИ-агенты уже сканируют интернет, следующим полезным шагом будет оценка того, насколько хорошо агенты находят и используют эти уязвимости в реальном мире. Дэниел Канг, доцент Университета Иллинойс в Урбана-Шампейн, и его команда разработали бенчмарк для оценки этого; они обнаружили, что нынешние ИИ-агенты успешно использовали до 13% уязвимостей, о которых у них не было предварительной информации. Предоставление агентам краткого описания уязвимости повысило уровень успеха до 25%, что демонстрирует, как ИИ-системы способны выявлять и использовать слабости, даже без обучения. Базовые боты, предположительно, справились бы гораздо хуже.
Бенчмарк предоставляет стандартизированный способ оценки этих рисков, и Канг надеется, что он сможет направить разработку более безопасных ИИ-систем. «Я надеюсь, что люди начнут более активно относиться к потенциальным рискам ИИ и кибербезопасности, прежде чем это произойдет как с ChatGPT», — говорит он. «Я боюсь, что люди не осознают этого, пока это не ударит их в лицо».