ИИ и машинное обучение улучшают кибербезопасность, помогая аналитикам-людям сортировать угрозы и закрывать уязвимости быстрее. Но они также помогают субъектам угроз запускать более масштабные и сложные атаки.
Машинное обучение и искусственный интеллект (ИИ) становятся основными технологиями для инструментов обнаружения и реагирования на угрозы. Способность обучаться на лету и автоматически адаптироваться к меняющимся киберугрозам дает командам по кибербезопасности преимущество.
Согласно опросу, проведенному Sapio Research по заказу Vanta, 62% организаций планируют вложить больше средств в безопасность ИИ в течение следующих 12 месяцев. Однако некоторые субъекты угроз также используют машинное обучение и ИИ для масштабирования своих кибератак, обхода контроля безопасности и поиска новых уязвимостей — все это беспрецедентными темпами и с разрушительными результатами.
Согласно ежегодному опросу хакеров Bugcrowd, опубликованному в октябре, 77% хакеров используют ИИ для взлома, а 86% говорят, что это в корне изменило их подход к взлому. Сегодня 71% говорят, что технологии ИИ имеют ценность для взлома, по сравнению с 21% в 2023 году.
По данным компании по кибербезопасности SecureOps, существуют инструменты искусственного интеллекта, специально созданные для борьбы с преступностью, включая FraudGPT и WormGPT.
«Gen AI, а также ИИ в более широком смысле, снижают планку возможностей хакеров по развертыванию и разработке серий атак», — говорит Ванесса Лион, глобальный лидер по кибер- и цифровым рискам в Boston Consulting Group. А недетерминированные аспекты генеративного ИИ затрудняют сохранение актуальности традиционных защит на основе правил, добавляет она.
Фактически, согласно октябрьскому отчету Keeper Security, 51% руководителей ИТ-отделов и служб безопасности утверждают, что атаки с использованием искусственного интеллекта представляют собой самую серьезную угрозу для их организаций.
Вот десять наиболее распространенных способов использования злоумышленниками технологий искусственного интеллекта и машинного обучения.
Если используемый спам-фильтр указывает причины, по которым сообщение электронной почты не прошло, или генерирует какую-то оценку, то злоумышленник может использовать это для изменения своего поведения. Они использовали бы законный инструмент, чтобы сделать свои атаки более успешными. «Если вы отправляете материал достаточно часто, вы можете восстановить, какой была модель, а затем вы можете настроить свою атаку, чтобы обойти эту модель», — говорит Монтенегро.
Уязвимы не только спам-фильтры. Любой поставщик безопасности, который предоставляет оценку или какой-либо другой вывод, может потенциально быть использован злоумышленниками, говорит Монтенегро. «Не у всех из них есть эта проблема, но если вы не будете осторожны, у них будет полезный вывод, который кто-то может использовать в вредоносных целях».
Машинное обучение позволяет злоумышленникам креативно настраивать фишинговые письма, чтобы они не отображались как массовые письма и были оптимизированы для привлечения внимания и кликов. Они не останавливаются только на тексте письма. ИИ можно использовать для создания реалистичных фотографий, профилей в социальных сетях и других материалов, чтобы сделать общение максимально законным.
Генеративный ИИ выводит это на новый уровень. Согласно опросу, опубликованному OpenText, 45% компаний столкнулись с ростом фишинга из-за ИИ, а 55% руководителей высшего звена утверждают, что их компании подвергаются большему риску программ-вымогателей из-за распространения использования ИИ среди субъектов угроз. Другое исследование, проведенное Keeper Security, показало, что 84% руководителей ИТ и безопасности говорят, что инструменты ИИ затрудняют обнаружение фишинговых атак.
На самом деле, за последние пару лет было предано огласке несколько громких случаев, когда поддельные аудиозаписи обходились компаниям в сотни тысяч — или миллионы — долларов. «Люди получали телефонные звонки от своего босса — которые были поддельными», — говорит Мурат Кантарджиоглу, бывший профессор компьютерных наук в Техасском университете.
Чаще всего мошенники используют ИИ для создания реалистичных фотографий, профилей пользователей, электронных писем — даже аудио и видео — чтобы их сообщения казались более правдоподобными. Это большой бизнес. По данным ФБР, мошенничество с компрометацией деловой электронной почты привело к убыткам на сумму более 55 миллиардов долларов за последние десять лет. Еще в 2021 году в СМИ появились сообщения о банке в Гонконге, который обманом перевел 35 миллионов долларов преступной группировке, потому что банковскому служащему позвонил директор компании, с которым он общался раньше. Он узнал голос, поэтому разрешил перевод. Сегодня хакеры могут сделать видео Zoom, которое трудно отличить от реального человека.
По данным опроса, проведенного страховой компанией Nationwide в конце сентября, 52% владельцев малого бизнеса признались, что были обмануты поддельными изображениями или видео, а 9 из 10 утверждают, что мошенничество с использованием генеративного ИИ становится все более изощренным.
И крупные компании тоже не застрахованы. Согласно опросу Teleport, имитация ИИ — самый сложный вектор кибератак, от которого сложно защититься.
Злоумышленники могут использовать эти инструменты не для защиты от атак, а для настройки своего вредоносного ПО до тех пор, пока оно не сможет избежать обнаружения. «У моделей ИИ много слепых зон», — говорит Кантарчиоглу. «Вы можете изменить их, изменив характеристики своей атаки, например, количество отправляемых пакетов или ресурсы, которые вы атакуете».
Злоумышленники используют не только инструменты безопасности на базе ИИ. ИИ является частью множества различных технологий. Например, подумайте о том, что пользователи часто учатся определять фишинговые письма, ища грамматические ошибки. Проверки грамматики на базе ИИ, такие как Grammarly, могут помочь злоумышленникам улучшить свои тексты, в то время как генеративные инструменты ИИ, такие как ChatGPT, могут писать убедительные письма с нуля.
Многие организации не осознают, какой объем данных там есть. И это не просто списки взломанных паролей, распространяемые в даркнете, и посты сотрудников в социальных сетях. Например, когда компании размещают объявление о вакансии или призыв к подаче предложений, они могут раскрывать типы используемых технологий, говорит Скэнлон. «Раньше было трудоемко собирать все эти данные и проводить их анализ, но сейчас многое из этого можно автоматизировать».
По данным опроса хакеров Bugcrowd, 62% используют ИИ для анализа данных, 61% — для автоматизации задач, а 38% — для выявления уязвимостей.
Теперь такие автономные агенты доступны каждому благодаря коммерческим предложениям от Microsoft и нескольким платформам с открытым исходным кодом, которые не имеют никаких ограждений, чтобы не допустить их злонамеренного использования. «Раньше противнику требовались человеческие точки соприкосновения для проведения атаки, поскольку большинство атак включают несколько этапов», — говорит Скэнлон из CMU. «Если они могут задействовать агентов для выполнения этих этапов, это определенно надвигающаяся угроза — ну, более чем надвигающаяся. Это одна из вещей, которую ИИ делает реальной».
Например, взломанная учетная запись пользователя может входить в систему каждый день в 2 часа ночи, чтобы выполнить безобидную работу, заставляя систему думать, что нет ничего подозрительного в работе в 2 часа ночи, и уменьшать количество препятствий для обеспечения безопасности, которые должен преодолеть пользователь.
Это похоже на то, как чат-бот Tay от Microsoft был обучен быть расистом в 2016 году. Тот же подход можно использовать, чтобы научить систему тому, что определенный тип вредоносного ПО безопасен или что определенное поведение бота является совершенно нормальным.
Все эти методы являются причиной того, почему базовая гигиена кибербезопасности, такая как исправление, антифишинговое обучение и микросегментация, продолжает оставаться жизненно важной. «И это одна из причин, почему так важна глубокая защита», — говорит Элли Меллен, аналитик Forrester Research. «Вам нужно установить несколько блокпостов, а не только один, который злоумышленники в конечном итоге используют против вас в своих интересах».
И HP не одинока. Согласно отчету Vanta, 32% опрошенных организаций отмечают рост вредоносного ПО на базе ИИ.
Исследователи даже продемонстрировали, что генеративный ИИ можно использовать для обнаружения уязвимостей нулевого дня .
И, как и законные разработчики могут использовать ИИ для поиска проблем в своем коде, так же могут это делать и злоумышленники, говорит Скэнлон из CMU. Это может быть открытый исходный код, доступный в публичных репозиториях, или код, полученный другими способами. «Хакеры могут взять код и запустить его через ChatGPT или какую-то другую основополагающую модель и попросить его найти слабые места в коде, которые можно будет использовать», — говорит он, добавляя, что ему известно об этом использовании как в исследовательских, так и в злонамеренных целях.
Сегодня это может сделать каждый.
Особенно сложно защищаться от него, поскольку ИИ сейчас развивается быстрее любой технологии. «Это движущаяся цель», — сказал Лион из Boston Consulting Group. «Компаниям следует уделять первостепенное внимание поддержанию уровня понимания ландшафта угроз и адаптации наборов навыков».
Источник
Машинное обучение и искусственный интеллект (ИИ) становятся основными технологиями для инструментов обнаружения и реагирования на угрозы. Способность обучаться на лету и автоматически адаптироваться к меняющимся киберугрозам дает командам по кибербезопасности преимущество.
Согласно опросу, проведенному Sapio Research по заказу Vanta, 62% организаций планируют вложить больше средств в безопасность ИИ в течение следующих 12 месяцев. Однако некоторые субъекты угроз также используют машинное обучение и ИИ для масштабирования своих кибератак, обхода контроля безопасности и поиска новых уязвимостей — все это беспрецедентными темпами и с разрушительными результатами.
Согласно ежегодному опросу хакеров Bugcrowd, опубликованному в октябре, 77% хакеров используют ИИ для взлома, а 86% говорят, что это в корне изменило их подход к взлому. Сегодня 71% говорят, что технологии ИИ имеют ценность для взлома, по сравнению с 21% в 2023 году.
По данным компании по кибербезопасности SecureOps, существуют инструменты искусственного интеллекта, специально созданные для борьбы с преступностью, включая FraudGPT и WormGPT.
«Gen AI, а также ИИ в более широком смысле, снижают планку возможностей хакеров по развертыванию и разработке серий атак», — говорит Ванесса Лион, глобальный лидер по кибер- и цифровым рискам в Boston Consulting Group. А недетерминированные аспекты генеративного ИИ затрудняют сохранение актуальности традиционных защит на основе правил, добавляет она.
Фактически, согласно октябрьскому отчету Keeper Security, 51% руководителей ИТ-отделов и служб безопасности утверждают, что атаки с использованием искусственного интеллекта представляют собой самую серьезную угрозу для их организаций.
Вот десять наиболее распространенных способов использования злоумышленниками технологий искусственного интеллекта и машинного обучения.
1. Спам
Защитники десятилетиями используют машинное обучение для обнаружения спама, говорит Фернандо Монтенегро, аналитик Omdia. «Предотвращение спама — лучший начальный вариант использования машинного обучения».Если используемый спам-фильтр указывает причины, по которым сообщение электронной почты не прошло, или генерирует какую-то оценку, то злоумышленник может использовать это для изменения своего поведения. Они использовали бы законный инструмент, чтобы сделать свои атаки более успешными. «Если вы отправляете материал достаточно часто, вы можете восстановить, какой была модель, а затем вы можете настроить свою атаку, чтобы обойти эту модель», — говорит Монтенегро.
Уязвимы не только спам-фильтры. Любой поставщик безопасности, который предоставляет оценку или какой-либо другой вывод, может потенциально быть использован злоумышленниками, говорит Монтенегро. «Не у всех из них есть эта проблема, но если вы не будете осторожны, у них будет полезный вывод, который кто-то может использовать в вредоносных целях».
2. Улучшение фишинговых писем
Злоумышленники не просто используют инструменты безопасности машинного обучения, чтобы проверить, могут ли их сообщения пройти спам-фильтры. Они также используют машинное обучение для создания этих писем в первую очередь, говорит Адам Мэлоун, бывший партнер EY. «Они рекламируют продажу этих услуг на криминальных форумах. Они используют их для создания лучших фишинговых писем. Для создания поддельных персон для проведения мошеннических кампаний». Эти услуги специально рекламируются как использующие машинное обучение, и это, вероятно, не просто маркетинг. «Доказательство в пудинге», — говорит Мэлоун. «Они определенно лучше».Машинное обучение позволяет злоумышленникам креативно настраивать фишинговые письма, чтобы они не отображались как массовые письма и были оптимизированы для привлечения внимания и кликов. Они не останавливаются только на тексте письма. ИИ можно использовать для создания реалистичных фотографий, профилей в социальных сетях и других материалов, чтобы сделать общение максимально законным.
Генеративный ИИ выводит это на новый уровень. Согласно опросу, опубликованному OpenText, 45% компаний столкнулись с ростом фишинга из-за ИИ, а 55% руководителей высшего звена утверждают, что их компании подвергаются большему риску программ-вымогателей из-за распространения использования ИИ среди субъектов угроз. Другое исследование, проведенное Keeper Security, показало, что 84% руководителей ИТ и безопасности говорят, что инструменты ИИ затрудняют обнаружение фишинговых атак.
3. Лучший подбор пароля
Преступники также используют машинное обучение, чтобы лучше угадывать пароли. «Мы увидели доказательства этого, основанные на частоте и показателях успешности работы систем угадывания паролей», — говорит Мэлоун. Преступники создают лучшие словари для взлома украденных хэшей. Они также используют машинное обучение для определения элементов управления безопасностью, «чтобы они могли делать меньше попыток и угадывать лучшие пароли, а также увеличивать шансы на то, что они успешно получат доступ к системе».4. Глубокие фейки
Самым пугающим применением искусственного интеллекта являются инструменты глубокой подделки, которые могут генерировать видео или аудио, которые трудно отличить от настоящего человека. «Возможность имитировать чей-то голос или лицо очень полезна против людей», — говорит Монтенегро. «Если кто-то притворяется, что говорит как я, вы можете на это попасться».На самом деле, за последние пару лет было предано огласке несколько громких случаев, когда поддельные аудиозаписи обходились компаниям в сотни тысяч — или миллионы — долларов. «Люди получали телефонные звонки от своего босса — которые были поддельными», — говорит Мурат Кантарджиоглу, бывший профессор компьютерных наук в Техасском университете.
Чаще всего мошенники используют ИИ для создания реалистичных фотографий, профилей пользователей, электронных писем — даже аудио и видео — чтобы их сообщения казались более правдоподобными. Это большой бизнес. По данным ФБР, мошенничество с компрометацией деловой электронной почты привело к убыткам на сумму более 55 миллиардов долларов за последние десять лет. Еще в 2021 году в СМИ появились сообщения о банке в Гонконге, который обманом перевел 35 миллионов долларов преступной группировке, потому что банковскому служащему позвонил директор компании, с которым он общался раньше. Он узнал голос, поэтому разрешил перевод. Сегодня хакеры могут сделать видео Zoom, которое трудно отличить от реального человека.
По данным опроса, проведенного страховой компанией Nationwide в конце сентября, 52% владельцев малого бизнеса признались, что были обмануты поддельными изображениями или видео, а 9 из 10 утверждают, что мошенничество с использованием генеративного ИИ становится все более изощренным.
И крупные компании тоже не застрахованы. Согласно опросу Teleport, имитация ИИ — самый сложный вектор кибератак, от которого сложно защититься.
5. Нейтрализация готовых средств безопасности
Многие популярные инструменты безопасности, используемые сегодня, имеют встроенную форму искусственного интеллекта или машинного обучения. Например, антивирусные инструменты все чаще смотрят дальше базовых сигнатур на подозрительное поведение. «Все, что доступно в сети, особенно с открытым исходным кодом, может быть использовано плохими парнями», — говорит Кантарджиоглу.Злоумышленники могут использовать эти инструменты не для защиты от атак, а для настройки своего вредоносного ПО до тех пор, пока оно не сможет избежать обнаружения. «У моделей ИИ много слепых зон», — говорит Кантарчиоглу. «Вы можете изменить их, изменив характеристики своей атаки, например, количество отправляемых пакетов или ресурсы, которые вы атакуете».
Злоумышленники используют не только инструменты безопасности на базе ИИ. ИИ является частью множества различных технологий. Например, подумайте о том, что пользователи часто учатся определять фишинговые письма, ища грамматические ошибки. Проверки грамматики на базе ИИ, такие как Grammarly, могут помочь злоумышленникам улучшить свои тексты, в то время как генеративные инструменты ИИ, такие как ChatGPT, могут писать убедительные письма с нуля.
6. Разведка
ИИ и машинное обучение можно использовать для исследований и разведки, чтобы злоумышленники могли просматривать общедоступную информацию и схемы трафика, защиту и потенциальные уязвимости своей цели. Именно с этого всегда начинают хакеры, говорит Томас Скэнлон, главный научный сотрудник и технический менеджер в подразделении CERT Института программной инженерии Университета Карнеги-Меллона. «И вся эта деятельность может выполняться умнее и быстрее, когда она поддерживается ИИ».Многие организации не осознают, какой объем данных там есть. И это не просто списки взломанных паролей, распространяемые в даркнете, и посты сотрудников в социальных сетях. Например, когда компании размещают объявление о вакансии или призыв к подаче предложений, они могут раскрывать типы используемых технологий, говорит Скэнлон. «Раньше было трудоемко собирать все эти данные и проводить их анализ, но сейчас многое из этого можно автоматизировать».
По данным опроса хакеров Bugcrowd, 62% используют ИИ для анализа данных, 61% — для автоматизации задач, а 38% — для выявления уязвимостей.
7. Автономные агенты
Если предприятие замечает, что оно подверглось атаке, и отключает доступ к Интернету для затронутых систем, то вредоносное ПО может не иметь возможности подключиться к своим серверам управления и контроля для получения инструкций. «Злоумышленники могут захотеть придумать интеллектуальную модель, которая останется, даже если они не смогут напрямую ее контролировать, для более длительного сохранения», — говорит Кантарчиоглу.Теперь такие автономные агенты доступны каждому благодаря коммерческим предложениям от Microsoft и нескольким платформам с открытым исходным кодом, которые не имеют никаких ограждений, чтобы не допустить их злонамеренного использования. «Раньше противнику требовались человеческие точки соприкосновения для проведения атаки, поскольку большинство атак включают несколько этапов», — говорит Скэнлон из CMU. «Если они могут задействовать агентов для выполнения этих этапов, это определенно надвигающаяся угроза — ну, более чем надвигающаяся. Это одна из вещей, которую ИИ делает реальной».
8. Отравление ИИ
Злоумышленник может обмануть модель машинного обучения, предоставив ей новую информацию. «Злоумышленник манипулирует набором обучающих данных. Он намеренно искажает его, и машина учится неправильно», — говорит Алексей Рубцов, старший научный сотрудник Global Risk Institute.Например, взломанная учетная запись пользователя может входить в систему каждый день в 2 часа ночи, чтобы выполнить безобидную работу, заставляя систему думать, что нет ничего подозрительного в работе в 2 часа ночи, и уменьшать количество препятствий для обеспечения безопасности, которые должен преодолеть пользователь.
Это похоже на то, как чат-бот Tay от Microsoft был обучен быть расистом в 2016 году. Тот же подход можно использовать, чтобы научить систему тому, что определенный тип вредоносного ПО безопасен или что определенное поведение бота является совершенно нормальным.
9. Фаззинг ИИ
Разработчики легитимного ПО и тестировщики на проникновение используют программное обеспечение для фаззинга, чтобы генерировать случайные выборочные входные данные в попытке вызвать сбой приложения или найти уязвимость. Усовершенствованные версии этого программного обеспечения используют машинное обучение для генерации входных данных более целенаправленным, организованным образом, отдавая приоритет текстовым строкам, которые с наибольшей вероятностью могут вызвать проблемы. Это делает инструменты фаззинга более полезными для предприятий, но и более смертоносными в руках злоумышленников.Все эти методы являются причиной того, почему базовая гигиена кибербезопасности, такая как исправление, антифишинговое обучение и микросегментация, продолжает оставаться жизненно важной. «И это одна из причин, почему так важна глубокая защита», — говорит Элли Меллен, аналитик Forrester Research. «Вам нужно установить несколько блокпостов, а не только один, который злоумышленники в конечном итоге используют против вас в своих интересах».
10. Вредоносное ПО на основе искусственного интеллекта
В сентябре HP Wolf Security сообщила, что обнаружила вредоносную кампанию, которая «весьма вероятно» была написана с помощью генеративного ИИ. «Gen AI ускоряет атаки и снижает планку для киберпреступников по заражению конечных точек», — говорят авторы.И HP не одинока. Согласно отчету Vanta, 32% опрошенных организаций отмечают рост вредоносного ПО на базе ИИ.
Исследователи даже продемонстрировали, что генеративный ИИ можно использовать для обнаружения уязвимостей нулевого дня .
И, как и законные разработчики могут использовать ИИ для поиска проблем в своем коде, так же могут это делать и злоумышленники, говорит Скэнлон из CMU. Это может быть открытый исходный код, доступный в публичных репозиториях, или код, полученный другими способами. «Хакеры могут взять код и запустить его через ChatGPT или какую-то другую основополагающую модель и попросить его найти слабые места в коде, которые можно будет использовать», — говорит он, добавляя, что ему известно об этом использовании как в исследовательских, так и в злонамеренных целях.
Генеративный ИИ компенсирует недостаток опыта
В прошлом только самые продвинутые субъекты угроз, такие как национальные государства, имели возможность использовать машинное обучение и ИИ для своих атак.Сегодня это может сделать каждый.
Особенно сложно защищаться от него, поскольку ИИ сейчас развивается быстрее любой технологии. «Это движущаяся цель», — сказал Лион из Boston Consulting Group. «Компаниям следует уделять первостепенное внимание поддержанию уровня понимания ландшафта угроз и адаптации наборов навыков».
Источник
