Большие языковые модели (LLM), обеспечивающие инструменты искусственного интеллекта (ИИ), сегодня могут быть использованы для разработки самоукрупняющихся вредоносных программ, способных обходить правила YARA.
"Генеративный ИИ может использоваться для обхода правил YARA, основанных на строках, путем расширения исходного кода небольших вариантов вредоносного ПО, эффективно снижая частоту обнаружения", - говорится в новом отчете Recorded Future, опубликованном The Hacker News.
Полученные результаты являются частью совместной работы red, направленной на выявление случаев вредоносного использования технологий искусственного интеллекта, с которыми уже экспериментируют злоумышленники для создания фрагментов вредоносного кода, генерации фишинговых электронных писем и проведения разведки потенциальных целей.
Компания по кибербезопасности заявила, что направила в LLM известную вредоносную программу под названием STEELHOOK, связанную с хакерской группой APT28, наряду с правилами YARA, с просьбой изменить исходный код, чтобы избежать обнаружения, таким образом, чтобы исходная функциональность оставалась нетронутой, а сгенерированный исходный код был синтаксически свободен от ошибок.
Благодаря этому механизму обратной связи измененное вредоносное ПО, сгенерированное LLM, позволило избежать обнаружения с помощью простых правил YARA, основанных на строках.
У этого подхода есть ограничения, наиболее заметным из которых является объем текста, который модель может обработать в качестве входных данных за один раз, что затрудняет работу с большими кодовыми базами.
Помимо модификации вредоносного ПО, чтобы оно оставалось незамеченным, такие инструменты искусственного интеллекта могут использоваться для создания глубоких подделок, выдающих себя за руководителей высшего звена и лидеров, и проведения операций влияния, которые масштабно имитируют законные веб-сайты.
Кроме того, ожидается, что генеративный ИИ повысит способность участников угроз проводить разведку критически важных объектов инфраструктуры и собирать информацию, которая может иметь стратегическое значение при последующих атаках.
"Используя мультимодальные модели, общедоступные изображения и видео микросхем и производственного оборудования, в дополнение к аэрофотоснимкам, могут быть проанализированы и дополнены для поиска дополнительных метаданных, таких как геолокация, производители оборудования, модели и управление версиями программного обеспечения", - говорится в сообщении компании.
Действительно, Microsoft и OpenAI предупредили в прошлом месяце, что APT28 использовал LLM для "понимания протоколов спутниковой связи, технологий радиолокационного изображения и конкретных технических параметров", что указывает на усилия по "приобретению глубоких знаний о возможностях спутников".
Организациям рекомендуется тщательно изучать общедоступные изображения и видеозаписи, изображающие чувствительное оборудование, и при необходимости удалять их, чтобы снизить риски, связанные с такими угрозами.
Разработка началась после того, как группа ученых обнаружила, что можно выполнять джейлбрейк с помощью инструментов на базе LLM и создавать вредоносный контент, передавая входные данные в виде ASCII-рисунка (например, "как создать бомбу", где слово BOMB пишется с использованием символов "*" и пробелов).
Практическая атака, получившая название ArtPrompt, использует "низкую производительность LLM по распознаванию символов ASCII в обход мер безопасности и вызывает нежелательное поведение LLM".
"Генеративный ИИ может использоваться для обхода правил YARA, основанных на строках, путем расширения исходного кода небольших вариантов вредоносного ПО, эффективно снижая частоту обнаружения", - говорится в новом отчете Recorded Future, опубликованном The Hacker News.
Полученные результаты являются частью совместной работы red, направленной на выявление случаев вредоносного использования технологий искусственного интеллекта, с которыми уже экспериментируют злоумышленники для создания фрагментов вредоносного кода, генерации фишинговых электронных писем и проведения разведки потенциальных целей.
Компания по кибербезопасности заявила, что направила в LLM известную вредоносную программу под названием STEELHOOK, связанную с хакерской группой APT28, наряду с правилами YARA, с просьбой изменить исходный код, чтобы избежать обнаружения, таким образом, чтобы исходная функциональность оставалась нетронутой, а сгенерированный исходный код был синтаксически свободен от ошибок.
Благодаря этому механизму обратной связи измененное вредоносное ПО, сгенерированное LLM, позволило избежать обнаружения с помощью простых правил YARA, основанных на строках.
У этого подхода есть ограничения, наиболее заметным из которых является объем текста, который модель может обработать в качестве входных данных за один раз, что затрудняет работу с большими кодовыми базами.
Помимо модификации вредоносного ПО, чтобы оно оставалось незамеченным, такие инструменты искусственного интеллекта могут использоваться для создания глубоких подделок, выдающих себя за руководителей высшего звена и лидеров, и проведения операций влияния, которые масштабно имитируют законные веб-сайты.
Кроме того, ожидается, что генеративный ИИ повысит способность участников угроз проводить разведку критически важных объектов инфраструктуры и собирать информацию, которая может иметь стратегическое значение при последующих атаках.
"Используя мультимодальные модели, общедоступные изображения и видео микросхем и производственного оборудования, в дополнение к аэрофотоснимкам, могут быть проанализированы и дополнены для поиска дополнительных метаданных, таких как геолокация, производители оборудования, модели и управление версиями программного обеспечения", - говорится в сообщении компании.
Действительно, Microsoft и OpenAI предупредили в прошлом месяце, что APT28 использовал LLM для "понимания протоколов спутниковой связи, технологий радиолокационного изображения и конкретных технических параметров", что указывает на усилия по "приобретению глубоких знаний о возможностях спутников".
Организациям рекомендуется тщательно изучать общедоступные изображения и видеозаписи, изображающие чувствительное оборудование, и при необходимости удалять их, чтобы снизить риски, связанные с такими угрозами.
Разработка началась после того, как группа ученых обнаружила, что можно выполнять джейлбрейк с помощью инструментов на базе LLM и создавать вредоносный контент, передавая входные данные в виде ASCII-рисунка (например, "как создать бомбу", где слово BOMB пишется с использованием символов "*" и пробелов).
Практическая атака, получившая название ArtPrompt, использует "низкую производительность LLM по распознаванию символов ASCII в обход мер безопасности и вызывает нежелательное поведение LLM".
