OpenAI в четверг сообщила, что предприняла шаги по пресечению пяти операций скрытого влияния (IO), происходящих из Китая, Ирана, Израиля и России, которые пытались злоупотреблять инструментами искусственного интеллекта (ИИ) для манипулирования общественным дискурсом или политическими результатами в Интернете, скрывая свою истинную личность.
Эти действия, которые были обнаружены за последние три месяца, использовали модели искусственного интеллекта для создания коротких комментариев и более длинных статей на различных языках, подбора названий и биографий для аккаунтов в социальных сетях, проведения исследований с открытым исходным кодом, отладки простого кода, перевода и корректуры текстов.
Исследовательская организация искусственного интеллекта заявила, что две сети были связаны с участниками в России, включая ранее недокументированную операцию под кодовым названием Bad Grammar, которая в основном использовала по меньшей мере дюжину аккаунтов Telegram для целевой аудитории в Украине, Молдове, странах Балтии и Соединенных Штатах (США) с неаккуратным контентом на русском и английском языках.
"Сеть использовала наши модели и аккаунты в Telegram для создания канала рассылки спама в комментариях", - сказал OpenAI. "Сначала операторы использовали наши модели для отладки кода, который, по-видимому, был разработан для автоматизации публикации в Telegram. Затем они генерировали комментарии на русском и английском языках в ответ на конкретные сообщения Telegram ".
Операторы также использовали свои модели для создания комментариев под видом различных вымышленных персонажей , принадлежащих к разным демографическим группам по обе стороны политического спектра в США .
Информационная операция "Другая", связанная с Россией, соответствовала сети prolific Doppelganger network (она же Recent Reliable News), которая была подвергнута санкциям Управления по контролю за иностранными активами Министерства финансов США (OFAC) ранее в марте этого года за участие в операциях по оказанию влияния в киберпространстве.
Говорят, что сеть использовала модели OpenAI для создания комментариев на английском, французском, немецком, итальянском и польском языках, которыми делились на X и 9GAG; перевода и редактирования статей с русского на английский и французский, которые затем размещались на поддельных веб-сайтах, поддерживаемых группой; создания заголовков; и преобразования новостных статей, размещенных на ее сайтах, в Facebook-посты.
"Это мероприятие было нацелено на аудиторию в Европе и Северной Америке и было сосредоточено на создании контента для веб-сайтов и социальных сетей", - сказали в OpenAI. "Большая часть контента, опубликованного этой кампанией в Интернете, была посвящена войне в Украине. В нем Украина, США, НАТО и ЕС были представлены в негативном свете, а Россия - в позитивном."
Ниже перечислены три других кластера активности -
Создатель ChatGPT подчеркнул в своем первом отчете об угрозах в IO, что ни одна из этих кампаний "существенно не увеличила вовлеченность аудитории или охват аудитории" за счет использования его сервисов.
Разработка вызвана тем, что возникают опасения, что инструменты генеративного искусственного интеллекта (GenAI) могут упростить злоумышленникам создание реалистичного текста, изображений и даже видеоконтента, что затруднит обнаружение дезинформации и операций по дезинформации и реагирование на них.
"Пока ситуация эволюционирует, а не революционизируется", - сказал Бен Ниммо, главный исследователь разведки и расследований OpenAI. "Это может измениться. Важно продолжать наблюдать и делиться ".
"Эта кампания продемонстрировала относительную дисциплину в поддержании безопасности операций, в том числе за счет использования североамериканской прокси-инфраструктуры для анонимизации своей деятельности", - сказал гигант социальных сетей.
Meta далее заявила, что удалила сотни учетных записей, включавших мошеннические сети из Бангладеш, Китая, Хорватии, Ирана и России, за участие в скоординированном недостоверном поведении (CIB) с целью влияния на общественное мнение и распространения политических репортажей о актуальных событиях.
Базирующаяся в Китае вредоносная сеть в основном была нацелена на мировое сообщество сикхов и состояла из нескольких десятков Instagram и Facebook аккаунтов, страниц и групп, которые использовались для распространения поддельных изображений и постов на английском и хинди языках, связанных с несуществующим просикхским движением, сепаратистским движением Халистан и критикой правительства Индии.
Компания отметила, что пока не обнаружила какого-либо нового и изощренного использования тактики, основанной на GenAI, при этом компания выделила случаи создания программ для чтения видеоновостей, созданных искусственным интеллектом, которые ранее были задокументированы Graphika и GNET, что указывает на то, что, несмотря на в значительной степени неэффективный характер этих кампаний, субъекты угрозы активно экспериментируют с технологией.
Doppelganger, по словам Meta, продолжает свои попытки "громить и захватывать", хотя и со значительным изменением тактики в ответ на публичные репортажи, включая использование обфускации текста для уклонения от обнаружения (например, использование "U. kr. ai. n. e" вместо "Ukraine") и отказ от практики ссылок на домены с опечатками, маскирующиеся под новостные СМИ с апреля.
"Кампания поддерживается сетью с двумя категориями новостных веб-сайтов: законными СМИ и организациями с опечатками и независимыми новостными веб-сайтами", - сказал Секойя в отчете о пророссийской противоборствующей сети, опубликованном на прошлой неделе.
"Дезинформационные статьи публикуются на этих веб-сайтах, а затем распространяются и усиливаются через недостоверные аккаунты в социальных сетях на нескольких платформах, особенно на видеохостингах Instagram, TikTok, Cameo и YouTube ".
Эти профили в социальных сетях, создаваемые в большом количестве и волнообразно, используют платные рекламные кампании Facebook и Instagram для направления пользователей на сайты пропаганды. Аккаунты Facebook также называются одноразовыми аккаунтами из-за того, что они используются для публикации только одной статьи и впоследствии забрасываются.
Французская компания по кибербезопасности описала кампании промышленного масштаба, которые ориентированы как на союзников Украины, так и на русскоязычную аудиторию внутри Страны от имени Кремля, как многоуровневые, использующие социальную ботнет для запуска цепочки перенаправлений, которая проходит через два промежуточных веб-сайта, чтобы привести пользователей на последнюю страницу.
В отчете Recorded Future, опубликованном в этом месяце, подробно описывается новая сеть влияния под названием CopyCop, которая, вероятно, управляется из России, используя недостоверные СМИ в США, Великобритании и Франции для продвижения нарративов, подрывающих внутреннюю и внешнюю политику Запада, и распространения контента, относящегося к продолжающейся российско-украинской войне и конфликту между Израилем и ХАМАС.
"CopyCop широко использовал генеративный ИИ для плагиата и модификации контента из законных медиа-источников, чтобы адаптировать политические сообщения с определенными предубеждениями", - сказали в компании. "Это включало контент, критикующий политику Запада и поддерживающий взгляды России на международные проблемы, такие как конфликт на Украине и напряженность между Израилем и ХАМАС".
Контент, создаваемый CopyCop, также дополняется известными актерами, спонсируемыми государством, такими как Doppelganger и портал Kombat, демонстрируя согласованные усилия по подаче контента, который представляет Россию в благоприятном свете.
TikTok, который в настоящее время находится под пристальным вниманием в США после принятия закона, который вынудит китайскую компанию продать компанию или столкнется с запретом в стране, становится все более предпочтительной платформой для аккаунтов, связанных с российским государством, в 2024 году, согласно новому отчету Института Брукингса.
Более того, социальный видеохостинг стал питательной средой для того, что было охарактеризовано как комплексная кампания влияния, известная как Emerald Divide, которая, как полагают, с 2021 года организована актерами, связанными с Ираном, нацеленными на израильское общество.
"Emerald Divide известен своим динамичным подходом, быстро адаптирующим свои повествования о влиянии к меняющемуся политическому ландшафту Израиля", - сказал Recorded Future.
"Он использует современные цифровые инструменты, такие как созданные искусственным интеллектом фейки и сеть стратегически управляемых аккаунтов в социальных сетях, которые нацелены на разнообразную и часто противоположную аудиторию, эффективно разжигая разногласия в обществе и поощряя физические действия, такие как протесты и распространение антиправительственных сообщений".
Эти действия, которые были обнаружены за последние три месяца, использовали модели искусственного интеллекта для создания коротких комментариев и более длинных статей на различных языках, подбора названий и биографий для аккаунтов в социальных сетях, проведения исследований с открытым исходным кодом, отладки простого кода, перевода и корректуры текстов.
Исследовательская организация искусственного интеллекта заявила, что две сети были связаны с участниками в России, включая ранее недокументированную операцию под кодовым названием Bad Grammar, которая в основном использовала по меньшей мере дюжину аккаунтов Telegram для целевой аудитории в Украине, Молдове, странах Балтии и Соединенных Штатах (США) с неаккуратным контентом на русском и английском языках.
"Сеть использовала наши модели и аккаунты в Telegram для создания канала рассылки спама в комментариях", - сказал OpenAI. "Сначала операторы использовали наши модели для отладки кода, который, по-видимому, был разработан для автоматизации публикации в Telegram. Затем они генерировали комментарии на русском и английском языках в ответ на конкретные сообщения Telegram ".
Операторы также использовали свои модели для создания комментариев под видом различных вымышленных персонажей , принадлежащих к разным демографическим группам по обе стороны политического спектра в США .
Информационная операция "Другая", связанная с Россией, соответствовала сети prolific Doppelganger network (она же Recent Reliable News), которая была подвергнута санкциям Управления по контролю за иностранными активами Министерства финансов США (OFAC) ранее в марте этого года за участие в операциях по оказанию влияния в киберпространстве.
Говорят, что сеть использовала модели OpenAI для создания комментариев на английском, французском, немецком, итальянском и польском языках, которыми делились на X и 9GAG; перевода и редактирования статей с русского на английский и французский, которые затем размещались на поддельных веб-сайтах, поддерживаемых группой; создания заголовков; и преобразования новостных статей, размещенных на ее сайтах, в Facebook-посты.
"Это мероприятие было нацелено на аудиторию в Европе и Северной Америке и было сосредоточено на создании контента для веб-сайтов и социальных сетей", - сказали в OpenAI. "Большая часть контента, опубликованного этой кампанией в Интернете, была посвящена войне в Украине. В нем Украина, США, НАТО и ЕС были представлены в негативном свете, а Россия - в позитивном."
Ниже перечислены три других кластера активности -
- Сеть китайского происхождения, известная как Spamouflage, которая использовала свои модели искусственного интеллекта для исследования публичной активности в социальных сетях; генерировала тексты на китайском, английском, японском и корейском языках для публикации в X, Medium и Blogger; распространяла контент, критикующий китайских диссидентов и злоупотребления в отношении коренных американцев в США; и отлаживала код для управления базами данных и веб-сайтами
- Иранская операция, известная как Международный союз виртуальных медиа (IUVM), которая использовала свои модели искусственного интеллекта для создания и перевода длинных статей, заголовков и тегов веб-сайтов на английский и французский языки для последующей публикации на веб-сайте под названием iuvmpress[.]co
- Сеть, известная как Zero Zeno, созданная нанятым израильским агентом по угрозам, фирмой бизнес-аналитики STOIC, которая использовала свои модели искусственного интеллекта для создания и распространения антихамасовского, антикатарского, произраильского, анти-BJP и прогистадрутского контента Instagram, Facebook, X и связанных с ней веб-сайтов, нацеленных на пользователей в Канаде, США, Индии и Гане.
Создатель ChatGPT подчеркнул в своем первом отчете об угрозах в IO, что ни одна из этих кампаний "существенно не увеличила вовлеченность аудитории или охват аудитории" за счет использования его сервисов.
Разработка вызвана тем, что возникают опасения, что инструменты генеративного искусственного интеллекта (GenAI) могут упростить злоумышленникам создание реалистичного текста, изображений и даже видеоконтента, что затруднит обнаружение дезинформации и операций по дезинформации и реагирование на них.
"Пока ситуация эволюционирует, а не революционизируется", - сказал Бен Ниммо, главный исследователь разведки и расследований OpenAI. "Это может измениться. Важно продолжать наблюдать и делиться ".
В Meta представлены STOIC и Doppelganger
Отдельно Meta в своем ежеквартальном отчете о противоборствующих угрозах также поделилась подробностями операций STOIC по оказанию влияния, заявив, что удалила около 500 скомпрометированных и Facebook Instagram аккаунтов, которые актер использовал для таргетинга на пользователей в Канаде и США."Эта кампания продемонстрировала относительную дисциплину в поддержании безопасности операций, в том числе за счет использования североамериканской прокси-инфраструктуры для анонимизации своей деятельности", - сказал гигант социальных сетей.
Meta далее заявила, что удалила сотни учетных записей, включавших мошеннические сети из Бангладеш, Китая, Хорватии, Ирана и России, за участие в скоординированном недостоверном поведении (CIB) с целью влияния на общественное мнение и распространения политических репортажей о актуальных событиях.
Базирующаяся в Китае вредоносная сеть в основном была нацелена на мировое сообщество сикхов и состояла из нескольких десятков Instagram и Facebook аккаунтов, страниц и групп, которые использовались для распространения поддельных изображений и постов на английском и хинди языках, связанных с несуществующим просикхским движением, сепаратистским движением Халистан и критикой правительства Индии.
Компания отметила, что пока не обнаружила какого-либо нового и изощренного использования тактики, основанной на GenAI, при этом компания выделила случаи создания программ для чтения видеоновостей, созданных искусственным интеллектом, которые ранее были задокументированы Graphika и GNET, что указывает на то, что, несмотря на в значительной степени неэффективный характер этих кампаний, субъекты угрозы активно экспериментируют с технологией.
Doppelganger, по словам Meta, продолжает свои попытки "громить и захватывать", хотя и со значительным изменением тактики в ответ на публичные репортажи, включая использование обфускации текста для уклонения от обнаружения (например, использование "U. kr. ai. n. e" вместо "Ukraine") и отказ от практики ссылок на домены с опечатками, маскирующиеся под новостные СМИ с апреля.
"Кампания поддерживается сетью с двумя категориями новостных веб-сайтов: законными СМИ и организациями с опечатками и независимыми новостными веб-сайтами", - сказал Секойя в отчете о пророссийской противоборствующей сети, опубликованном на прошлой неделе.
"Дезинформационные статьи публикуются на этих веб-сайтах, а затем распространяются и усиливаются через недостоверные аккаунты в социальных сетях на нескольких платформах, особенно на видеохостингах Instagram, TikTok, Cameo и YouTube ".
Эти профили в социальных сетях, создаваемые в большом количестве и волнообразно, используют платные рекламные кампании Facebook и Instagram для направления пользователей на сайты пропаганды. Аккаунты Facebook также называются одноразовыми аккаунтами из-за того, что они используются для публикации только одной статьи и впоследствии забрасываются.
Французская компания по кибербезопасности описала кампании промышленного масштаба, которые ориентированы как на союзников Украины, так и на русскоязычную аудиторию внутри Страны от имени Кремля, как многоуровневые, использующие социальную ботнет для запуска цепочки перенаправлений, которая проходит через два промежуточных веб-сайта, чтобы привести пользователей на последнюю страницу.
В отчете Recorded Future, опубликованном в этом месяце, подробно описывается новая сеть влияния под названием CopyCop, которая, вероятно, управляется из России, используя недостоверные СМИ в США, Великобритании и Франции для продвижения нарративов, подрывающих внутреннюю и внешнюю политику Запада, и распространения контента, относящегося к продолжающейся российско-украинской войне и конфликту между Израилем и ХАМАС.
"CopyCop широко использовал генеративный ИИ для плагиата и модификации контента из законных медиа-источников, чтобы адаптировать политические сообщения с определенными предубеждениями", - сказали в компании. "Это включало контент, критикующий политику Запада и поддерживающий взгляды России на международные проблемы, такие как конфликт на Украине и напряженность между Израилем и ХАМАС".
Контент, создаваемый CopyCop, также дополняется известными актерами, спонсируемыми государством, такими как Doppelganger и портал Kombat, демонстрируя согласованные усилия по подаче контента, который представляет Россию в благоприятном свете.
TikTok срывает операции скрытого влияния
Ранее в мае TikTok, принадлежащий ByteDance, заявил, что с начала года обнаружил и уничтожил несколько таких сетей на своей платформе, в том числе те, которые он отслеживал в Бангладеш, Китае, Эквадоре, Германии, Гватемале, Индонезии, Иране, Ираке, Сербии, Украине и Венесуэле.TikTok, который в настоящее время находится под пристальным вниманием в США после принятия закона, который вынудит китайскую компанию продать компанию или столкнется с запретом в стране, становится все более предпочтительной платформой для аккаунтов, связанных с российским государством, в 2024 году, согласно новому отчету Института Брукингса.
Более того, социальный видеохостинг стал питательной средой для того, что было охарактеризовано как комплексная кампания влияния, известная как Emerald Divide, которая, как полагают, с 2021 года организована актерами, связанными с Ираном, нацеленными на израильское общество.
"Emerald Divide известен своим динамичным подходом, быстро адаптирующим свои повествования о влиянии к меняющемуся политическому ландшафту Израиля", - сказал Recorded Future.
"Он использует современные цифровые инструменты, такие как созданные искусственным интеллектом фейки и сеть стратегически управляемых аккаунтов в социальных сетях, которые нацелены на разнообразную и часто противоположную аудиторию, эффективно разжигая разногласия в обществе и поощряя физические действия, такие как протесты и распространение антиправительственных сообщений".
