Man
Professional
- Messages
- 2,965
- Reaction score
- 488
- Points
- 83
Ученые создают ИИ-агента с OpenAI для масштабного осуществления телефонных мошенничеств.
Исследователи утверждают, что хакеры могут использовать API OpenAI для обработки голосовых сообщений в реальном времени, чтобы осуществлять масштабные мошенничества с использованием поддельных телефонных звонков менее чем за доллар.
Гигант искусственного интеллекта выпустил Realtime API в начале этого месяца, предлагая возможности для третьих сторон, аналогичные расширенному голосовому режиму ChatGPT, где разработчики могут вводить текст или аудио в модель GPT-4o и выводить текст, аудио или и то, и другое. Этот шаг вызвал опасения по поводу безопасности, особенно после того, как компания отложила выпуск расширенного голосового режима ChatGPT на фоне опасений злоупотреблений в отношении моделей ИИ, взаимодействующих с реалистичными смоделированными голосами, и возмущения по поводу использования голоса, звучащего как актриса Скарлетт Йоханссон, без ее согласия.
Исследователи из Иллинойсского университета в Урбане-Шампейне обнаружили, что злоумышленники могут использовать службу OpenAI для создания агентов ИИ для автоматизации процесса телефонного мошенничества, которое включает в себя выдачу себя за государственных служащих или банковских служащих, чтобы обманным путем заставить жертв раскрыть конфиденциальную информацию, включая данные банковских счетов или номера социального страхования. Агенты ИИ по сути являются программами, которые используют ИИ для выполнения задач без вмешательства человека.
Телефонные мошенничества ежегодно затрагивают 17,6 млн американцев, а их стоимость составляет около $40 млрд. С помощью нового поколения инструмента искусственного интеллекта мошенники могут выполнить весь процесс мошенничества всего за $0,75, сказал соавтор исследовательской работы Дэниел Канг, доцент кафедры компьютерных наук в UIUC.
Для проверки теории исследовательская группа создала собственных агентов искусственного интеллекта.
«Наш дизайн агента не сложен», — сказал Канг. «Мы реализовали его всего в 1051 строке кода, причем большая часть кода была посвящена обработке голосового API в реальном времени. Эта простота согласуется с предыдущей работой, показывающей простоту создания агентов ИИ двойного назначения для таких задач, как атаки на кибербезопасность». В предыдущих работах Канга подробно описывается, как агенты LLM могли автономно взламывать уязвимости нулевого дня в изолированной среде и как агенты GPT-4 могли эксплуатировать неисправленные уязвимости «реального мира» без точной технической информации.
В последнем исследовании Канг и его команда использовали модель GPT-4o и инструмент автоматизации браузера Playwright от OpenAI, включив в себя определенный код и инструкции, связанные с мошенничеством, для выполнения мошенничества. Агенты использовали функции Playwright для взаимодействия с целевыми веб-сайтами, и, объединив эти функции со стандартизированным шаблоном запроса на джейлбрейк, исследователи обошли встроенные средства безопасности GPT-4o, что позволило им совершать мошеннические действия в Интернете с помощью автоматизированных задач браузера.
В этом видео Канг объясняет результат на примере мошенничества с переводом средств через Bank of America, осуществляемого агентом ИИ .
Тесты исследовательской группы включали несколько мошеннических тактик: взлом банковских и криптовалютных счетов, кража подарочного кода и кража учетных данных. Показатели успешности различались: кража учетных данных Gmail достигала 60% успеха, занимая 122 секунды и обходясь в 0,28 доллара за попытку. Переводы на банковские счета имели более низкий показатель успешности — 20%, требуя 26 действий в течение 183 секунд и 2,51 доллара в виде сборов API.
Средний показатель успеха среди мошеннических схем составил 36%, а средняя стоимость — $0,75. Большинство неудач были вызваны ошибками транскрипции ИИ, хотя навигация по сложным банковским сайтам также представляла трудности.
OpenAI не ответила на запрос Information Security Media Group о комментарии. В своем объявлении Realtime API компания заявила, что использует «несколько уровней» защиты для снижения риска злоупотребления API и что она выступает против политики использования, которая перенаправляет вывод своих сервисов для рассылки спама, добавив, что она «активно отслеживает потенциальное злоупотребление». Ее прошлая рекомендация — предотвращать злоупотребление банками голосовой аутентификации: просто не используйте их.
Источник
Исследователи утверждают, что хакеры могут использовать API OpenAI для обработки голосовых сообщений в реальном времени, чтобы осуществлять масштабные мошенничества с использованием поддельных телефонных звонков менее чем за доллар.
Гигант искусственного интеллекта выпустил Realtime API в начале этого месяца, предлагая возможности для третьих сторон, аналогичные расширенному голосовому режиму ChatGPT, где разработчики могут вводить текст или аудио в модель GPT-4o и выводить текст, аудио или и то, и другое. Этот шаг вызвал опасения по поводу безопасности, особенно после того, как компания отложила выпуск расширенного голосового режима ChatGPT на фоне опасений злоупотреблений в отношении моделей ИИ, взаимодействующих с реалистичными смоделированными голосами, и возмущения по поводу использования голоса, звучащего как актриса Скарлетт Йоханссон, без ее согласия.
Исследователи из Иллинойсского университета в Урбане-Шампейне обнаружили, что злоумышленники могут использовать службу OpenAI для создания агентов ИИ для автоматизации процесса телефонного мошенничества, которое включает в себя выдачу себя за государственных служащих или банковских служащих, чтобы обманным путем заставить жертв раскрыть конфиденциальную информацию, включая данные банковских счетов или номера социального страхования. Агенты ИИ по сути являются программами, которые используют ИИ для выполнения задач без вмешательства человека.
Телефонные мошенничества ежегодно затрагивают 17,6 млн американцев, а их стоимость составляет около $40 млрд. С помощью нового поколения инструмента искусственного интеллекта мошенники могут выполнить весь процесс мошенничества всего за $0,75, сказал соавтор исследовательской работы Дэниел Канг, доцент кафедры компьютерных наук в UIUC.
Для проверки теории исследовательская группа создала собственных агентов искусственного интеллекта.
«Наш дизайн агента не сложен», — сказал Канг. «Мы реализовали его всего в 1051 строке кода, причем большая часть кода была посвящена обработке голосового API в реальном времени. Эта простота согласуется с предыдущей работой, показывающей простоту создания агентов ИИ двойного назначения для таких задач, как атаки на кибербезопасность». В предыдущих работах Канга подробно описывается, как агенты LLM могли автономно взламывать уязвимости нулевого дня в изолированной среде и как агенты GPT-4 могли эксплуатировать неисправленные уязвимости «реального мира» без точной технической информации.
В последнем исследовании Канг и его команда использовали модель GPT-4o и инструмент автоматизации браузера Playwright от OpenAI, включив в себя определенный код и инструкции, связанные с мошенничеством, для выполнения мошенничества. Агенты использовали функции Playwright для взаимодействия с целевыми веб-сайтами, и, объединив эти функции со стандартизированным шаблоном запроса на джейлбрейк, исследователи обошли встроенные средства безопасности GPT-4o, что позволило им совершать мошеннические действия в Интернете с помощью автоматизированных задач браузера.
В этом видео Канг объясняет результат на примере мошенничества с переводом средств через Bank of America, осуществляемого агентом ИИ .
Тесты исследовательской группы включали несколько мошеннических тактик: взлом банковских и криптовалютных счетов, кража подарочного кода и кража учетных данных. Показатели успешности различались: кража учетных данных Gmail достигала 60% успеха, занимая 122 секунды и обходясь в 0,28 доллара за попытку. Переводы на банковские счета имели более низкий показатель успешности — 20%, требуя 26 действий в течение 183 секунд и 2,51 доллара в виде сборов API.
Средний показатель успеха среди мошеннических схем составил 36%, а средняя стоимость — $0,75. Большинство неудач были вызваны ошибками транскрипции ИИ, хотя навигация по сложным банковским сайтам также представляла трудности.
OpenAI не ответила на запрос Information Security Media Group о комментарии. В своем объявлении Realtime API компания заявила, что использует «несколько уровней» защиты для снижения риска злоупотребления API и что она выступает против политики использования, которая перенаправляет вывод своих сервисов для рассылки спама, добавив, что она «активно отслеживает потенциальное злоупотребление». Ее прошлая рекомендация — предотвращать злоупотребление банками голосовой аутентификации: просто не используйте их.
Источник
