Наступательный и оборонительный ИИ: давайте поболтаем (GPT) об этом

[Lord777]

ChatGPT: инструмент повышения производительности, отличный для написания стихов и ... угроза безопасности ?! В этой статье мы покажем, как участники угроз могут использовать ChatGPT, а также как защитники могут использовать его для повышения уровня своей игры.

ChatGPT - самое быстрорастущее потребительское приложение на сегодняшний день. Чрезвычайно популярный чат-бот с генеративным искусственным интеллектом обладает способностью генерировать человекоподобные, связные и контекстуально релевантные ответы. Это делает его очень ценным для таких приложений, как создание контента, кодирование, обучение, поддержка клиентов и даже личная помощь.

Однако ChatGPT также сопряжен с рисками для безопасности. ChatGPT может использоваться для утечки данных, распространения дезинформации, разработки кибератак и написания фишинговых писем. С другой стороны, он может помочь защитникам, которые смогут использовать его для выявления уязвимостей и изучения различных средств защиты.

В этой статье мы покажем множество способов, которыми злоумышленники могут использовать ChatGPT и игровую площадку OpenAI. Не менее важно, что мы показываем способы, которыми защитники могут использовать ChatGPT для повышения своей безопасности.

Взлом субъекта угрозы стал проще​

ChatGPT упрощает работу людям, желающим войти в мир киберпреступности. Вот несколько способов, которыми его можно использовать для эксплуатации системы:

• Поиск уязвимостей - злоумышленники могут сообщать ChatGPT о потенциальных уязвимостях веб-сайтов, систем, API и других сетевых компонентов.
  По словам Этая Маора, старшего директора по стратегии безопасности в Cato Networks, "В ChatGPT и игровой площадке установлены ограждения, которые не позволяют им давать ответы, поддерживающие совершение чего-то плохого. Но "социальная инженерия" ИИ позволяет найти способ обойти эту стену".
  Например, это можно сделать, выдав себя за тестировщика перьев, чтобы узнать, как проверить поле ввода веб-сайта на наличие уязвимостей. Ответ от ChatGPT будет включать список методов использования веб-сайта, таких как тестирование проверки входных данных, тестирование XSS, тестирование SQL-инъекций и многое другое.
• Использование существующих уязвимостей - ChatGPT также может предоставить злоумышленникам необходимую им технологическую информацию о том, как использовать существующую уязвимость. Например, субъект угрозы может спросить ChatGPT, как протестировать известную уязвимость SQL-инъекции в поле веб-сайта. ChatGPT ответит примерами ввода, которые вызовут уязвимость.
• Использование Mimikatz - субъекты угрозы могут побудить ChatGPT написать код, который загружает и запускает Mimikatz.
• Написание фишинговых электронных писем - ChatGPT может быть предложено создавать аутентичные фишинговые электронные письма на самых разных языках и стилях написания. В приведенном ниже примере запрос требует, чтобы электронное письмо было написано так, как будто оно исходит от генерального директора.
• Идентификация конфиденциальных файлов - ChatGPT может помочь злоумышленникам идентифицировать файлы с конфиденциальными данными.

В приведенном ниже примере ChatGPT предлагается написать скрипт на Python, который выполняет поиск файлов Doc и PDF, содержащих слово "конфиденциально", копирует их в случайную папку и передает. Хотя код не идеален, это хорошее начало для человека, который хочет развить эту способность. Подсказки также могут быть более сложными и включать шифрование, создание биткоин-кошелька для выкупа и многое другое.

Защитник - Защита стала проще​

ChatGPT также может и должен использоваться для улучшения возможностей защитника. По словам Этая Маора, "ChatGPT также в хорошем смысле снижает планку для защитников и для людей, которые хотят попасть в службу безопасности". Вот несколько способов, которыми профессионалы могут улучшить свои знания и возможности в области безопасности.

• Изучение новых терминов и технологий - ChatGPT может сократить время, необходимое для исследования и изучения новых терминов, технологий, процессов и методологий. Он предоставляет немедленные, точные и лаконичные ответы на вопросы, связанные с безопасностью.

В приведенном ниже примере ChatGPT объясняет, что такое конкретное правило snort.

• Обобщение отчетов о безопасности - ChatGPT может помочь обобщить отчеты о нарушениях, помогая аналитикам узнать о том, как были выполнены атаки, чтобы они могли предотвратить их повторение в будущем.
• Расшифровка кода злоумышленника - Аналитики могут загрузить код злоумышленника в ChatGPT и получить объяснение предпринятых шагов и выполняемой полезной нагрузки.
• Прогнозирование путей атаки - ChatGPT может предсказать будущие вероятные пути атаки путем анализа аналогичных прошлых кибератак и использованных методов.
• Исследование субъектов угрозы и путей атак - предоставление отчета, в котором отображается субъект угрозы, включая его недавние атаки, технические данные, сопоставление с фреймворками и многое другое. В этом примере представлен подробный технический отчет о группе программ-вымогателей ALPHV.
• 
• Выявление уязвимостей кода - инженеры могут вставить код в ChatGPT и запросить его идентифицировать любые уязвимости. ChatGPT может идентифицировать уязвимости даже тогда, когда нет ошибки, только логическая ошибка. Будьте осторожны с загружаемым вами кодом. Если он содержит конфиденциальные данные, вы можете раскрыть их извне.

• Выявление подозрительных действий в журналах - просмотр активности в журнале и поиск подозрительных действий.
• Выявление уязвимых веб-страниц - веб-разработчики или специалисты по безопасности могут запросить ChatGPT просмотреть HTML-код веб-сайта и выявить уязвимости, которые могут привести к SQL-инъекциям, CSRF-атакам, XSS-атакам или DDoS-атакам.

Дополнительные соображения При использовании ChatGPT​

При использовании ChatGPT важно осознавать важность следующих факторов:

• Авторские права - Кому принадлежит созданный контент? Когда спрашиваешь ChatGPT, ответ заключается в том, что ими владеет человек, написавший приглашение. Однако это не так просто. Этот вопрос все еще не решен полностью и будет зависеть от различных правовых систем и прецедентов. В настоящее время по этому вопросу формируется свод законов.
• Хранение данных - OpenAI может сохранять некоторые данные, используемые в качестве подсказок для обучения или других исследовательских целей. Вот почему важно проявлять осторожность и избегать вставки каких-либо конфиденциальных данных в приложение.
• Конфиденциальность - Существуют проблемы конфиденциальности, связанные с ChatGPT, начиная от того, как он использует данные, которые ему запрашиваются, и заканчивая тем, как он хранит взаимодействия с пользователями. Поэтому рекомендуется избегать ввода личных данных или данных клиента в приложение.
• Предвзятость - ChatGPT подвержен предвзятости. Например, когда его попросили оценить группы на основе интеллекта, он поставил определенные этнические группы выше других. Использование ответов вслепую может иметь значительные последствия для отдельных людей. Например, если он используется для руководства процессом принятия решений в судах, составления профилей сотрудников полиции, процессов найма и многого другого.
• Точность - Важно проверить результаты ChatGPT, поскольку они не всегда точны (например, "галлюцинации". В приведенном ниже примере ChatGPT было предложено написать список слов из пяти букв, начинающихся на B и заканчивающихся на KE. Одним из ответов было "Велосипед".

• ИИ против AI - В настоящее время ChatGPT не может определить, был ли текст запроса написан ИИ или нет. В будущем, возможно, появится возможность в более новых версиях, что может помочь в обеспечении безопасности. Например, эта возможность может помочь выявлять фишинговые электронные письма.

Etay резюмирует: "Мы не можем остановить прогресс, но нам действительно нужно научить людей пользоваться этими инструментами".

Чтобы узнать больше о том, как профессионалы в области безопасности могут максимально использовать ChatGPT, посмотрите весь мастер-класс здесь.