Все, что вы хотели знать о безопасности искусственного интеллекта, но боялись спросить

[Carding]

В последнее время было много шумихи вокруг искусственного интеллекта, но это не значит, что роботы здесь, чтобы заменить нас. Эта статья проясняет ситуацию и объясняет, как компаниям следует подходить к ИИ.

За последние несколько лет вокруг искусственного интеллекта было много шумихи - от размышлений о самоуправляемых автомобилях до опасений ИИ-ботов, которые могут уничтожить мир. Искусственный интеллект захватил наше воображение, мечты, а иногда и наши кошмары. Однако реальность такова, что искусственный интеллект в настоящее время гораздо менее развит, чем мы предполагали. Например, автономные автомобили, которые часто считаются воплощением безграничного будущего искусственного интеллекта, представляют собой узкий вариант использования и пока не являются распространенным приложением во всех секторах транспорта.

В этой статье мы снимаем шумиху вокруг искусственного интеллекта, предоставляем инструменты для компаний, приближающихся к искусственному интеллекту, и делимся информацией, помогающей заинтересованным сторонам самообразовываться.

Терминология ИИ обесценилась​

Искусственный интеллект против ML​

ИИ (искусственный интеллект) и ML (машинное обучение) - это термины, которые часто используются взаимозаменяемо, но они представляют разные концепции. ИИ направлен на создание интеллекта, что означает когнитивные способности и способность пройти тест Тьюринга. Он работает, используя полученные знания и поднимая их на новый уровень. Цель использования искусственного интеллекта - повторить действия человека, например, создать робота-уборщика, который работает аналогично человеку-уборщику.

ML - это подмножество искусственного интеллекта. Он включает математические модели, а его возможности основаны на объединении машин с данными. ML работает, извлекая уроки из событий, а затем расставляя приоритеты для этих уроков. В результате ML может выполнять действия, недоступные людям, например, просматривать огромные массивы данных, вычислять закономерности, предсказывать вероятности и многое другое.

Узкий против Общего искусственного интеллекта​

Концепция общего искусственного интеллекта часто пугает большинство людей, поскольку она является воплощением того, что наши "повелители роботов" заменяют людей. Однако, хотя эта идея технически возможна, мы сейчас не на той стадии.

В отличие от общего ИИ, узкий ИИ - это специализированная форма ИИ, настроенная для очень специфических задач. Этот фокус позволяет поддерживать людей, освобождая нас от работы, которая слишком сложна или потенциально вредна. Он не предназначен для того, чтобы заменить нас. Узкий искусственный интеллект уже применяется во всех отраслях, например, для сборки автомобилей или упаковочных коробок. В области кибербезопасности узкий искусственный интеллект может анализировать данные об активности и журналы в поисках аномалий или признаков атаки.

Искусственный интеллект и ML в дикой природе​

В дикой природе существуют три распространенные модели искусственного интеллекта и ML: генеративный AI, контролируемый ML и неконтролируемый ML.

Генеративный искусственный интеллект​

Генеративный искусственный интеллект - это передовая область в области искусственного интеллекта, характеризующаяся моделями, подобными LLM, которые обучаются на основе совокупности знаний. Технология генеративного искусственного интеллекта обладает способностью генерировать новый контент на основе информации, содержащейся в этом корпусе. Генеративный искусственный интеллект был описан как форма "автозамены" или "ввода с опережением", но на стероидах. Примерами приложений с генеративным искусственным интеллектом являются ChatGPT, Bing, Bard, Dall-E и специализированные кибер-помощники, такие как IBM Security QRadar Advisor с Watson или MSFT Security CoPilot.

Генеративный искусственный интеллект лучше всего подходит для таких случаев использования, как мозговой штурм, помощь в редактировании текстов и проведение исследований с использованием проверенного корпуса. Специалисты по кибербезопасности, такие как SOC и fusion teams, могут использовать генеративный искусственный интеллект для исследований, чтобы помочь им понять уязвимости нулевого дня, топологии сетей или новые индикаторы компрометации (IoC). Важно признать, что генеративный ИИ иногда порождает "галлюцинации", то есть неправильные ответы.

По словам Этая Маора, старшего директора по стратегии безопасности в Cato Networks, "Генеративный ИИ также может помочь преступникам. Например, они могут использовать его для написания фишинговых электронных писем. До ChatGPT одним из основных способов обнаружения фишинговых писем были орфографические ошибки и неправильная грамматика. Это были признаки того, что что-то было подозрительным. Теперь преступники могут легко написать фишинговое электронное письмо на нескольких языках с идеальной грамматикой".

Обучение без учителя​

Обучение без учителя в ML означает, что обучающие данные и результаты не помечены. Такой подход позволяет алгоритмам делать выводы из данных без вмешательства человека, находить шаблоны, кластеры и связи. Обучение без учителя обычно используется для динамических рекомендаций, например, на сайтах розничной торговли.

В кибербезопасности неконтролируемое обучение может использоваться для кластеризации и поиска шаблонов, которые раньше не были очевидны, например, оно может помочь идентифицировать все вредоносные программы с определенной сигнатурой, происходящие из определенного национального государства. Он также может находить ассоциации и связующие звенья между наборами данных. Например, определять, чаще ли люди, переходящие по фишинговым электронным письмам, повторно используют пароли. Другой вариант использования - обнаружение аномалий, например, обнаружение активности, которая может указывать на то, что злоумышленник использует украденные учетные данные.

Обучение без учителя не всегда является правильным выбором. Когда неправильный вывод имеет очень большое влияние и серьезные последствия, когда требуется короткое время обучения или когда требуется полная прозрачность, рекомендуется использовать другой подход.

Обучение под наблюдением​

При обучении под наблюдением обучающие данные помечаются парами ввода / вывода, а точность модели зависит от качества маркировки и полноты набора данных. Часто требуется вмешательство человека для проверки выходных данных, повышения точности и исправления любых отклонений. Обучение под наблюдением лучше всего подходит для составления прогнозов.

В кибербезопасности контролируемое обучение используется для классификации, которая может помочь идентифицировать фишинг и вредоносное ПО. Его также можно использовать для регрессии, например, для прогнозирования стоимости новой атаки на основе стоимости прошлых инцидентов.

Обучение под наблюдением не подходит наилучшим образом, если нет времени на обучение или некому маркировать или обучать данные. Это также не рекомендуется, когда необходимо анализировать большие объемы данных, когда их недостаточно или когда конечной целью является автоматическая классификация / кластеризация.

Обучение с подкреплением (RL)​

Обучение с подкреплением (RL) занимает промежуточное положение между полностью контролируемым и неконтролируемым обучением и является уникальным подходом к ML. Это означает переподготовку модели, когда существующее обучение не в состоянии предусмотреть определенные варианты использования. Даже глубокое обучение с его доступом к большим наборам данных все еще может упускать из виду нестандартные варианты использования, которые может решить RL. Само существование RL - это неявное признание того, что модели могут быть ошибочными.

Что киберпреступники говорят о генеративном ИИ​

Генеративный искусственный интеллект представляет интерес для киберпреступников. По словам Этая Маора, "Киберпреступники рассказывали о том, как использовать ChatGPT, Bard и другие приложения GenAI со дня их появления, а также делились своим опытом и мыслями об их возможностях. Похоже, они считают, что GenAI имеет ограничения и, вероятно, будет более зрелым для использования злоумышленниками через несколько лет ".

Некоторые примеры разговоров включают:

Платформа управления рисками искусственного интеллекта (AI RMF) от NIST​

При работе с искусственным интеллектом и решениями на его основе важно понимать ограничения, риски и уязвимости искусственного интеллекта. Структура управления рисками искусственного интеллекта (AI RMF) от NIST представляет собой набор руководящих принципов и передовых практик, призванных помочь организациям выявлять, оценивать и управлять рисками, связанными с развертыванием и использованием технологий искусственного интеллекта.

Фреймворк состоит из шести элементов:

1. Достоверный - ИИ может предоставлять неверную информацию, которая также известна в GenAI как "галлюцинации". Важно, чтобы компании могли проверять точность и надежность внедряемого ими искусственного интеллекта.
2. Безопасность - гарантия того, что запрашиваемая информация не будет передана другим пользователям, как в печально известном Samsung case.
3. Безопасность и отказоустойчивость - злоумышленники используют искусственный интеллект для кибератак. Организации должны убедиться, что система искусственного интеллекта защищена от атак и может успешно пресекать попытки ее эксплуатации или использовать для оказания помощи в атаках.
4. Подотчетность и прозрачность - важно уметь объяснить цепочку поставок ИИ и обеспечить открытый разговор о том, как это работает. ИИ - это не волшебство.
5. Повышенная конфиденциальность - обеспечение защиты и анонимности запрашиваемой информации в хранилище данных и при использовании.
6. Честность - это один из важнейших элементов. Это означает управление вредоносной предвзятостью. Например, в распознавании лиц ИИ часто наблюдается предвзятость: светлокожие мужчины распознаются точнее по сравнению с женщинами с более темным цветом кожи. Например, при использовании искусственного интеллекта в правоохранительных органах это может иметь серьезные последствия.

Дополнительные ресурсы для управления рисками ИИ включают в себя MITRE ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems), OWASP Top 10 для ML и Google Secure AI Framework (SAIF).

Вопросы своему поставщику​

В ближайшем будущем поставщики будут очень часто предлагать генеративные возможности искусственного интеллекта. Вот список вопросов, которые следует задать, чтобы поддержать ваш обоснованный выбор.

1. Что и почему?
Каковы возможности искусственного интеллекта и зачем они нужны? Например, GenAI очень хорош в написании электронных писем, поэтому GenAI имеет смысл для системы электронной почты. Каков вариант использования для поставщика?

2. Обучающие данные
Данными обучения необходимо управлять должным образом и аккуратно, иначе это может привести к предвзятости. Важно спрашивать о типах данных обучения, о том, как они были очищены, как ими управляют и т.д.

3. Была ли встроена устойчивость?
Принял ли поставщик во внимание, что киберпреступники атакуют саму систему, и внедрил ли средства контроля безопасности?

4. Реальная рентабельность инвестиций против Претензий
Какова рентабельность инвестиций и оправдывает ли она внедрение ИИ или ML (или они были добавлены из-за шумихи и в целях продаж)?

5. Действительно ли это решает проблему?
Самый важный вопрос - решает ли ИИ вашу проблему и хорошо ли он это делает? Нет смысла переплачивать и нести дополнительные накладные расходы, если ИИ не решает проблему и не работает так, как должно.

ИИ может расширить наши возможности и помочь нам работать лучше, но это не серебряная пуля. Вот почему компаниям важно принимать обоснованные решения об инструментах с ИИ, которые они предпочитают внедрять внутри компании.

Чтобы узнать больше о вариантах использования искусственного интеллекта и ML, рисках, приложениях, уязвимостях и последствиях для экспертов по безопасности, смотрите весь мастер-класс здесь.