NIST предупреждает о рисках безопасности и конфиденциальности, связанных с быстрым развертыванием системы искусственного интеллекта

[Brother]

Национальный институт стандартов и технологий США (NIST) обращает внимание на проблемы конфиденциальности и безопасности, которые возникают в результате расширения внедрения систем искусственного интеллекта (ИИ) в последние годы.

"Эти проблемы безопасности и конфиденциальности включают в себя потенциальную возможность состязательного манипулирования обучающими данными, состязательное использование уязвимостей модели для негативного влияния на производительность системы искусственного интеллекта и даже злонамеренные манипуляции, модификации или простое взаимодействие с моделями для извлечения конфиденциальной информации о людях, представленных в данных, о самой модели или проприетарных корпоративных данных", - сказал NIST.

Поскольку системы искусственного интеллекта быстрыми темпами интегрируются в онлайн-сервисы, отчасти благодаря появлению генеративных систем искусственного интеллекта, таких как OpenAI ChatGPT и Google Bard, модели, использующие эти технологии, сталкиваются с рядом угроз на различных этапах операций машинного обучения.

К ним относятся поврежденные данные обучения, недостатки безопасности в программных компонентах, искажение модели данных, слабые места в цепочке поставок и нарушения конфиденциальности, возникающие в результате атак с быстрым внедрением.

"По большей части разработчикам программного обеспечения нужно, чтобы их продуктом пользовалось больше людей, чтобы он мог совершенствоваться по мере раскрытия", - сказал специалист по информатике NIST Апостол Василев. "Но нет никакой гарантии, что воздействие будет хорошим. Чат-бот может выдавать плохую или токсичную информацию при запросе тщательно продуманным языком."

Атаки, которые могут оказать значительное влияние на доступность, целостность и конфиденциальность, в целом классифицируются следующим образом -

• Атаки уклонения, целью которых является создание результатов, противоречащих интересам противника, после развертывания модели
• Атаки с отравлением, которые нацелены на этап обучения алгоритма путем введения поврежденных данных
• Атаки на конфиденциальность, целью которых является получение конфиденциальной информации о системе или данных, на которых она была обучена, путем постановки вопросов, обходящих существующие барьеры
• Атаки со стороны злоумышленников, направленные на компрометацию законных источников информации, таких как веб-страница с некорректными фрагментами информации, с целью изменения целевого назначения системы.

Такие атаки, по словам NIST, могут осуществляться субъектами угрозы, обладающими полными знаниями (белый ящик), минимальными знаниями (черный ящик) или имеющими частичное понимание некоторых аспектов системы искусственного интеллекта (серый ящик).

Агентство далее отметило отсутствие надежных мер по смягчению последствий для противодействия этим рискам, призвав более широкое техническое сообщество "придумать более эффективные средства защиты".

Разработка появилась более чем через месяц после того, как Великобритания, США и международные партнеры из 16 других стран опубликовали рекомендации по разработке безопасных систем искусственного интеллекта (ИИ).

"Несмотря на значительный прогресс, достигнутый в области искусственного интеллекта и машинного обучения, эти технологии уязвимы для атак, которые могут вызвать впечатляющие сбои с тяжелыми последствиями", - сказал Васильев. "Существуют теоретические проблемы с обеспечением безопасности алгоритмов искусственного интеллекта, которые просто еще не решены. Если кто-то говорит иначе, они продают змеиный жир".