Carding 4 Carders
Professional
- Messages
- 2,730
- Reaction score
- 1,465
- Points
- 113
Google объявила о расширении своей программы вознаграждения за уязвимости (VRP), чтобы вознаградить исследователей за поиск сценариев атак, адаптированных к системам с генеративным искусственным интеллектом (ИИ), в попытке повысить безопасность ИИ.
"Генеративный ИИ поднимает новые проблемы, отличные от традиционной цифровой безопасности, такие как возможность несправедливой предвзятости, манипулирования моделями или неправильного толкования данных (галлюцинации)", - заявили представители Google Лори Ричардсон и Роял Хансен.
Некоторые из категорий, которые находятся в сфере действия, включают внедрение подсказок, утечку конфиденциальных данных из обучающих наборов данных, манипулирование моделью, враждебные атаки с возмущением, которые приводят к неправильной классификации, и кражу модели.
Стоит отметить, что Google ранее в июле этого года учредила команду AI Red для оказания помощи в устранении угроз системам искусственного интеллекта в рамках своей платформы безопасного искусственного интеллекта (SAIF).
Также в рамках своей приверженности обеспечению безопасности ИИ объявлены усилия по укреплению цепочки поставок ИИ с помощью существующих инициатив по обеспечению безопасности с открытым исходным кодом, таких как Уровни цепочки поставок для программных артефактов (SLSA) и Sigstore.
"Цифровые подписи, такие как из Sigstore, которые позволяют пользователям убедиться, что программное обеспечение не было подделано или заменено", - сказали в Google.
"Метаданные, такие как происхождение SLSA, которые сообщают нам, что содержится в программном обеспечении и как оно было создано, позволяя потребителям обеспечивать совместимость лицензий, выявлять известные уязвимости и обнаруживать более сложные угрозы".
Разработка происходит после того, как OpenAI представила новую внутреннюю команду по обеспечению готовности для "отслеживания, оценки, прогнозирования и защиты" от катастрофических рисков для генеративного ИИ, охватывающих кибербезопасность, химические, биологические, радиологические и ядерные угрозы (CBRN).
Две компании, наряду с Anthropic и Microsoft, также объявили о создании Фонда безопасности искусственного интеллекта в размере 10 миллионов долларов, направленного на продвижение исследований в области безопасности искусственного интеллекта.
"Генеративный ИИ поднимает новые проблемы, отличные от традиционной цифровой безопасности, такие как возможность несправедливой предвзятости, манипулирования моделями или неправильного толкования данных (галлюцинации)", - заявили представители Google Лори Ричардсон и Роял Хансен.
Некоторые из категорий, которые находятся в сфере действия, включают внедрение подсказок, утечку конфиденциальных данных из обучающих наборов данных, манипулирование моделью, враждебные атаки с возмущением, которые приводят к неправильной классификации, и кражу модели.
Стоит отметить, что Google ранее в июле этого года учредила команду AI Red для оказания помощи в устранении угроз системам искусственного интеллекта в рамках своей платформы безопасного искусственного интеллекта (SAIF).
Также в рамках своей приверженности обеспечению безопасности ИИ объявлены усилия по укреплению цепочки поставок ИИ с помощью существующих инициатив по обеспечению безопасности с открытым исходным кодом, таких как Уровни цепочки поставок для программных артефактов (SLSA) и Sigstore.
"Цифровые подписи, такие как из Sigstore, которые позволяют пользователям убедиться, что программное обеспечение не было подделано или заменено", - сказали в Google.
"Метаданные, такие как происхождение SLSA, которые сообщают нам, что содержится в программном обеспечении и как оно было создано, позволяя потребителям обеспечивать совместимость лицензий, выявлять известные уязвимости и обнаруживать более сложные угрозы".
Разработка происходит после того, как OpenAI представила новую внутреннюю команду по обеспечению готовности для "отслеживания, оценки, прогнозирования и защиты" от катастрофических рисков для генеративного ИИ, охватывающих кибербезопасность, химические, биологические, радиологические и ядерные угрозы (CBRN).
Две компании, наряду с Anthropic и Microsoft, также объявили о создании Фонда безопасности искусственного интеллекта в размере 10 миллионов долларов, направленного на продвижение исследований в области безопасности искусственного интеллекта.
