Исследователи кибербезопасности обнаружили, что можно скомпрометировать службу преобразования Hugging Face Safetensors, чтобы в конечном итоге перехватить модели, представленные пользователями, и привести к атакам по цепочке поставок.
"Из сервиса Hugging Face можно отправлять вредоносные запросы на извлечение с данными, контролируемыми злоумышленником, в любой репозиторий платформы, а также перехватывать любые модели, отправленные через сервис конвертации", - сказал HiddenLayer в отчете, опубликованном на прошлой неделе.
Это, в свою очередь, может быть достигнуто с использованием взломанной модели, которая предназначена для преобразования сервисом, тем самым позволяя злоумышленникам запрашивать изменения в любом репозитории на платформе, маскируясь под конверсионного бота.
Hugging Face - популярная платформа для совместной работы, которая помогает пользователям размещать предварительно подготовленные модели машинного обучения и наборы данных, а также создавать, развертывать и обучать их.
Safetensors - это формат, разработанный компанией для хранения тензоров с учетом соображений безопасности, в отличие от pickles, которые, вероятно, были вооружены участниками угроз для выполнения произвольного кода и развертывания стейджеров Cobalt Strike, Mythic и Metasploit.
Он также поставляется с сервисом преобразования, который позволяет пользователям конвертировать любую модель PyTorch (например, pickle) в ее эквивалент Safetensor с помощью запроса на извлечение.
Анализ этого модуля HiddenLayer показал, что злоумышленник гипотетически может взломать размещенную службу конвертации, используя вредоносный двоичный файл PyTorch, и скомпрометировать систему, в которой он размещен.
Более того, токен, связанный с SFConvertbot – официальным ботом, разработанным для генерации запроса на извлечение, – может быть отфильтрован для отправки вредоносного запроса на извлечение в любой репозиторий сайта, что приводит к сценарию, при котором субъект угрозы может подделать модель и внедрить нейронные бэкдоры.
"Злоумышленник может запустить любой произвольный код в любой момент, когда кто-то попытается преобразовать его модель", - отметили исследователи Эоин Виккенс и Казимир Шульц. "Без какого-либо указания самим пользователям их модели могут быть взломаны при конвертации".
Если пользователь попытается преобразовать свой собственный частный репозиторий, атака может проложить путь к краже его токена Hugging Face, получить доступ к внутренним моделям и наборам данных и даже отравить их.
Ситуация еще больше усложняется тем, что злоумышленник может воспользоваться тем фактом, что любой пользователь может отправить запрос на преобразование общедоступного репозитория, чтобы перехватить или изменить широко используемую модель, что потенциально может привести к значительному риску для цепочки поставок.
"Несмотря на наилучшие намерения обезопасить модели машинного обучения в экосистеме Hugging Face, сервис конвертации оказался уязвимым и потенциально мог вызвать широкомасштабную атаку по цепочке поставок через официальный сервис Hugging Face", - заявили исследователи.
"Злоумышленник может закрепиться в контейнере, в котором запущен сервис, и скомпрометировать любую модель, преобразованную сервисом".
Разработка началась чуть более чем через месяц после того, как Trail of Bits раскрыла LeftoverLocals (CVE-2023-4969, оценка CVSS: 6,5), уязвимость, которая позволяет восстанавливать данные с универсальных графических процессоров Apple, Qualcomm, AMD и Imagination (GPGPU).
Ошибка утечки памяти, возникающая из-за неспособности адекватно изолировать память процесса, позволяет локальному злоумышленнику считывать память из других процессов, включая интерактивный сеанс другого пользователя с моделью большого языка (LLM).
"Утечка данных может иметь серьезные последствия для безопасности, особенно с учетом роста числа систем ML, где локальная память используется для хранения входных данных, выходных данных и весов модели", - сказали исследователи безопасности Тайлер Соренсен и Хайди Хлааф.
"Из сервиса Hugging Face можно отправлять вредоносные запросы на извлечение с данными, контролируемыми злоумышленником, в любой репозиторий платформы, а также перехватывать любые модели, отправленные через сервис конвертации", - сказал HiddenLayer в отчете, опубликованном на прошлой неделе.
Это, в свою очередь, может быть достигнуто с использованием взломанной модели, которая предназначена для преобразования сервисом, тем самым позволяя злоумышленникам запрашивать изменения в любом репозитории на платформе, маскируясь под конверсионного бота.
Hugging Face - популярная платформа для совместной работы, которая помогает пользователям размещать предварительно подготовленные модели машинного обучения и наборы данных, а также создавать, развертывать и обучать их.
Safetensors - это формат, разработанный компанией для хранения тензоров с учетом соображений безопасности, в отличие от pickles, которые, вероятно, были вооружены участниками угроз для выполнения произвольного кода и развертывания стейджеров Cobalt Strike, Mythic и Metasploit.
Он также поставляется с сервисом преобразования, который позволяет пользователям конвертировать любую модель PyTorch (например, pickle) в ее эквивалент Safetensor с помощью запроса на извлечение.
Анализ этого модуля HiddenLayer показал, что злоумышленник гипотетически может взломать размещенную службу конвертации, используя вредоносный двоичный файл PyTorch, и скомпрометировать систему, в которой он размещен.
Более того, токен, связанный с SFConvertbot – официальным ботом, разработанным для генерации запроса на извлечение, – может быть отфильтрован для отправки вредоносного запроса на извлечение в любой репозиторий сайта, что приводит к сценарию, при котором субъект угрозы может подделать модель и внедрить нейронные бэкдоры.
"Злоумышленник может запустить любой произвольный код в любой момент, когда кто-то попытается преобразовать его модель", - отметили исследователи Эоин Виккенс и Казимир Шульц. "Без какого-либо указания самим пользователям их модели могут быть взломаны при конвертации".
Если пользователь попытается преобразовать свой собственный частный репозиторий, атака может проложить путь к краже его токена Hugging Face, получить доступ к внутренним моделям и наборам данных и даже отравить их.
Ситуация еще больше усложняется тем, что злоумышленник может воспользоваться тем фактом, что любой пользователь может отправить запрос на преобразование общедоступного репозитория, чтобы перехватить или изменить широко используемую модель, что потенциально может привести к значительному риску для цепочки поставок.
"Несмотря на наилучшие намерения обезопасить модели машинного обучения в экосистеме Hugging Face, сервис конвертации оказался уязвимым и потенциально мог вызвать широкомасштабную атаку по цепочке поставок через официальный сервис Hugging Face", - заявили исследователи.
"Злоумышленник может закрепиться в контейнере, в котором запущен сервис, и скомпрометировать любую модель, преобразованную сервисом".
Разработка началась чуть более чем через месяц после того, как Trail of Bits раскрыла LeftoverLocals (CVE-2023-4969, оценка CVSS: 6,5), уязвимость, которая позволяет восстанавливать данные с универсальных графических процессоров Apple, Qualcomm, AMD и Imagination (GPGPU).
Ошибка утечки памяти, возникающая из-за неспособности адекватно изолировать память процесса, позволяет локальному злоумышленнику считывать память из других процессов, включая интерактивный сеанс другого пользователя с моделью большого языка (LLM).
"Утечка данных может иметь серьезные последствия для безопасности, особенно с учетом роста числа систем ML, где локальная память используется для хранения входных данных, выходных данных и весов модели", - сказали исследователи безопасности Тайлер Соренсен и Хайди Хлааф.
