Риски безопасности, связанные с форматом Pickle, снова вышли на первый план с открытием новой "техники использования модели гибридного машинного обучения (ML)", получившей название Sleepy Pickle.
Метод атаки "по цепочке битов" использует в качестве оружия повсеместный формат, используемый для упаковки и распространения моделей машинного обучения (ML), чтобы повредить саму модель, создавая серьезный риск для цепочки поставок для нижестоящих клиентов организации.
"Sleepy Pickle - это скрытая и новая техника атаки, которая нацелена на саму модель ML, а не на базовую систему", - сказал исследователь безопасности Боян Миланов.
Хотя pickle является широко используемым форматом сериализации библиотеками ML, такими как PyTorch, его можно использовать для выполнения атак на выполнение произвольного кода простым путем загрузки файла pickle (т.Е. Во время десериализации).
"Мы предлагаем загружать модели от пользователей и организаций, которым вы доверяете, полагаясь на подписанные коммиты и / или загружать модели из форматов [TensorFlow] или Jax с помощью механизма автоматического преобразования from_tf = True", - указывает Hugging Face в своей документации.
Sleepy Pickle работает путем вставки полезной нагрузки в файл pickle с использованием инструментов с открытым исходным кодом, таких как Fickling, а затем доставки ее целевому хосту с использованием одного из четырех методов, таких как атака "злоумышленник посередине" (AitM), фишинг, компрометация цепочки поставок или использование слабости системы.
"Когда файл десериализуется в системе жертвы, выполняется полезная нагрузка, которая изменяет содержащуюся в нем модель на месте, чтобы вставить бэкдоры, контролировать выходные данные или подделать обработанные данные, прежде чем вернуть их пользователю", - сказал Миланов.
Иными словами, полезной нагрузкой, введенной в файл pickle, содержащий сериализованную модель ML, можно злоупотреблять для изменения поведения модели путем изменения весовых коэффициентов модели или изменения входных и выходных данных, обрабатываемых моделью.
В гипотетическом сценарии атаки этот подход может быть использован для генерации вредоносных выходных данных или дезинформации, которые могут иметь катастрофические последствия для безопасности пользователей (например, пить отбеливатель для лечения гриппа), кражи пользовательских данных при соблюдении определенных условий и косвенной атаки на пользователей путем создания поддельных сводок новостных статей со ссылками, указывающими на фишинговую страницу.
Компания Trail of Bits заявила, что участники угроз могут использовать Sleepy Pickle для обеспечения скрытого доступа к системам ML таким образом, чтобы избежать обнаружения, учитывая, что модель скомпрометирована при загрузке файла pickle в процесс Python.
Это также более эффективно, чем прямая загрузка вредоносной модели в Hugging Face, поскольку позволяет динамически изменять поведение модели или выводимые данные без необходимости побуждать цели загружать и запускать их.
"С помощью Sleepy Pickle злоумышленники могут создавать файлы pickle, которые не являются ML-моделями, но все равно могут повредить локальные модели, если их загрузить вместе", - сказал Миланов. "Таким образом, поверхность атаки намного шире, потому что контроля над любым файлом pickle в цепочке поставок целевой организации достаточно, чтобы атаковать их модели".
"Sleepy Pickle демонстрирует, что продвинутые атаки на уровне модели могут использовать слабые места цепочки поставок более низкого уровня через связи между базовыми программными компонентами и конечным приложением".
