Man
Professional
- Messages
- 2,954
- Reaction score
- 477
- Points
- 83
Как я использовал deepfakes, чтобы обойти проверку безопасности в банке.
Когда был выпущен новый инструмент под названием "Deepfake Offensive Toolkit", утверждающий, что теперь вы можете внедрять deepfakes в реальном времени в свою виртуальную камеру и обходить проверки биометрической активности, я был в восторге! Как вы могли заметить, все мои последние посты связаны с поддельными личностями и обходом проверок KYC в финансовых учреждениях. Я подумал, почему бы не попробовать и не обойти биометрическую верификацию с помощью машинного обучения?
Прежде чем все разложить, мне нужно было найти целевое приложение и установить условия тестирования. Посмотрев несколько необанков на своем телефоне, я нашел один, который просил предоставить короткую видеозапись в некоторых случаях сброса счета, когда банк не был уверен в вашей личности. Вам все равно нужно было иметь много информации под рукой, чтобы получить доступ к счету, например, фотографии удостоверений личности, доступ к электронной почте и, возможно, данные карты. Хороший deepfake требует часов высококачественных видео или фотографий человека. Все это трудно получить, если преступники не знают жертву. Но все меняется, если это кто-то изнутри. Ваш ребенок-подросток, ваш разгневанный бывший или ваш деловой партнер будут иметь фотографии вашего удостоверения личности, личные видео и временный доступ к вашей электронной почте и телефону. Это наш злоумышленник.
Как только мы разобрались с предпосылками, мы можем поиграть с фреймворками МО. Но прежде чем мы начнем делать поддельные видео, нам нужно пройтись по неизмененному сценарию проверки, чтобы иметь точку отсчета. Я сбросил приложение, запустил условия проверки, создал видео 640x480 и, используя свой взломанный iPhone, успешно отправил это видео и прошел проверки проверки.
В ходе проверки рекомендаций я обнаружил, что:
- Я могу инициировать запросы на проверку и автоматически подставлять видеофайлы для проверки.
- Я могу делать столько проверок, сколько захочу. Даже если одна попытка не удалась, я могу запустить другую, на которую не повлияют предыдущие результаты.
- Каждая проверка займет разное время для одобрения, поэтому, скорее всего, ее выполняют люди.
Референсная запись
Пример 1. Набор инструментов для атаки Deepfake, попытка 1.
Я попросил друга с похожей стрижкой и чертами лица записать тестовое видео и отправить его мне, чтобы я мог применить к нему инструментарий deepfake. К сожалению, качество даже не было удовлетворительным:Кто этот человек?!?
Статус: проверка не была начата
Пример 2. Набор инструментов для атаки Deepfake, попробуйте 2.
Отказавшись от экспериментов с различными вариантами конфигурации, я решил применить свою собственную фотографию к своему собственному видео!До и после
С этим я могу работать! Сначала я был уверен, что процедура видеоверификации не пройдет и мне придется предоставить больше документов. Но нет! Верификация прошла успешно, несмотря на некоторые явные признаки видеомонтажа: размытое лицо, неровные края лица и признаки видеомонтажа в полученном файле.
Статус: проверка пройдена
Пример 3. DeepFaceLab, попробуйте 1.
Я узнал, что deepfakes в реальном времени далеки от реалистичности. Но мне не нужна была замена в реальном времени, поэтому я попробовал другой проект – DeepFaceLab. Этот фреймворк создает впечатляющие результаты с правильными качественными видеоисточниками и достаточными ресурсами, потраченными на обучение модели.Но чтобы сэкономить время, я начал с того же требования: заменить себя на себя. Я записал 1000-кадровое видео себя, а затем обучил модель SAEHD для размещения на другом моем видео:
Это фейк-я, сгенерированный фреймворком DFL. Опять же, признаки deepfake очевидны. Вы можете видеть подмененную размытую форму лица, которая может обмануть только человека с очень плохим зрением. Но это тоже сработало! Пока все хорошо.
Статус: проверка пройдена
Пример 4. DeepFaceLab, попробуйте 2.
Я взял оригинальное видео, которое попросил у своего друга, и применил к этому видео переобученную модель:Это более приличное по качеству видео, чем моя первая попытка, но все еще далеко от совершенства. Здесь есть несколько проблем:
- Разные цвета лица, делающие края более заметными. Как я обнаружил позже, правильные параметры модели DFL исправляют это.
- Прямой край бахромы. Это можно исправить с помощью правильного видео назначения и надлежащей тренировки маски.
- Никаких очков. Это может вызвать красный флаг для служб распознавания видео. К сожалению, ношение очков создает ужасные артефакты. Эти условия следует изучить подробнее.
- В конечной записи была неправильная артикуляция, что могло бы вызвать еще один тревожный сигнал.
Увы, это видео не прошло проверку. Но я был уверен, что можно создать нужное видео, чтобы пройти процедуру проверки.
Статус: проверка не пройдена
Пример 5. Без очков.
Никто не пытался заблокировать меня навсегда после нескольких неудачных проверок. Это удивительно, подумал я! Это значит, что я могу попытаться определить некоторые из условий черного ящика процесса проверки.Поскольку очки являются неотъемлемой частью жизни некоторых людей, что, если их отсутствие является основной причиной неудачной проверки? Я отправил немодифицированное видео себя без очков. И я провалил проверку! Хотя абсолютно ничего не изменилось!
Статус: проверка не пройдена
Пример 6. DeepNostalgia+Wav2lip+Face-SPARNet
Теперь, когда мы знаем, что очки имеют решающее значение, я знаю, что мне нужно в финальном видео. Есть только одна проблема: deepfakes с очками всегда были очень низкого качества.Один из блестящих ученых МО, Александр, предложил мне заглянуть на https://www.myheritage.com/deep-nostalgia, чтобы анимировать мою фотографию в очках, которые не будут выходить за пределы формы моего лица. Я использовал его, чтобы создать короткое видео о себе:
Не самое лучшее качество, но и не самое худшее.
Теперь нам нужно избавиться от водяных знаков (извините за это) и применить фреймворк wav2lip, который заставит меня "произносить" слова. Это еще больше ухудшило качество финального видео, поэтому я улучшил его с помощью Face-SPARNet:
К сожалению, конечное качество оказалось недостаточно хорошим, и проверка не прошла.
Статус: проверка не пройдена
Пример 7. Анимация фотографий AI+Wav2lip+ Face-SPARNet+DeepFaceLab
В какой-то момент в моей голове что-то щелкнуло. Если у меня есть трехсекундная запись, я могу взять одну фотографию жертвы, создать анимированное видео только из этой фотографии, а затем повторно применить к ней источники высокого разрешения с помощью DeepFaceLab, чтобы радикально улучшить качество! Последние шаги, в которых были решены существующие проблемы предыдущих примеров:1. Качество видео назначения DFL было улучшено путем покупки Animate Photos AI. Это также помогло удалить водяные знаки.
2. Искусственный интеллект Animate Photos распознает лицо и создает квадратное видео, поэтому мне пришлось «обмануть» алгоритм, чтобы он создал видео, которое я смогу обрезать в продукт размером 640x480:
3. Wav2lip и постредактирование с помощью Face-SPARNet создали дополнительные визуальные артефакты в нижней части видео:
Форк Wav2lip-HQ не делал липсинк достаточно высокого качества. Поэтому я записал губы, говорящие то, что мне нужно, и наложил их на видео. Поскольку позже это будет заменено с помощью DFL, это не имеет значения!
Идеальный источник для синхронизации губ.
4. Возьмите остальную часть видео высокого разрешения "жертвы" и используйте ее как SRC для DFL. Я обучил модель SAEHD с помощью Google Colab с нуля, и, честно говоря, результаты были впечатляющими.
fake-deom.mp4
drive.google.com
Статус: проверка пройдена
Последний пример. RealTimeVoiceCloning
Когда я проверял, может ли липсинк быть проблемой, я решил сделать видео, где губы не показывают то, что говорит голос. В дополнение к этому я решил сгенерировать полностью искусственный голос. У инсайдера могут быть записи голоса жертвы, но вряд ли у него будет точное предложение, которое банк ожидает от него услышать. И поскольку эта статья об инструментах deepfake, я взял фреймворк RealTimeVoiceCloning. После недолгого обучения на 10-15 минутах голоса я создал фальшивый голос приличного качества, говорящий все, что я хотел:test voice.mp4
drive.google.com
Как вы слышите, этот голос звучит довольно далеко от моего оригинального голоса. В дополнение к этому я записал видео, где я произношу слова, отличные от слов на аудио:
Звуковая дорожка не синхронизирована с видео
Итак, я снова не был уверен, пройду ли я проверку.
Сработало! Значит, у банковских служащих нет эталона моего голоса. Тот, кто проверяет записи, больше внимания уделяет видео, чем аудио.
Статус: проверка пройдена
Размышления о процессе проверочного тестирования.
Мне повезло. Я нашел условия тестирования, которые позволили мне инициировать запросы на проверку и даже провалить или пройти, не влияя напрямую на дальнейшие тесты. Эти условия позволяют организовать тесты методом проб и ошибок — именно то, что мне было нужно.На основе различных тайм-аутов каждой проверки я пришел к выводу, что окончательное доказательство сделали люди. Часы пик и нерабочие часы заняли больше времени для проверок, чем непиковое время. Если проверки проводятся только людьми, всегда есть фактор предвзятости. Одно и то же видео, отправленное снова и снова, в конечном итоге может быть принято.
При создании deepfake важно соответствие лиц между исходным и конечным видео. А также условия освещения, качество видео и даже более мелкие детали: какие очки вы носите, какая у вас челка? В своих тестах я позволил себе некоторую гибкость, которой не будет у преступников.
Процесс проверки все еще остается черным ящиком – я не знаю, повлияли ли все мои тесты в совокупности на результат или нет. И есть ли у персонала какие-либо предыдущие записи.
В целом, если у вас достаточно времени, чтобы создать что-то вроде этого:
Рекомендации для банков.
И практически всем, кто полагается на фото/видео/аудио подтверждения:1. Контролируйте свою среду! Я не знаю, как это подчеркнуть, но это ключ! Если iPhone вашего клиента взломан, можно изменить любую часть информации, которая идет с телефона в API, и нет никакого доверия к этим данным.
2. Анализируйте контент со всех возможных сторон. Вам следует начать с набора инструментов обнаружения ML для deepfakes — это даст вам преимущество. Существуют очевидные доказательства измененных видео, такие как метатеги и строки во входных данных. Некоторые из них менее очевидны: неравномерный градиент, размытие и т. д.
3. Соберите свои предыдущие данные и учитесь на их основе. Почему моя запись внезапно меняет голос? Почему я отправил десятки запросов на проверку? Почему мой идентификатор устройства каждый раз меняется? Почему кто-то пытается отправить одно и то же видео снова и снова, надеясь, что его в конце концов примут?
4. Поскольку deepfakes становятся товаром, вам нужно подумать об усложнении шагов проверки. Некоторые поставщики KYC требуют видеозвонков, организованных персоналом, вместо простых записей. Они могут попросить вас сделать некоторые необычные вещи — наклонить документ, повернуть влево, вправо. Вы можете уравновесить технологическое преимущество ваших противников, сдерживая их более сложными проверками.
В наши дни довольно просто создавать deepfake-контент не только для доказательства концепции или забавного видео TikTok. Используя инструменты с открытым исходным кодом или массовые коммерческие продукты, преступники с достаточным терпением и даже поверхностным пониманием технологий могут обойти банковские ограничения.
Источник
Last edited by a moderator:
