Что такое Deepfake видео и как сделать Face Swap

Что такое Deepfake

Такое название образовалось из двух английских слов: Deep learning (что означает «глубокое обучение») и Fake (то есть «подделка»). Глубокое обучение и подделка – суть технологии, о которой пойдет речь. Потому что она основана на глубоком обучении нейронных сетей, то есть, искусственного интеллекта.

ИИ учат распознавать лица людей, их особенности и мимику. Технология подразумевает синтез нескольких изображений человека с разных ракурсов. Алгоритм анализирует фото, учится тому, как двигается, жестикулирует, говорит человек. А потом создает видео с этим человеком. Совсем как настоящее. Это – суть части Deep.

Что касается части Fake, то созданное лицо человека можно «приклеить» на видео с участием другого человека. И даже можно заставить его говорить то, что хочет автор. При этом качественную подделку сложно отличить от реального видео.

Как это работает

Для создания ролика дипфейк нужно две нейронные сети. Первая сеть отвечает за генерацию изображений, а вторая должна отличать настоящие изображения от поддельных. Выявив подделку, вторая нейросеть отправляет это изображение первой, «на доработку». Таким образом, происходит обучение.

Для обучения нейросетей используют открытые библиотеки и алгоритмы машинного обучения, кроме того, активно используется Ютуб. Поэтому материалов для обучения у ИИ более чем достаточно, а результат ее работы получается максимально правдоподобным.

Где применяются

Дипфейк – это интересный инструмент, который сегодня имеет широкое применение в разных сферах.

Кино

Наверное, самый яркий и известный пример использования дипфейка – фильм «Аватар». Именно в нем впервые была использована технология переноса человеческих эмоций на анимированного персонажа. Но с момента выхода «Аватара» технология еще более усовершенствовалась, благодаря развитию ИИ. Уже не нужно наносить на лицо персонажа опорные точки, да и генерация видео занимает всего несколько дней.

Благодаря дипфейк можно вернуть на экраны ушедших актеров. Например, погибшего в 1995 году Джеймса Дина планируют «вернуть» в боевик «В поисках Джека».

При съемках фильма «Форсаж 7» в автокатастрофе трагически погиб актер Пол Уокер, который исполнял одну из главных ролей. Чтобы не закрывать проект, продюсеры решили заменить Пола – частично компьютерной графикой, где и использовалась технология дипфейк. В других эпизодах актера заменял дублер.

Кроме того, Deepfake может использоваться и для дублирования голоса, речи, причем слова будут полностью соответствовать мимике. Воспроизведение точно до мелочей, вплоть до интонации и тембра. Все это упрощает процесс подбора актеров – если ни один не подходит на роль, актера можно просто создать. Но это – перспектива кино. Пока еще.

Реклама

В рекламе Deepfake используется более активно. Например, компания KFC уже отказалась от сотрудничества с актерами и полностью перешла на использование сгенерированного образа полковника Сандерса – основателя KFC.

Технологией пользуются и при переводе рекламных роликов на разные языки – это особенно актуально, если в ролике снимается известный актер, и нужно сделать не просто перевод. Нужно сделать так, чтобы актер говорил на нужном языке. Сделать это без потерь времени и перерасхода средств помогает Deepfake. Яркий пример – антималярийный ролик с Дэвидом Бекхэмом, который был переведен на 9 языков, с применением данной технологии.

Виртуальная и дополнения реальности

Наверное, наиболее широкое распространение технология получила в индустрии компьютерных игр и дополненной реальности. Придание персонажам индивидуального облика, максимальная персонализация героев сделает игру более реалистичной.

Другие сферы

Технология применима в самых разных областях, ее возможности широки и пока еще не используются на полную мощность. Например, тот же перевод – он нужен не только в рекламе, но и в публичных выступлениях политиков или известных деятелей. Дипфейк помогает «воскресить» умерших музыкантов и сделать новые клипы с ними. Но, конечно же, большая часть роликов относится к чисто развлекательным.

Как создать дипфейк

Если вас заинтересовал этот инструмент, вы можете самостоятельно сделать интересный ролик или фото. Для этого не нужно вникать в тонкости создания или обучения ИИ – достаточно воспользоваться специальной программой. Приводим обзор самых популярных решений в этой сфере.

Название	Платформа	Плюсы	Минусы
Zao	Android, iOS	Много инструментов для смены внешности на фото и видео	Программа «заточена» под Китай, поэтому обработка лиц европейского типа будет не всегда хорошей
FaceSwap	Windows, MacOS, Linux	Многофункциональная, универсальная, бесплатная	Нужна мощная видеокарта и достаточно много оперативной памяти
DeepFaсeLab	Windows	Мощный инструмент для создания дипфейков	Для работы нужны знания и навыки, не подходит новичкам
Avatarify	Windows, Android, iOS
Doublicat	Android, iOS	Бесплатная, простая	Подходит только для обработки фото и создания GIF
FaceApp	Android, iOS	Бесплатная, многофункциональная, удобная	Только обработка фото
Deepfakes web β	Сайт	Автоматическая обработка видео, не загружает процессор	На смену лиц уходит около 4 часов, при стоимости доступа 2 доллара в час

Zao

https://zao.ru.uptodown.com/android

Самый популярный в Китае инструмент для создания дипфейков. Пользователи легко и быстро могут обменяться телами со звездами, политиками и так далее. Также есть возможность примерить на себя разные образы, подбирая одежду, прическу, макияж и так далее.

Цена: бесплатная.

Плюсы: многофункциональное приложение, простое и быстрое в работе.

Минусы: есть претензии к политике конфиденциальности.

Отличия от других приложений: часто обработка лица проводится по азиатскому типу.

FaceSwap

https://hwtech.ru/face-swap.html

Еще один мощный и универсальный инструмент для обработки роликов и фото. Программу можно установить на ПК с любой операционной системой. Также есть приложения для мобильных устройств, но пойдет оно не на всех смартфонах (только на мощных). Функционал программы – самый широкий, есть много учебников для начинающих, но в целом работа достаточно простая.

Цена: бесплатная.

Плюсы: многофункциональная, мощная, универсальная, можно делать ролики высокого качества.

Минусы: нужна мощная видеокарта.

Отличия от других приложений: лучшая документация и техподдержка.

DeepFaсeLab

https://github.com/iperov/DeepFaceLab

Одна из самых популярных программ, используемых при создании дипфейков. Именно с ее помощью делают большую часть роликов, распространяемых в соцсетях. Инструмент мощный, многофункциональный и бесплатный, но работать с ним стоит после обучения – хотя бы базового.

Цена: бесплатно.

Плюсы: универсальная производительная и многофункциональная программа.

Минусы: требует технических знаний.

Отличия от других приложений: лучший вариант для создания качественных дипфейков.

Avatarify 

https://apps.apple.com/ru/app/avatarify-оживи-любое-селфи/id1512669147

Популярное приложение для «оживления» фото и создания аватаров. Можно сделать «поющее» фото под любимую песню, оживить селфи или фото звезды, друга, начальника. Отличное средство для развлечения.

Цена: бесплатная.

Плюсы: поддержка приложений для видеоконференция, простая обработка аватаров.

Минусы: нужно уметь работать с командной строкой.

Отличия от других приложений: создано для работы с аватарами.

Doublicat

https://doublicat.ru.aptoide.com/app

Популярное приложение для обработки селфи. С его помощью вы легко поместите свое лицо на известный мем или сделаете «гифку». Программа хорошо повторяет мимику оригинала, накладывая ее на ваше лицо.

Цена: бесплатно.

Плюсы: простая, удобная программа для несложной замены лиц на фото.

Минусы: функционал ограничен редактированием фотографий.

Отличия от других приложений: оптимальное соотношение функционала, простоты и стоимости (точнее, ее отсутствия).

FaceApp

https://play.google.com/store/apps/details?id=io.faceapp&hl=ru&gl=US

Редактор селфи от российских разработчиков. Используется для преобразования лиц на фото. С помощью редактора можно изменить возраст человека, изменить его выражение лица, сменить пол, наложить макияж и так далее. Хороший вариант для тех, кто хочет примерить на себя разные образы, но не знает, как будет выглядеть.

Цена: бесплатно.

Плюсы: бесплатная, удобная и простая программа, с достаточно большим набором функций.

Минусы: только для обработки фото.

Отличия от других приложений: широкий функционал относительно обработки фото (наложение фона, виньеток и так далее).

Deepfakes web β

https://deepfakesweb.com

Онлайн-ресурс для создания дипфейк-видео. Ресурс мощный, для обработки ролика достаточно пройти регистрацию и загрузить видео. Обработка занимает около 4 часов, но мощности вашего устройства не задействуются – все происходит в облаке. Если же использовать уже обученную модель, процесс сокращается до 30 минут.

Цена: 2 доллара в час.

Плюсы: хороший функционал, удобство использования, достойное качество обработки.

Минусы: долго, не бесплатно.

Отличия от других программ: наибольшая кривая обучения.

Влияние Deepfake на общество

На данный момент нельзя сказать, что дипфейк имеет большое влияние на людей. Но может иметь, если использовать технологию в неблаговидных целях. Специалисты наиболее опасаются влияния фейковых роликов на политическую ситуацию – ведь очень легко подделать выступление видного политика и «заставить» его говорить то, что нужно. Опровергнуть же лживые заявления, доказать их подделку будет сложно. А учитывая мгновенное распространение новостей и повышенную нервозность населения… Последствия могут быть самыми разными.

То же касается других сфер – экономики, науки, технологий.

Примеры применения и их последствия

Технология – это просто технология. Она не может быть плохой или хорошей. Все зависит от того, в каких целях ее используют. Поэтому рассмотрим примеры применения Deepfake в мирных и не очень целях.

Deepfake во благо…

Компания OpenAI воссоздала трек Фрэнка Синатры – имитация его голоса, интонаций и манеры настолько точна, что можно подумать – это потерянный и случайно найденный трек. Тем не менее, это только имитация. Но – крайне удачная.

Пример из сферы политики: в 2020 году в Дели проводилось законодательное собрание, в рамках избирательной кампании. Выступление лидера партии Джаната с помощью дипфейк-технологии перевели с английского на диалект харьянави. Это сделало выступление доступным тем жителям, которые не знали английского – соответственно, увеличило лояльность избирателей. И это сработало лучше, чем обычный перевод, так как люди считали, что лидер партии на самом деле знает диалект. А значит, он ближе к народу, ему можно доверять.

Еще интересный пример: сервис "this person does not exist" генерирует фейковые изображения лиц людей.

И во вред

Наиболее часто возникают скандалы, связанные с дублированием актеров и певцов. Так, Roc Nation потребовала от Ютуб удалить видео с имитацией голоса певца Jay-Z – за нарушения авторских прав. Но ролик восстановили, так как имитация голоса исполнителя… это не совсем нарушение авторских прав, и вообще данная область пока плохо регулируется законодательно.

Но есть строгие правила на счет имитации внешности актера – необходимо его согласие. И уже есть прецедент – актер Арнольд Шварценеггер  подал в суд на компанию Promobot (Россия). Причина – использование его внешности для создания робота-двойника. Без согласия самого актера.

Если говорить о негативных примерах дипфейках, то нельзя не вспомнить о порно с «участием»  кинозвезд или популярных певцов. По статистике 96% дипфейк-видео это порнография.

Используется технология и для мошенничества. Так, группа мошенников запустила рекламу мастер-класса по эффективному использованию блокчейн и ИИ, проект представлял руководитель Dbrain Дмитрий Мацкевич. Вот только ни сама компания, ни Дмитрий к этому проекту не имели никакого отношения. Просто мошенники использовали дипфейк, чтобы «приклеить» лицо Дмитрия к другому человеку.

Еще один пример мошенничества – участие Дмитрия Нагиева в рекламе розыгрыша ценных призов. Перейдя по ссылке, пользователи попадали на сайт мошенников, и, конечно же, теряли деньги. Но сам Нагиев к этому не имел отношения – в ролике снимался другой человек, к которому «приделали» лицо Дмитрия.

FAQ

И как теперь понять, реальное видео или фейковое?

На самом деле технология еще далека от совершенства, поэтому подделку можно распознать по цифровым артефактам (недостаткам). Особенно плохо обрабатываются глаза и зубы – обращайте на них внимание.

Если я – ответственный сотрудник, оперирующий крупными суммами, и мне звонит босс, говорит перечислить миллион долларов на определенный счет. Как понять, что это звонит именно босс?

Подделка голосов более совершенна, тем более при связи всегда есть помехи, которые скрывают недочеты обработки. Поэтому лучше договориться о кодовом слове – в таких случаях пароль будет единственно безопасным решением.

Вывод

• Дипфейк – интересный инструмент, позволяющий обменять телами любых людей, отображая их мимику, жестикуляцию, тембр голоса, интонацию.
• Технология используется и для развлечения, и в полезных целях, и для мошенничества.
• Сделать дипфейковый ролик можно самостоятельно, с помощью специального ПО.