2024/03/04 08:00:25

Дипфейки (DeepFake)

DeepFake (от deep learning – «глубокое обучение» и fake – «подделка») – метод синтеза человеческого изображения на основе искусственного интеллекта. Он используется для объединения и наложения существующих изображений на видео.

Системы распознавания лиц - это автоматическая локализация человеческого лица на изображении или видео и, при необходимости, идентификация личности человека на основе имеющихся баз данных. Интерес к этим системам очень велик в связи с широким кругом задач, которые они решают.

Содержание

2024

Россиян заманивают объявлениями о платной озвучке фильмов для кражи образцов их голоса. Потом крадут деньги у их родственников

Россиян заманивают объявлениями о платной озвучке фильмов для кражи образцов их голоса. Потом крадут деньги у их родственников и друзей. О новой схеме мошенничества в начале марта 2024 года рассказали в компании Angara Security, специализирующейся на информационной безопасности.

Как пишут «Ведомости» со ссылкой на материалы Angara Security, в размещаемых в интернете объявлениях их авторы просят предоставить аудиозапись в формате телефонного звонка или записи разговора, которую необходимо отправить личным сообщением или боту. За участие в проекте предлагают гонорар от 300 до 5 тыс. рублей, который действительно может быть выплачен жертве.

Россиян заманивают объявлениями о платной озвучке фильмов для кражи образцов их голоса

По словам экспертов, эти объявления не несут в себе прямой угрозы, однако дата-сеты голосов мошенники применяют в обучении нейросетей, генерируя на их основе аудиосообщения. В дальнейшем используют их для вымогательства денег у жертв, представляясь родственником, коллегой, другом и т. п. Кроме того, аферисты могут обращаться от имени жертвы в банки, где у него открыт счет.Трендвотчинг рынка CRM. Аналитический отчет TAdviser 10.6 т

В Angara Security отмечают, что чаще всего такие объявления появляются в Telegram-каналах. Однако злоумышленники могут пользоваться и другими сайтами, а также применять спам-звонки с предложением заработать на «большом проекте». Число таких сообщений без учета спам-звонков в 2021 году составляло 1200, в 2022-м их количество выросло в четыре раза – до 4800, а в 2023 году достигло 7000, подсчитали ИБ-эксперты.

Опрошенные «Ведомостями» эксперты также отмечают еще один потенциальный источник сбора образцов голосов россиян: мошенники могут получать их из видеороликов, опубликованных в социальных сетях. Причем взламывать аккаунты пользователей не нужно, потому что большая часть видеоконтента находится в открытом доступе, указывают специалисты.[1]

Использование дипфейка для ограбления банка. В каких ситуациях это возможно, и как от этого защититься

В февраля 2024 года российские СМИ распространили информацию о случае якобы использования дипфейков для обхода аутентификации в банке «Тинькофф». В первоисточнике высказывалось предположение, что мошенники якобы с помощью дипфейка смогли вывести со счетов пользователя 200 тыс. руб. TAdviser обсудил с экспертами, насколько велик риск обхода банковской аутентификации и кражи средств с помощью дипфейков. Подробнее

Минцифры РФ занялось регулированием дипфейков

16 февраля 2024 года стало известно о том, что Минцифры РФ приступило к проработке вопросов правового регулирования сферы дипфейков — технологий убедительной подмены личности на основе искусственного интеллекта. В инициативе принимают участие МВД и Роскомнадзор.

Дипфейки могут использоваться злоумышленниками в различных целях. Мошенники могут имитировать голос или изображение определенного человека, например, руководителя компании, для вывода денежных средств или кражи конфиденциальных данных. Технология применяется для распространения дезинформации, создания волнений на политической арене и пр.

Минцифры прорабатывает вопрос правового регулирования дипфейков

Газета «Ведомости» сообщает, что необходимость регулирования сферы дипфейков обсуждалась на заседании правительственной комиссии по профилактике правонарушений под председательством министра внутренних дел Владимира Колокольцева в феврале 2024-го. Минцифры предстоит проработать вопрос выявления фальшивок, созданных с помощью ИИ. Отчет о проделанной работе должен быть представлен в правкомиссию до 1 ноября 2024 года.

В России по состоянию на середину февраля 2024-го использование дипфейков законом не регулируется. Но, как отмечает партнер юридической фирмы «Рустам Курмаев и партнеры» Дмитрий Клеточкин, по факту деяний с применением технологии подмены личности можно возбудить уголовное дело: такие действия могут быть квалифицированы как хищение путем модификации компьютерной информации (ст. 159.6 УК) или как мошенничество (ст. 159 УК). Выявление дипфейков строится прежде всего на ручной работе криминалистов, которые выявляют дрожание голоса, запаздывание речи, склейки и другие особенности аудио- или видеозаписи. В дальнейшем, как ожидается, этот процесс будет автоматизирован, в чем помогут алгоритмы ИИ.[2]

Компания перевела мошенникам $25 млн после видеоконференции с дипфейками сотрудников

В начале февраля 2024 года стало известно о крупной афере с использованием дипфейков в Гонконге. Крупная местная компания, имеющая международный бизнес, перевела мошенникам $25 млн после сфабрикованной видеоконференции с сотрудников.

Как пишет South China Morning Post, сотрудник финансового отдела получил фишинговое сообщение, в котором утверждалось, что оно от финансового директора (CFO) из Британии. В сообщении было поручено выполнить секретную транзакцию, но сотрудник не был убежден в правдивости письма. Именно тогда ИИ помог в организации мошеннической схемы.

Стало известно о крупной афере с использованием дипфейков в Гонконге

Используя технологию дипфейк, злоумышленник организовал телефонную конференцию с дипфейк-видеозаписями финансового директора и других сотрудников, чтобы убедить жертву перевести деньги. Просмотра коллег на видео было достаточно, чтобы инициировать транзакцию.

По словам сотрудника компании, ставшего жертвой аферы, во время созвона он даже не подумал о подвохе — все участники выглядели естественно, разговаривали и вели себя как его коллеги. Осознание пришло только после того, как работник все же решил связаться с головным офисом компании и уточнить детали банковского перевода. На созвоне скамеры попросили сотрудника представиться, но не взаимодействовали с ним и в основном раздавали приказы. А потом встреча внезапно завершилась.

К началу февраля 2024 года ведется расследование, задержанных пока нет. Название компании и имя жертвы полиция не раскрывает в интересах следствия. Известно, что аудио- и видеозаписи для создания дипфейков участников видеозвонка мошенники брали в открытом доступе.

Как отметили в полиции Гонконга, это было первое дело такого рода, прием касающееся крупной суммы. По словам исполняющего обязанности старшего суперинтенданта Криминального бюро Барона Чана Шунь-цзина (Baron Chan Shun-ching), в предыдущих случаях мошенники обманывали жертв с помощью видеозвонков один на один.[3]

В России могут ввести ответственность за несанкционированное использование дипфейков

В России может быть введена ответственность за несанкционированное использование голоса и изображения людей, сообщил председатель Комитета Госдумы по информационной политике, информационным технологиям и связи Александр Хинштейн в ходе пленарного заседания. Об этом 25 января 2024 года сообщила пресс-служба депутата ГосДумы РФ Антона Немкина.

В ходе обсуждения поправок, направленных на ужесточение ответственности за допущение утечек персональных данных, первый зампред думского Комитета по науке и высшему образованию Олег Смолин поднял вопрос о распространении дипфейков – подделках как голоса, так и изображения человека с помощью технологий искусственного интеллекта.

Депутат предложил в рамках второго чтения законопроектов о персональных данных рассмотреть поправки, предполагающие ответственность за использование дипфейков в целях мошенничества и дискредитации.

По словам Александра Хинштейна, депутаты занимаются данным вопросом.

«
Проблема стоит достаточно остро, и вместе с профильными ведомствами мы работаем над подготовкой такой инициативы, отметил он. – Она найдет свое отражение не в рамках этих законопроектов. Нам предстоит внести изменения в базовый закон о персональных данных.

»

Дипфейки – наверное, самый распространенный пример работы генеративных моделей искусственного интеллекта, отметил Антон Немкин.

«
Пока что дипфейки скорее приносят обществу больше отрицательного, чем хорошего, создавая новые вызовы. Среди них прежде всего проблема использования дипфейков в мошеннических целях, – сказал депутат.
»

Так, биометрические данные пользователя могут использоваться в самых разных целях, подчеркнул депутат.

«
Например, биометрия известного актера может использоваться каким-либо брендом в рекламных целях. Во многом дипфейки используются и в развлекательных целях: интернет «наполнен» различными видео, в которых известные люди говорят фразы, которые на самом деле им никогда не принадлежали. Фактически мы сталкиваемся с ситуацией, в которой лицо человека, а также его голос может использовать кто угодно в своих целях. Подобное положение может привести к унижению чести и достоинства определенных людей, и, вероятно, к повышению социальной напряженности, если дипфейки будут использоваться, например, в политических целях, – отметил депутат.
»

Проблема использования дипфейков в мошеннических целях постепенно обретает свою актуальность, подчеркнул депутат.

«
Напомню, не так давно распространилась мошенническая схема, при которой, казалось бы, происходят уже привычные нам действия: взлом аккаунта в мессенджерах, а также рассылка сообщений близкому кругу с просьбой занять в долг. Нововведение мошенников – рассылка таких сообщений с использованием аудиодипфейков, что, конечно, является практически беспроигрышным способом обмана жертвы. Представьте: к вам фактически напрямую обращается близкий вам человек, неужели вы откажете ему в просьбе? В дальнейшем число подобных схем будет только расти, поэтому включение проблемы дипфейков в правовое полое – необходимость, – считает Немкин.
»

По словам депутата, прежде всего необходимо на законодательном уровне определить понятие дипфейков и возможные концепции их регулирования.

«
Госдума как раз разрабатывает соответствующую нормативную базу. Не думаю, что включение соответствующих положений в смежные законопроекты приведет к эффективным результатам. Тут нужно работать с основным законодательством в сфере персональных данных, – заключил парламентарий.
»

Мошенники начали подделывать с помощью ИИ голоса россиян и обманывать их родственников в мессенджерах

Мошенники начали подделывать с помощью ИИ голоса россиян и обманывать их родственников и друзей в мессенджерах. Об этой схеме 11 января 2024 года рассказали в управлении по организации борьбы с противоправным использованием информационно-коммуникационных технологий МВД России.

По информации ведомства, сперва аферисты взламывают аккаунты в Telegram или WhatsApp с помощью поддельных голосов. После этого мошенники скачивают голосовые сообщения и формируют новые с необходимым им контекстом.

Мошенники начали подделывать с помощью ИИ голоса россиян и обманывать их родственников

Далее, как заявляют в МВД, злоумышленники отправляют сформированные сообщения в личные и групповые чаты с просьбой одолжить некоторую сумму средств, добавляя к голосовому сообщению фото банковской карты с поддельными именами получателей.

Один из пострадавших от этой аферы рассказал РБК, что мошенники рассылают поддельное голосовое сообщение как в личной переписке, так и во все чаты, где состоит владелец аккаунта. По тем же адресам отправляется фотография банковской карты с именем и фамилией. У собеседника издания имя и фамилия отличались в соцсетях от информации в паспорте, но мошенники использовали данные именно паспорта. Сумма, которую хотели в этом случае получить мошенники, — 200 000 рублей. Похожим способом потерял 3000 рублей один из пользователей «ВКонтакте».

В компании F.A.C.C.T. назвал такую схему новой и «довольно продвинутой» для России. По словам экспертов, на первом этапе схемы происходит взлом аккаунта Telegram или WhatsApp, например, через фейковые голосования, волна которых наблюдалась в конце 2023 года. Затем мошенники скачивают сохраненные голосовые сообщения и с помощью сервисов ИИ создают новые, с необходимым контекстом, рассказали изданию в F.A.C.C.T.

Руководитель исследовательской группы Positive Technologies Ирина Зиновкина поставила под сомнение эффективность такого мошенничества, поскольку не все пользователи пользуются голосовыми сообщениями, и не всегда удается склеить нужную фразу из того материала, который уже есть.[4][5]

2023

Как киберпреступники пополняют базу для создания аудио- и видеодипфейков

По данным исследования Angara Security, в 2023 году в российском онлайн-сегменте на 45% (зафиксировано около 7 000 сообщений) по сравнению с 2022 годом выросло число запросов на озвучивание «рекламы» и «фильмов» в мессенджерах, социальных сетях и на комьюнити-площадках. При этом аналитики делают вывод о том, что тренд на сбор аудиоданных сформировался именно в 2022 году, когда число подобных запросов выросло в четыре раза относительно данных 2021 года. (около 4 800 материалов vs. 1200 в 2021 году). Об этом компания сообщила 1 марта 2024 года.

Большая часть объявлений размещена в Telegram, но используются и другие ресурсы, например, Habr или спам-звонки с предложением заработать на «большом проекте». Авторы таких сообщений просят указывать имена или ставят условие, что записанный аудиофайл должен быть похожим на телефонный звонок. За участие в подобных проектах предлагают гонорар от 300 до 5000 рублей. Аналитики Angara Security делают вывод о том, что в результате сбора голосовых данных киберпреступники получили возможность усовершенствовать тактики фишинговых атак на частных лиц и бизнес, для которых используются аудио- и видеофейки.

Помимо такого способа эксперты отмечают еще один источник данных — это видеоконтент из социальных сетей (например, VK), который находится в свободном доступе.

«
Если же аккаунты закрыты, то киберпреступники могут использовать «угон» аккаунта или более простой с технической точки зрения способ – социальную инженерию, чтобы завоевать доверие. Поэтому получение исходных данных для видео- и аудиофейков намного доступнее, чем кажется, − сказала Алина Андрух, специалист по реагированию на инциденты Angara Security.
»

С начала 2024 года в России стали фиксироваться случаи мошеннических схем, в которых применяются в совокупности техники социальной инженерии и deepfake. Цель такой атаки заключается в том, чтобы получить денежные средства от сотрудников компании, которые получают сообщения от фейкового аккаунта руководителя в Telegram.

Например, в январе в адрес одной из компаний применялась подобная техника. Сначала были украдены несколько аккаунтов пользователей Telegram, затем были получены аудиофайлы (голосовые сообщения). Эти данные использовались для генерации поддельных записей, в которых мошенники от имени владельца аккаунта вымогали денежные средства у пользователей, которые состояли вместе с ним в различных чатах и рабочих группах.

Еще один вариант использования дипфейков – это видеоконференц-связь. Например, международный кейс, когда преступники использовали технологии аудио-и видеофейка, чтобы от имени «доверенных» лиц убедить сотрудника перевести крупную сумму денег.

«
Мы ожидаем, что тренд на такого рода атаки будет только набирать обороты с развитием технологий ИИ. Поэтому крайне важно сформировать методы и способы распознавания фейковых материалов и решать вопрос на уровне законодательства, чтобы снизить риски для кибербезопасности обычных пользователей цифровых сервисов и бизнеса, − продолжила Алина Андрух.
»

В России был сделан важный шаг относительно регулирования метода deepfake-материалов: правительство РФ поручило разработать способы регулирования применения такой технологии до 19 марта 2024 года . В 2023 году уже был предложен способ разграничения реального контента и созданного с помощью ИИ путем помещения на объект специального штампа-отметки. Стоит отметить, что такой способ является достаточно трудным для реализации и контроля.

Для выявления следов работы ИИ, в том числе аудио- и видеофейков, разрабатываются новые инструменты, например, российский проект «Зефир», представленный летом прошлого года, способный обнаруживать искусственно созданные (аудио-, видеофейки) с высокой вероятностью. Создание новых инструментов и наработок позволит в ближайшем будущем упростить выявление и распространение таких материалов.

Angara Security рекомендует проверять личность человека, задавая дополнительные вопросы: Если получили аудио-, видеозвонок или сообщение с подозрительным содержанием, нужно проверить личность собеседника, задавая уточняющие вопросы с деталями, которые вряд ли могут быть известны кибермошенникам, или просто связаться лично по email или по номеру из базы контактов на SIM-карте телефона.

Нужно обращать внимание на речевые и внешние особенности:

Обращать внимание на руки собеседника на видео, так как чаще всего именно они «страдают» при генерации контента: добавляются, удаляются либо склеиваются пальцы. Стоит отметить, что атакующие учитывают этот момент, чтобы избежать распознавания видеофейка, поэтому при общении выбирают портретную зону.

Стоит обращать внимание на мимику и периодичность изменения выражения лица. Чаще всего сгенерированная модель поддерживает одну скорость смены позиций положения головы, частоту моргания либо повтор одних и тех же движений в определенный промежуток времени.

Стоит также проверить особенности лица. Например, волосы могут быть позаимствованы с «подложного» видео и не соответствовать реальности, либо смазаны в результате наложения одного лица на другое. Если собеседник знаком в реальной жизни, можно сопоставить родинки, шрамы, татуировки, если они свойственны контакту.

Стоит также обращать внимание на голос (насколько он реалистичный), сопоставлять движения губ и звуковой дорожки. Несмотря на развитие технологии, данный пункт остается одним из ключевых в распознавании фейковых материалов.

Компании для возможного предотвращения манипуляций с видеоматериалами публичных лиц, например, с руководителями компаний, могут использовать как коммерческие предложения по распознаванию дипфейков, так и основанные на открытом исходном коде. Например, технологии, которые позволяют наложить невидимый человеческому глазу фильтр на видео в открытом доступе (например, записи выступлений топ-менеджеров, которыми компании делятся в открытых источниках). Этот фильтр искажает итоговый вариант при попытке генерации фейкового контента.

Необходимы регулярные информационные кампании и обучение методам, как выявлять фейки, для распространения которых киберпреступники используют мессенджеры, корпоративную почту и другие каналы коммуникации.

Кибермошенники применяют ИИ и дипфейки, чтобы выманить у пользователей данные или деньги

Кибермошенники активно применяют искусственный интеллект и дипфейки, чтобы выдавать себя за других людей в мессенджерах или социальных сетях. Поэтому к любым сообщениям со странными просьбами, даже полученными от родственников или друзей, следует относиться критично.

«
«Дипфейки могут использоваться для создания поддельных видео- или аудиозаписей, в которых злоумышленники выдают себя за другого человека: родственника, друга или коллегу. Записав голосом просьбу о перечислении денег в долг, мошенники с большей вероятностью получат финансовую выгоду или убедят пользователя дать доступ к личным данным», — предупредил в беседе с «Лентой.ру» эксперт по сетевым угрозам компании «Код Безопасности» Константин Шуленин.
»

Также активно используются нейросети - они помогают мошенникам автоматизировать фишинговые кампании и поставить их на поток, затронув большее число «жертв». Да и сами фишинговые письма они делают более реалистичными, сообщили TAdviser 29 декабря 2023 года в пресс-службе депутата ГосДумы РФ Антона Немкина.

Кроме того, мишенью киберпреступников зачастую становятся сотрудники различных компаний и организаций, которым приходят электронные письма от «руководства» и «коллег». При том к концу года и в преддверии праздников бдительность людей снижается, соответственно, вероятность проникнуть в систему для мошенников — растет. Кроме того, многие уходят в длительные отпуска, поэтому не могут вовремя обнаружить подозрительную активность в аккаунте.

Одна из основных причин того, насколько мастерски мошенники выстраивают свои атаки - избыток информации о гражданах в сети, считает член комитета Госдумы по информационной политике, информационным технологиям и связи, депутат фракции «Единая Россия» Антон Немкин.

«
«Любые сведения легко использовать для того, чтобы персонализировать атаку, сделать ее более убедительной, а значит и более вредоносной. Рекомендую всегда сохранять голову «холодной», не пренебрегать проверкой любой информации, которая поступает вам в сети. Даже если вы уже точно верите полученному сообщению, не будет лишним попытаться выйти на контакт с человеком, от имени которого с вами связались. В праздничное время ловушек в сети становится больше чем обычно примерно на четверть. Не стоит рисковать», - сказал он.
»

Качество дипфейков за последние несколько лет значительно выросло, однако все равно есть ряд признаков, по которым можно выявить «подделку», уверен Антон Немкин.

«
«Все мы живем в эпоху активной фазы развития генеративных моделей машинного обучения, и, в частности, технологии deep fake. С помощью человеческого глаза уже не всегда можно отличить реальное от нереального, поэтому для анализа потенциальных визуальных подделок существуют специальные детектирующие технологии. Для пользователей же универсальной инструкцией может стать следующее: обращайте внимание на движение глаз, цвет кожи и волос, контур овала лица – зачастую они могут быть размытыми, странными, - пояснил парламентарий. - В случае голосовых подделок стоит всегда внимательно оценивать интонации и четкость речи. Ну и, конечно, всегда в целом критически относиться к любым просьбам, которые поступают вам в сети, если это касается ваших личных данных или финансовых средств».
»

Представлена программа, которая создает реалистичные видео из одной фотографии и аудиозаписи

16 ноября 2023 года сингапурские исследователи из Школы компьютерных наук и инженерии в составе Наньянского технологического университета сообщили о разработке программы на основе искусственного интеллекта, которая позволяет генерировать видеоматериалы на основе одной фотографии и аудиозаписи. Система под названием DIRFA способна воспроизводить мимику и движения головы говорящего человека. Подробнее здесь.

Детский психиатр в США получил 40 лет тюрьмы за создание порнографических дипфейков

8 ноября 2023 года Министерство юстиции США сообщило о том, что детский психиатр из Шарлотты (Северная Каролина) Дэвид Татум (David Tatum) приговорен к 40 годам тюремного заключения за производство, хранение и передачу материалов, связанных с сексуальным насилием над детьми. Преступнику, в частности, вменяется создание порнографических дипфейков — изображений, сгенерированных с применением искусственного интеллекта. Подробнее здесь.

Индийские власти приказали соцсетям удалить дипфейки

7 ноября 2023 года Министерство электроники и информационных технологий Индии (MeitY) обнародовало документ, требующий от операторов крупных социальных сетей удалять дипфейки со своих платформ. Делать это необходимо в течение 36 часов после получения уведомления или жалобы о публикации подобного контента.

В ведомстве отмечают, что дипфейки, то есть, фальсифицированные видеоматериалы, фотографии или аудиозаписи, созданные с применением технологий искусственного интеллекта, могут наносить серьезный ущерб гражданам — прежде всего женщинам. В качестве примера приводится нашумевший случай, когда в соцсетях появилось видео, в котором якобы запечатлена индийская актриса Рашмика Манданна. Ролик, созданный с применением ИИ-алгоритмов, быстро набрал огромное количество просмотров, а Манданна была вынуждена сделать публичное заявление о том, что не является его героиней.

Министерство электроники и информационных технологий Индии требует от операторов крупных социальных сетей удалять дипфейки

Учитывая серьезные проблемы, связанные с дезинформацией и дипфейками, MeitY за полгода (к ноябрю 2023-го) выпустило вторую рекомендацию, призывающую онлайн-платформы принять решительные меры против распространения таких материалов. Министерство подчеркивает, что в соответствии с действующими в стране правилами от 2021 года интернет-ресурсы обязаны предотвращать распространение фальсифицированной информации любыми пользователями. Несоблюдение этого требования дает право пострадавшим лицам обращаться в суд в соответствии с положениями Уголовного кодекса Индии.

«
Наше правительство очень серьезно относится к обязанности гарантировать безопасность и обеспечивать доверие всех граждан, особенно это касается детей и женщин, против которых используется такой контент. Крайне важно, чтобы онлайновые платформы приняли активные меры по борьбе с этой угрозой, — говорится в сообщении MeitY.[6]
»

Педофилы с помощью ИИ создают детские фото звезд и придумывают с ними истории

Педофилы активно используют системы генеративного искусственного интеллекта для «омоложения» знаменитостей на фотографиях и создания их детских снимков сексуального характера. Кроме того, в интернете обнаружены тысячи ИИ-изображений, на которых демонстрируется насилие над детьми. Об этом говорится в отчете неправительственной британской организации Internet Watch Foundation (IWF), опубликованном 25 октября 2023 года. Подробнее здесь.

ФБР: Дипфейки используются в мошенничестве с секс-вымогательством

Сетевые злоумышленники начали использовать дипфейки для генерации откровенного контента сексуального характера с целью шантажа. Об этом 5 июня 2023 года предупредил Центр жалоб на интернет-преступления (IC3) в составе Федерального бюро расследований США.

Говорится, что киберпреступники используют технологии и сервисы искусственного интеллекта для изменения фотографий или видеороликов с участием жертвы. Оригинальные материалы могут быть взяты, например, из профилей в социальных сетях или под каким-либо предлогом запрошены у самого пользователя. Полученные секс-дипфейки затем могут быть использованы для вымогательства или нанесения ущерба репутации жертвы. Зачастую поддельные изображения и ролики, в которых человек представлен в неприглядном свете, публикуются на форумах или на порнографических сайтах.

Киберпреступники используют технологии и сервисы искусственного интеллекта для изменения фотографий или видеороликов с участием жертвы

К апрелю 2023 года зафиксирован резкий рост количества случаев сексуального вымогательства с применением дипфейк-фотографий или фальшивых видео. Злоумышленники обычно требуют выкуп, угрожая распространить материалы в интернете или отправить их родственникам/коллегам жертвы. Иногда преступники преследуют иные цели, в частности, требуют какую-либо информацию.

ФБР настоятельно рекомендует проявлять осторожность при размещении личных фотографий, видео и идентифицирующей информации в социальных сетях, приложениях для знакомств и на других онлайн-платформах. Несмотря на то, что такие материалы кажутся безобидными, они могут предоставить злоумышленникам массу возможностей для организации мошеннических схем. Новые системы генеративного ИИ упрощают проведение персонализированных атак с применением поддельных изображений или видеороликов, созданных на основе реального контента. Причём жертвы секс-вымогательств, помимо финансовых потерь, могут оказаться в самом невыгодном положении.[7]

Количество дипфейков в мире с начала года выросло в несколько раз

Общее число дипфейков по всему миру в течение первых месяцев 2023 года увеличилось в несколько раз по сравнению с аналогичным периодом 2022-го. Об этом говорит исследование компании DeepMedia, результаты которого были раскрыты 30 мая 2023 года.

Отмечается, что взрывной рост количества фальшивок в глобальном масштабе объясняется резко снизившимися затратами на создание таких аудио- и видеоматериалов. Если раньше на точную имитацию голоса с учётом работы серверного оборудования и использования алгоритмов искусственного интеллекта требовалось около $10 тыс., то к началу мая 2023-го расходы снизились всего до нескольких долларов. Связано это с появлением генеративных ИИ-моделей нового поколения и более мощных аппаратных платформ, спроектированных специально с прицелом на нейросети и машинное обучение.

Взрывной рост количества фальшивок в глобальном масштабе объясняется резко снизившимися затратами на создание таких аудио- и видеоматериалов

По оценкам DeepMedia, с января по май 2023-го в интернете было размещено в три раза больше фальшивых видеоматериалов всех видов и в восемь раз больше голосовых дипфейков, чем за тот же период в 2022 году. ИИ-технологии могут применяться для распространения ложных заявлений от имени политиков и известных общественных деятелей, что может спровоцировать серьёзные общественные волнения и конфликты. Хотя крупные социальные платформы вроде YouTube и Facebook (признана экстремистской организацией; деятельность на территории Российской Федерации запрещена) внедряют алгоритмы борьбы с дипфейками, эффективность таких инструментов недостаточно высока.

Говорится, что ведущие ИИ-разработчики, такие как OpenAI, встраивают в свои сервисы специальные функции, которые не позволяют генерировать контент с участием публичных лиц. Но небольшие стартапы зачастую пренебрегают такими мерами. Уже обсуждается возможность создания отраслевого решения, позволяющего идентифицировать материалы, созданные искусственным интеллектом: это могут быть, например, специальные цифровые метки.[8]

В Китае мошенник использовал поддельный видеозвонок для обмана бизнесмена на $610 000

В мае 2023 г стало известно, что в Китае мошенник использовал искусственный интеллект, чтобы выдать себя за друга бизнесмена Гуо и убедить его передать $610 000.

Гуо получил видеозвонок от человека, который выглядел и говорил как близкий друг. Но на самом деле звонивший был мошенником, «использовавшим технологию, чтобы изменить свое лицо» и голос. Гуо уговорили перевести 4,3 миллиона юаней после того, как мошенник заявил, что другому другу нужны деньги с банковского счета компании для оплаты гарантии на тендере.

Представлена deepfake-система, которая заставляет пользователя смотреть прямо в камеру

12 января 2022 года компания Nvidia анонсировала систему Maxine Eye Contact. Это deepfake-технология, которая обеспечивает постоянный зрительный контакт пользователей при проведении сеансов видеоконференцсвязи. Подробнее здесь.

2022

В мире резко выросли инвестиции в дипфейк-стартапы

В 2022 году венчурные фонды в мире вложили в стартапы, специализирующиеся на дипфейк-технологиях, приблизительно $187,7 млн. Для сравнения: в 2017-м инвестиции в соответствующей сфере оценивались только в $1 млн. Такие цифры приводятся в исследовании PitchBook, результаты которого были обнародованы 17 мая 2023 года.

Говорится, что в течение первых месяцев 2023 года финансовые вливания в дипфейк-стартапы достигли $50 млн. Крупнейшим получателем венчурных денег за последние пять лет (к началу 2023-го) стала нью-йоркская компания Runway, которая в числе прочего разрабатывает инструмент на основе искусственного интеллекта, способный генерировать короткие видеоролики по текстовому описанию. Эта фирма привлекла как минимум $100 млн и была оценена в $1,5 млрд.

Венчурные фонды в мире вложили в стартапы, специализирующиеся на дипфейк-технологиях, приблизительно $187,7 млн

Вместе с тем лондонская компания Synthesia, которая разрабатывает платформу для создания реалистичных виртуальных персонажей на основе видео- и аудиозаписей, получила на развитие $50 млн от ряда инвесторов, включая Kleiner Perkins. Израильский стартап Deepdub, разработавший технологию аудиовизуального дублирования и языковой локализации на основе ИИ, привлёк $20 млн. Такую же сумму получила дипфейк-студии визуальных эффектов Deep Voodoo.

Вместе с появлением новых и более реалистичных дипфейк-инструментов быстро развивается рынок специализированных средств для выявления фальшивок. Согласно подсчётам исследовательской фирмы HSRC, в 2022 году объём данного сегмента составлял приблизительно $3,86 млрд. В период до 2026-го ожидается среднегодовой темп роста в сложных процентах (CAGR) на уровне 42%. Средства обнаружения дипфейков необходимы для предотвращения появления дезинформации в СМИ, противодействия различным мошенническим схемам в интернете и пр.[9]

В США мошенники украли $11 млн с помощью дипфейков, имитирующих чужой голос

В 2022 году мошенники, используя модели искусственного интеллекта для точной имитации (deepfake) голоса человека, только в США похитили у своих жертв около $11 млн. Такие данные содержатся в отчёте Федеральной торговой комиссии (FTC), опубликованном 23 февраля 2023 года. Подробнее здесь.

Cloud и «Пятёрочка» создали рекламный ролик с применением технологии deepfake

Компания Cloud (ООО «Облачные технологии») при поддержке Института искусственного интеллекта AIRI совместно с торговой сетью «Пятёрочка» создали рекламный ролик с применением технологии DeepFake. Об этом компания Cloud сообщила 22 декабря 2022 года. Обученная специалистами AIRI на облачной платформе Cloud ML Space модель стала основой цифрового образа актрисы Ольги Медынич, даже не присутствовавшей на съемочной площадке. Подробнее здесь.

Китайский регулятор опубликовал правила защиты граждан от дипфейков

12 декабря 2022 года стало известно о том, что Администрация киберпространства Китая (CAC) вводит новые правила для поставщиков контента, которые изменяют лицевые и голосовые данные пользователей.

10 января 2023 года вступят в силу нормы, регулирующие так называемые «дипфейковые» технологии и услуги. Это методика синтеза изображения, основанная на искусственном интеллекте. Суть заключается в том, что на исходные материалы накладываются синтезированные кадры. В подавляющем большинстве случаев для создания таких видео используют генеративно-состязательные нейросети. Одна часть алгоритма учится на реальных фотографиях определённого объекта и создаёт изображение, буквально «состязаясь» со второй частью программы, пока та не начнёт путать копию с оригиналом. В итоге, полученные изображения практически неотличимы от оригинала: они используются для манипуляций или дезинформации.

Китайский регулятор опубликовал правила защиты граждан от дипфейков

Постановление CAC предусматривает защиту людей от возможной мошеннической деятельности с помощью дипфейков. Это может быть, например, выдача пользователей за других лиц. Документ также предполагает, что дипфейки могут использоваться онлайн-издателями, которые должны учитывать множество других правил Китая в отношении приемлемого онлайн-контента.

Вместе с тем Китай ожидает, что синтетические изображения людей будут широко использоваться в таких приложениях, как чат-боты. В подобных сценариях дипфейки должны быть помечены как «цифровые творения». В правилах также прописано, как создатели дипфейков, которых называют «поставщиками услуг глубокого синтеза», должны заботиться о том, чтобы их модели и алгоритмы искусственного интеллекта и машинного обучения были максимально точными. Кроме того, необходимо обеспечивать безопасность собираемых персональных данных. [10]

Intel представила технологию распознавания дипфейков

Intel представила технологию распознавания дипфейков. Об этом стало известно 17 ноября 2022 года. Подробнее здесь.

Роскомнадзор создает систему проверки видео на ложь и поиск дипфейков

В начале ноября 2022 года стало известно о создании сервиса Expert, который позволит проверять видеозаписи выступлений на предмет лжи и манипуляций. Эту технологию разрабатывают специалисты Национального центра когнитивных разработок ИТМО для подведомственного Роскомнадзору Главного радиочастотного центра (ГРЧЦ). Подробнее здесь.

В России сняли первый в мире веб-сериал с использованием технологии Deepfake

Как стало известно 10 октября 2022 года, российская компания создала первый в мире веб-сериал с использованием технологии Deepfake, главным героем пародийной комедии стал образ британского актёра Джейсона Стэйтема. Проект создан при поддержке Института развития интернета.


Генеральный директор Agenda Media Group Алексей Парфун сообщил в интервью ТАСС заявил, что использование образов актёров с помощью этой технологии законодательно не запрещено, однако Deepfake не должен задевать честь, достоинство и деловую репутацию человека и раскрывать его персональную информацию.

Фрагмент сериала, снятого с использованием технологии Deepfake
«
Это ироничный взгляд иностранца в лице Стэйтема на русский быт, - рассказал Парфун.
»

По его словам, проект раскрывает попытки персонажа понять и интегрироваться в русский быт. По сюжету, главный герой приехал на съёмки в РФ и остался в ней жить.

События сериала происходят в 2027 году. После пятилетних съемок в России Стэйтем остался жить в русской деревне. На 60-летие к нему приезжают друзья - Ривз, Робби и Паттинсон. Их образы создали при помощи дипфейк-технологии: искусственный интеллект производит синтетический контент, где лицо человека заменяется другим в фото-, видео- или аудиопространстве. В сериале снялись Юлия Башорина, Андрей Дерюгин, Андрей Коротков.

По словам продакшен директора Agenda Media Group Марии Артемовой, весь проект реализовали за три месяца с учетом написания сценария и постпродакшна. Некоторые особенности съемок команде приходилось контролировать каждую минуту, отметила она.

«
Например, дипфейк-съемки не позволяют использовать крупные планы, есть определенные условия по свету, оптике, камерам, а также положениям актеров в кадре. На это тратится много времени и дублей. Кроме этого, были существенные ограничения по амплитуде движений у актеров, что тоже вызывало некоторые трудности, — добавила она.[11]
»

В ЕС намерены штрафовать соцсети за неудаление дипфейков

В ЕС намерены штрафовать соцсети за неудаление дипфейков. Об этом стало известно 14 июня 2022 года.

Google, Twitter и другие технологические компании должны будут принять меры по борьбе с дипфейками и поддельными аккаунтами, иначе им будут грозить крупные штрафы, до 6% от их глобального оборота, говорится в обновленном кодексе действий Евросоюза.

Создание дипфейков возможно благодаря нейросетям, которые могут моделировать лица и голоса людей по фото и аудиозаписям.

Еврокомиссия намерена опубликовать регулирующий документ в сфере дезинформации уже до конца июня 2022 года. В нем содержатся примеры манипулятивного поведения, подписавшие документ стороны обяжут бороться с фальшивыми аккаунтами, дезинформирующей рекламой и дипфейками, также они должны будут обеспечить большую прозрачность в политической рекламе. Ожидается, что подписавшие документ компании в течение шести месяцев примут и реализуют «политику в отношении недопустимого манипулятивного поведения и практики в своих сервисах, основанную на последних данных о поведении и тактике, методах и процедурах, используемых злоумышленниками[12].

С помощью дипфейка можно выдать себя за другого человека в банке

19 мая 2022 года стало известно о том, что с помощью дипфейка можно выдать себя за другого человека в банке.

Технология Deepfake позволяет обойти систему распознавания лиц.

Компания Sensity, которая специализируется на выявлении атак с использованием deepfake технологии, исследовала уязвимость 10 сервисов идентификации . Sensity использовала дипфейки, чтобы наложить лицо пользователя на идентификационную карту для сканирования, а затем скопировать это же лицо в видеопоток злоумышленника для идентификации.

Liveness тест обычно просит пользователя посмотреть в камеру устройства, иногда поворачивая голову или улыбаясь, и сравнивает внешний вид пользователя и его удостоверение личности с помощью технологии распознавания лиц. В финансовом секторе такая проверка называется «знай своего клиента» (Know Your Customer, KYC) и является частью проверки документов и счетов.

«
Мы протестировали 10 сервисов и обнаружили, что 9 из них уязвимы для дипфейков, - сказал главный операционный директор Sensity Франческо Кавалли. — Существует новое поколение ИИ , которое может представлять серьезную угрозу для компаний. Представьте, что вы можете сделать с поддельной учетной записью, созданную с помощью дипфейка. И никто не сможет обнаружить подделку.
»

Кавалли разочарован реакцией сервисов, которые посчитали уязвимость незначительной.

«
Мы сообщили поставщикам, что сервисы уязвимы для deepfake атак. Разработчики проигнорировали опасность. Мы решили опубликовать отчет, так как общественность должна знать об этих угрозах, - добавил исследователь.
»

Поставщики продают Liveness тесты банкам, приложениям для знакомств и криптовалютным проектам. Один сервис даже использовался для проверки личности избирателей на выборах в Африке. (Хотя в отчете Sensity нет никаких указаний на то, что проверка была скомпрометирована дипфейками)

Deepfake технология представляет большую опасность для банковской системы, в которой дипфейк может использоваться в целях мошенничества.

«
Я могу создать учетную запись, перевести украденные деньги на банковский счет или оформить ипотеку, потому что компании онлайн-кредитования конкурируют друг с другом в скорости выдачи кредитов, - добавил эксперт.
»

Злоумышленник может легко перехватить видеопоток с камеры телефона и использовать deepfake технологию в злонамеренных целях. Однако, обойти систему распознавания лиц Face ID таким способом невозможно. Система идентификации Apple использует датчики глубины и проверяет личность не только на основе внешнего вида, но и физической формы лица[13].

Дипфейки могут легко обмануть многие системы аутентификации Facial Liveness Verification

3 марта 2022 года стало известно, что некоторые модули обнаружения дипфейков настроены на устаревшие техники. Команда исследователей из университета штата Пенсильвания (США) и Чжэцзянского и Шаньдунского университетов (Китай) изучила восприимчивость к дипфейкам некоторых систем аутентификации на основе лица. Как показали результаты исследования, большинство систем уязвимы к развивающимся формам дипфейков.

Дипфейки обманывают системы распознавания

В ходе исследования были проведены атаки на основе дипфейков с использованием специальной платформы, развернутой в системах Facial Liveness Verification (FLV), которые поставляются крупными поставщиками и продаются в качестве услуги нижестоящим клиентам, таким как авиакомпании и страховые компании.

Facial Liveness предназначен для отражения использования таких методов, как атаки со стороны изображения, использование масок и предварительно записанного видео, так называемые «мастер-лица» и другие формы клонирования визуальной идентификации.

В исследовании делается вывод о том, что ограниченное количество модулей обнаружения дипфейков в подобных системах, возможно, были настроены на устаревшие техники или могут быть слишком специфичными для архитектуры. Специалисты отмечают, что даже если обработанные видеоролики кажутся нереальными для людей, они все равно могут обойти текущий механизм обнаружения дипфейков с очень высокой вероятностью успеха.

Еще один вывод заключался в том, что текущая конфигурация общих систем проверки лиц предвзято относится к белым мужчинам. Лица женщин и цветных меньшинств оказались более эффективны в обходе систем проверки, подвергая клиентов этих категорий большему риску взлома с помощью методов, основанных на дипфейках.

Авторы предлагают ряд рекомендаций по улучшению текущего состояния FLV, включая отказ от аутентификации по одному изображению («FLV на основе изображения»), когда аутентификация основана на одном кадре с камеры клиента; более гибкое и всестороннее обновление систем обнаружения дипфейков в графических и голосовых доменах; навязывание необходимости синхронизировать голосовую аутентификацию в пользовательском видео с движениями губ (чего, как правило, нет); и требование от пользователей выполнять жесты и движения, которые трудно воспроизвести системами дипфейка (например, просмотр профиля и частичное затемнение лица).[14]

В Китае запретили дипфейки

В конце января 2022 года в Китае бы принят законопроект, запрещающий использование дипфейков. Эта технология заключается в синтезе искусственного интеллекта человеческих изображений: алгоритм объединяет несколько фото, на которых человек изображен с разным выражением лица, и делает из них видео. При этом система анализирует большое количество снимков и учится тому, как может выглядеть и двигаться конкретный человек.

Инициатива, разработанная администрацией киберпространства Китая, объясняет необходимость регулирования в контексте стремления правительства обеспечить, чтобы интернет был инструментом добра. В пояснительной записке к закону сообщается, что преступников и мошенников привлечет использование созданных в цифровом формате голоса, видео, чат-ботов или манипулирование лицами или жестами.

В КНР запретили дипфейки

Законопроект исключает использование таких подделок для любых приложений, которые могут нарушить социальный порядок, ущемить права граждан, распространить фальшивые новости или изобразить сексуальную активность. В проекте также предлагается требовать разрешения на использование того, что Китай называет глубоким синтезом, прежде чем использовать его в законных целях. Какие именно законные цели могут быть использованы, не уточняется, но проект содержит обширные положения о том, как цифровые активы должны быть защищены, чтобы не нарушать конфиденциальность пользователей.

В случае использования глубокого синтеза в проекте предлагается требование маркировать его как цифровое творение, чтобы устранить любые сомнения в подлинности и происхождении. В проекте также изложены требования к поставщикам услуг внедрять методы обеспечения безопасности и всегда действовать в национальных интересах Китая.[15]


2021

Мошенники украли $35 млн у банка ОАЭ с помощью дипфейка голоса его главы

В середине октября 2021 года стало известно, что преступники завладели огромной суммой в $35 млн из банка в ОАЭ, имитируя голос главы банка с помощью продвинутого искусственного интеллекта. Сообщается, что они использовали дипфейк для имитации законной коммерческой операции, связанной с банком.

Forbes сообщил, что deepfake голоса использовался, чтобы обмануть работника банка и заставить его думать, что он переводит деньги в рамках законной операции. История стала обсуждаться после публикации судебных материалов, которые имели место в январе 2021, когда управляющий неназванного банка получил, казалось бы, обычный телефонный звонок.

В ОАЭ мошенники с помощью дипфейк-голоса обманули работника банка и украли $35 млн


Человек по ту сторону телефона утверждал, что является директором крупной компании, с которым менеджер ранее уже разговаривал, при этом, согласно судебным материалам, их голоса были идентичными. Всё это подкреплено электронными письмами от банка и его юриста, выглядящими как настоящие, которые смогли убедить менеджера филиала в том, что он говорит с директором, а компания действительно находится в процессе крупной коммерческой сделки на сумму $35 млн.

Впоследствии он следовал указаниям звонящего и сделал несколько крупных денежных переводов от компании на новый счет. К сожалению, всё это была изощренная афера.

Следователи из Дубая выяснил, что мошенники использовали технологию «глубокого голоса», которая позволила им имитировать голос главы крупной компании. Полиция пришла к выводу, что в схеме участвовало до 17 человек и что украденные деньги переводились на несколько различных банковских счетов, разбросанных по всему миру.

Так, два счёта были зарегистрированы с США, в Centennial Bank. На них была получена сумма в $400 тыс. Следователи ОАЭ уже обратились к американским официальным лицам за помощью в расследовании.

Это не первый случай, когда с помощью имитации голоса мошенники смогли провести крупную аферу. В 2019 году некая энергетическая компания в Великобритании потеряла $243 тыс. после того, как с работником компании связался человек, выдавший себя за генерального директора компании.

По словам Джейка Мура, эксперта по кибербезопасности из ESET, злоумышленники всё чаще используют новейшие технологии манипулирования людьми, которые даже не подозревают об их существовании.

По мнению специалистов, наблюдающих за рынком искусственного интеллекта, это будет далеко не в последний раз.[16]

Дипфейк-голоса могут обмануть IoT-устройства и людей после пяти секунд обучения

Дипфейк-голоса могут обмануть IoT-устройства и людей после пяти секунд обучения. Об этом стало известно 14 октября 2021 года.

Дипфейк мог обмануть Microsoft Azure примерно в 30% случаев и в 63% случаев успешно обманывал WeChat и Amazon Alexa.

Исследователи из лаборатории Security, Algorithms, Networking and Data (SAND) Чикагского университета протестировали программы синтеза дипфейк-голосов, доступные на сайте сообщества разработчиков с открытым исходным кодом GitHub, с целью узнать, могут ли они обойти системы распознавания голоса в Amazon Alexa, WeChat и Microsoft Azure.

По словам разработчиков SV2TTS, программе требуется всего пять секунд для создания приемлемой имитации.

Программа могла обмануть человеческие уши — из 200 добровольцев, которых просили определить настоящие голоса среди дипфейков, примерно в половине случаев ответы были неправильные.

Дипфейк-аудио более успешно использовалось для имитации женских голосов и голосов тех людей, для кого английский язык не является родным.

«
Мы обнаружили, что и людей, и компьютеры можно легко обмануть синтетической речью, а существующие средства защиты от синтезированной речи не работают, — сообщили исследователи изданию NewScientist.
»

Эксперты протестировали другую программу синтеза голоса под названием AutoVC, которой требуется пять минут речи для воссоздания голоса человека. AutoVC удавалось обмануть Microsoft Azure только в 15% случаев, поэтому исследователи отказались тестировать его на WeChat и Alexa[17].

Ernst & Young начала использовать видеодипфейки сотрудников для общения с клиентами вместо личных встреч

В середине августа 2021 года стало известно, что Ernst & Young (EY) начала использовать видеодипфейки сотрудников для общения с клиентами вместо личных встреч. Для этого фирма использует технологию, предоставленную британским стартапом Synthesia. Подробнее здесь.

МВД занялось системой распознавания фейковых видео

В начале мая 2021 года стало известно о контракте, который Министерство внутренних дел (МВД) России заключило с московским АО «Научно-промышленная компания «Высокие технологии и стратегические системы». Речь идет о научной разработке под шифром «Зеркало» («Верблюд»), предназначенной для выявления сфабрикованных видеороликов (дипфейков). Исследование необходимо для экспертно-криминалистических подразделений и проведения видеотехнических экспертиз. Подробнее здесь.

Мошенники в Китае с помощью дипфейков обманули госсистему распознавания лиц на $76,2 млн

Мошенники в Китае с помощью дипфейков обманули госсистему распознавания лиц на $76,2 млн. Для ее обмана мошенники покупали фотографии в высоком качестве и поддельные личные данные на чёрном рынке. Это стоит от $5. Полученные фотографии Ву и Чжоу обрабатывали в дипфейк-приложениях — они могут «оживить» загруженную картинку и сделать из неё видео, создавая впечатление, что лица кивают, моргают, двигаются и открывают рот. Такие приложения можно скачать бесплатно.

Для следующего этапа мошенники покупали специальные перепрошитые смартфоны: во время распознавания лица фронтальная камера такого устройства не включается, вместо этого система получает заранее подготовленное видео, воспринимает его как изображение с камеры. Такие телефоны стоят примерно $250.

С помощью такой схемы мошенники зарегистрировали компанию-пустышку, которая могла выдавать своим клиентам поддельные налоговые декларации. За два года мошенники заработали на этом $76,2 млн.

Биометрия широко распространена в Китае — с её помощью подтверждают платежи и покупки, проверяют личность при оформлении госуслуг и так далее. Но вместе с развитием технологии одной из главных проблем стала защита данных.

2020

Исследователи Facebook назвали алгоритм NtechLab по распознаванию deepfake самым устойчивым к атакам

NtechLab, компания в области решений для видеоаналитики на основе нейронных сетей и технологический партнёр Госкорпорации Ростех, 11 декабря 2020 года сообщила, что алгоритм компании по распознаванию дипфейков был назван самым устойчивым к обману с использованием т.н. состязательных атак. Подробнее здесь.

Появление Telegram-ботов, которые создают поддельные «порноснимки» на основе DeepNude для шантажа

В конце октября 2020 года в Telegram была обнаружена система дипфейк-ботов, которые по запросу генерируют поддельные «порноснимки». Пользователи подставляют на такие снимки лица знакомых женщин, взятые с изображений из социальных сетей, а затем рассылают в общедоступных каналах и чатах или используют для шантажа. Подробнее здесь.

2019

Samsung представила цифровых людей, не отличимых от реальных

В начале января 2020 года компания Samsung представила проект "искусственных людей", получивший название Neon. Он разработан силами подразделения Samsung Technology и Advanced Research Labs (STAR Labs). Подробнее здесь.

Выпуск приложения Zao

В начале сентября 2019 года стало известно о выходе приложения Zao, которое, используя искусственный интеллект, позволяет вставить лицо пользователя в сцену из фильма. Подробнее здесь.

У энергетической компании выманили $243 тыс., используя ИИ для подделки голоса

В начале сентября 2019 года преступники выманили у британской энергетической компании $243 тыс., выдав себя за исполнительного директора с помощью искусственного интеллекта для подделки голоса.

Генеральный менеджер неназванной энергетической компании подумал, что разговаривает по телефону со своим боссом, руководителем немецкой материнской компании. "Босс" попросил его отправить средства венгерскому поставщику. По словам страховой компании Euler Hermes Group SA, преступник заявил, будто запрос был очень срочным, и попросил менеджера перевести деньги в течение часа. Euler Hermes отказался назвать компанию-жертву.

Преступники выманили у британской энергетической компании $243 тыс.

Эксперт по мошенничеству из страховой компании Euler Hermes Рюдигер Кирш (Rüdiger Kirsch) сообщил, что пострадавший менеджер узнал слабовыраженный немецкий акцент своего босса и общий тон голоса по телефону. Сразу после звонка менеджер передал деньги венгерскому поставщику и снова связался с боссом, чтобы сообщить о выполненном задании. Вскоре глава компании и его подчиненный осознали, что стали жертвой мошенничества и обратились в полицию.

Специалист по кибербезопасности ESET Джейк Мур (Jake Moore) в конце августа 2019 года заявил, что в ближайшем будущем мы столкнемся с чудовищным ростом киберпреступлений. DeepFake способен подставить лица знаменитостей и общественных лиц в любое видео, но для создания убедительного изображения требуется не менее 17 часов записей с этим человеком. Чтобы подделать голос, требуется куда меньше материала. По мере увеличения вычислительной мощности компьютеров такие подделки становится создавать все проще.

Чтобы снизить риски, напоминает Мур, необходимо не только информировать людей о том, что подобные имитации возможны, но и включать специальные методы проверки до перевода денег, например, двухфакторную идентификацию.[18]

В США начинают сажать за распространение порно с подменой лиц

В начале июля 2019 года в Виргинии был принят закон, запрещающий распространение порнографии с подменой лиц. Это первый штат в США, где была подобная инициатива.

В Соединённых Штатах и других странах распространена так называемая порноместь — размещение в интернете материалов открыто сексуального характера без согласия изображённого на них человека. Как правило, такие материалы размещаются бывшими партнёрами в порядке мести или хакерами, получившими несанкционированный доступ к таким материалам. С развитием технологий искусственного интеллекта и простых инструментов для качественного редактирования фото- и видеоконтента порноместь всё чаще начала осуществляться путём наложения лица на порноактёра.

В начале июля 2019 года в Виргинии был принят закон, запрещающий распространение порнографии с подменой лиц

Начиная с 1 июля 2019 года, любой, кто распространяет или продаёт фальшивые фотографии и видеоролики сексуального характера с целью «шантажа, домогательства или запугивания» в Виргинии может быть оштрафован на сумму до $2500. Также предусмотрен тюремный срок до 12 месяцев.

Виргиния стала первым американским штатом, сделавшим так называемый deepfake вне закона. Подобные инициативы к июлю 2019 года готовятся и в других штатах. Например, Нью-Йорк рассматриваемый законопроект, запрещающий создание «цифровых копий» людей без их согласия, а в Техасе 1 сентября 2019 года вступит в силу закон об ответственности за распространение контента сексуального характера с подменой лиц.

«
Мы должны перестроить наши устаревшие и разрозненные законы, в том числе уголовные, за парализующие и опасные для жизни последствия угроз, и признать значительный вред поддельного порно, — считает профессор Клэр МакГлинн (Clare McGlynn) из Даремского университета.
»

По словам экспертов, выявить поддержку становится всё сложнее даже в видеороликах.[19]

Запущен сервис, раздевающий женщин на фотографии за 30 секунд

В конце июня 2019 года стало известно о запуске сервиса DeepNude, который позволяет раздеть девушку на фотографию. Имя разработчика приложения неизвестно, однако в его Twitter-блоге говорится, что продукт развивает «небольшая команда» из Эстонии. Подробнее здесь.

Московский ИИ-центр Samsung создал нейросеть, ожививший портрет Достоевского

В мае 2019 года исследователи из центра искусственного интеллекта компании Samsung в Москве представили нейросеть, способную «оживлять» статичные изображения лиц. Работа системы описана в материалах, опубликованных на портале arXiv.org.

Искусственный интеллект оживил портрет Достоевского — анимацию предоставила пресс-служба Samsung

Нейросеть фиксирует движения и мимику человеческого лица на видео, а после переносит полученные данные на статичный портрет. Ученые «показали» искусственному интеллекту большое количество кадров с лицами людей.

На каждое лицо на таком кадре накладывали специальную маску, которая обозначает границы и базовую мимику. То, как такая маска соотносится с исходным кадром, хранится в виде вектора, данные из которого используются для того, чтобы наложить отдельную маску на изображение человека, после чего готовая анимация сопоставляется с эталоном.

В Samsung отмечают, что такая разработка может найти применение в системах телеприсутствия, видеоконференциях, многопользовательских играх и при создании спецэффектов в фильмах.



Как пишет издание ZDNet, сами себе технологии deepfake не являются чем-то новым, но система Samsung интересна тем, что она не использует 3D-моделирование и позволяет создавать «живую» модель лица лишь по одной фотографии. Если в неё загрузить 32 снимка, то можно «добиться идеально реалистичной картинки и персонализации», отметили в компании.

Возможности системы её разработчики продемонстрировали на фотографиях Мэрилин Монро, Сальвадора Дали и Альберта Эйнштейна. Однако она работает и на картинах и портретах. В видеоролике авторы проекта показали «оживлённый» портрет русского писателя Фёдора Достоевского.

На момент демонстрации разработки всё же заметна искусственность движений — устранением этих дефектов разработчики планируют заняться в дальнейшем.[20]

McAfee: подмену лиц в видео уже невозможно определить

В начале марта 2019 года компания McAfee, занимающаяся проблемами кибербезопасности, сообщила, что подмену лиц в видео уже нельзя определить невооруженным глазом. В программной речи на конференции по кибербезопасности RSA в Сан-Франциско Стив Гробман (Steve Grobman), директор по технологиям McAfee, и Селеста Фралик (Celeste Fralick), главный специалист по данным, предупредили, что использование новой технологии хакерами – лишь вопрос времени.

Теперь, когда злоумышленники способны создать индивидуализированный целевой контент, они могут использовать ИИ в различных целях – например, для взлома учетных записей с помощью методик социальной психологии или фишинг-атак. Персонализированный фишинг, то есть мошенничество, направленное на получение банковских конфиденциальных данных с целью хищения денег, является более успешным, однако новые возможности искусственного интеллекта позволяют проводить его в масштабах автоматизированных атак.

Отличить deepfake-видео от подлинных материалов будет всё сложнее, и это может стать проблемой для кибербезопасности, считают эксперты

Существует целая область кибербезопасности, называемая состязательным машинным обучением, где изучаются возможные кибератаки на классификаторы машинного обучения. Специалисты McAfee считают, что методика подмены изображений представляет серьезную угрозу и может использоваться для искажения работы классификатора изображений.

Один из способов обмануть людей и ИИ - сделать настоящую фотографию и незаметно изменить ее небольшую часть. Так при минимальном изменении фотография пингвинов могла быть интерпретирована ИИ как сковорода. Однако ложные срабатывания в более серьезном масштабе могут иметь катастрофические последствия.

Гробман подчеркнул, что сама по себе технологии DeepFake представляют собой орудие, которое можно использовать в самых различных целях. Запретить злоумышленникам использовать новые методики невозможно, но можно своевременно наладить линию защиты, считает он.[21]

Подделанное ИИ-порно затерроризировало женщин

К началу 2019 года искусственный интеллект достиг такого уровня развития, который позволяет легко и без особых технических навыков «приставлять» головы звезд и обычных женщин к телам порноактрис для создания реалистичных видеороликов. Эти откровенные фильмы, созданные при помощи метода DeepFake, представляют собой видеоролики, отредактированные настолько хорошо, что неотличимы от настоящих. Их появление опасно тем, что технологию могут также начать использовать для распространения поддельных новостей. Но еще большей опасностью является их использование в качестве инструмента для шантажа и унижения женщин.

В свете распространения ИИ и легкого доступа к фотографиям бывших партнеров, коллег и других людей без их согласия на сайтах социальных сетей, таких как "ВКонтакте" и Facebook, растет спрос на инструменты для создания фейковых роликов. Несмотря на то, что закон может быть на стороне жертв, часто они сталкиваются со значительными препятствиями, связанными со сложностями преследований в интернете.

«
Фейковые порноролики вызывают такой же стресс, как интимные фото, выкладываемые в сеть, — говорит писатель и бывший политик Шарлотта Лоз (Charlotte Laws). — Фейковые порноролики реалистичны, и их влияние усугубляется ростом количества фальшивых новостей, среди которых мы живем.
»

Подделываемое при помощи ИИ порно затерроризировало женщин

Лоз добавляет, что фейковые видео стали обычным способом унижать или шантажировать женщин. В ходе опроса, в котором приняли участие 500 женщин, ставших жертвами порномести, Лоз обнаружила, что 12% стали жертвами фейковых порнороликов.

Одним из способов решения этой проблемы может стать пересмотр и дополнение законов, запрещающих порноместь. Эти законы, которые на начало 2019 года существуют в 41 штате США, появились недавно и свидетельствуют об изменении отношения правительства к «несогласованной» порнографии.

Сфабрикованное порно с "участием" актрисы Поль Гадот

Другой подход заключается в возбуждении гражданских исков против правонарушителей. Как отмечается на сайте независимой некоммерческой организации Electronic Frontier Foundation, лица, ставшие жертвами фейковых порнороликов, в США могут подать в суд за клевету или представление их в «ложном свете». Они также могут подать иск о «праве на публичное использование», указав на то, что создатели видео извлекли выгоду из изображения жертвы без ее разрешения.

Однако все эти возможные решения могут натолкнуться на серьезное препятствие: закон о свободе слова. Любой, на кого подали в суд за создание фейкового ролика, может заявить, что видео является формой культурного или политического выражения и попадает под первую поправку. Лоз считает, что в случае с фейковыми порнороликами большинство судей будут настроены критически по отношению к ссылке на первую поправку, особенно когда потерпевшие не будут известными личностями, а видео будет затрагивать только сексуальную эксплуатацию и не включать политическую сатиру или материалы, представляющую художественную ценность.

Фрагмент из поддельного порновидео, в котором лицо порноактрисы заменили на лицо звезды Голливуда Поль Гадот

У самой жертвы при этом почти не остается возможностей закрыть доступ к оскорбительному видео. Причина кроется в статье 230 закона США, которая защищает провайдера в части того, что пользователи публикуют на своих страницах. В случае сайтов, на которых размещены фейковые порноролики, провайдеры могут претендовать на неприкосновенность, поскольку не они, а их пользователи загружают видео. Исключением в данной ситуации является нарушение интеллектуальной собственности, когда оператор обязан удалять материалы, если получает уведомление от владельца авторских прав.

По словам профессора Loyola Law School и автора книги о неприкосновенности частной жизни и праве на гласность Дженнифер Ротман (Jennifer Rothman), суды не имеют четкого представления о том, распространяется ли данное исключение на государственные законы (например, право на публичность) или только на федеральные (такие как авторское право и товарный знак).

Это поднимает вопрос о том, может ли Конгресс разработать закон, достаточно узкий, чтобы помочь жертвам фейковых порнороликов, но который при этом не будет иметь нежелательных последствий. В качестве предостерегающего примера профессор права в Университете Айдахо Аннемари Брайди (Annemarie Bridy) приводит неправомерное использование закона о защиты авторских прав, когда компании и частные лица действовали недобросовестно, чтобы удалить законную критику и другой законный контент.

Тем не менее, по словам Брайди, учитывая то, что поставлено на карту в случае с поддельными порнографическими видеороликами, новый закон необходим уже сейчас, говорится в публикации Fortune от 15 января 2019 года.[22]

2018: Искусственный интеллект научили подделывать движения людей в видео

Основная статья Искусственный интеллект в видео

Как стало известно в июне 2018 года, появилась новая разработка в области искусственного интеллекта (ИИ), которая позволит создавать реалистичные поддельные видео сюжеты.

Инструменты, позволяющие имитировать движение губ и мимику человека, уже существуют. Однако, как сообщает портал Futurism, новая система на основе ИИ представляет собой значительное улучшение существующих разработок. Она обеспечивает возможность создавать фотореалистичные видеоролики, в которых все движения и слова, произносимые актером в исходном видео, будут переноситься в изменяемое видео.

Появилась новая разработка в области искусственного интеллекта (ИИ), которая позволит создавать реалистичные поддельные видео сюжеты

Публичная демонстрация разработки состоится в августе 2018 года на конференции по компьютерной графике SIGGRAPH. Создатели новой системы планируют показать возможности разработки с помощью экспериментов по сравнению нового алгоритма с уже существующими средствами создания правдоподобных видео сюжетов и изображений, многие из которых были частично разработаны Facebook и Google. Характеристики решения на основе ИИ превосходят показатели существующих систем. Как сообщается, система ИИ всего за несколько минут работы с исходным сюжетом поможет создать безупречное фальшивое видео. Участникам экспериментов с трудом удалось отличить настоящие видео от поддельных.

Разработчики, получившие финансовую поддержку Google, надеются, что их работа будет использована для улучшения технологий виртуальной реальности и обеспечения ее большей доступности.

2017: Замена лица порноактрисы на лицо кинозвезды Голливуда

В декабре 2017 года в интернете появилось порноролик якобы с участием известный актрисы Галь Гадот. Однако в действительности на видео было тело порноактрисы, лицо которой с помощью искусственного интеллекта заменили на лицо голливудской кинозвезды. Подробнее здесь.

См. также

Робототехника



Примечания

  1. Мошенники начали активно выманивать образцы голосов граждан
  2. Минцифры с МВД и Роскомнадзором определят наказание за дипфейки
  3. ‘Everyone looked real’: multinational firm’s Hong Kong office loses HK$200 million after scammers stage deepfake video meeting
  4. В МВД предупредили о новой схеме мошенников, генерирующих голоса друзей в соцсетях
  5. Вымогатели начали использовать ИИ для подделки голосовых в Telegram
  6. Union Government issues advisory to social media intermediaries to identify misinformation and deepfakes
  7. Malicious Actors Manipulating Photos and Videos to Create Explicit Content and Sextortion Schemes
  8. Deepfaking it: America's 2024 election collides with AI boom
  9. Deepfake Startups Become a Focus for Venture Capital
  10. China's rules for "deepfakes" to take effect from Jan. 10
  11. сняли первый в мире веб-сериал с использованием технологии дипфейк
  12. В ЕС намерены штрафовать соцсети за неудаление дипфейков
  13. С помощью дипфейка можно выдать себя за другого человека в банке
  14. Дипфейки могут легко обмануть многие системы аутентификации Facial Liveness Verification
  15. China reveals draft laws that heavily restrict deepfakes
  16. Bank Robbers Used Deepfake Voice for $35 Million Heist | AI-Enhanced Voice Simulation Used
  17. Дипфейк-голоса могут обмануть IoT-устройства и людей после пяти секунд обучения
  18. Manager at energy firm loses £200,000 after fraudsters use AI to impersonate his boss's voice
  19. Virginia bans 'deepfakes' and 'deepnudes' pornography
  20. Samsung uses AI to transform photos into talking head videos
  21. McAfee shows how deepfakes can circumvent cybersecurity
  22. Fake Porn Videos Are Terrorizing Women. Do We Need a Law to Stop Them?