2018/05/17 15:19:33

Системы распознавания лиц
Facial recognition

Распознавание лиц - это автоматическая локализация человеческого лица на изображении или видео и, при необходимости, идентификация личности человека на основе имеющихся баз данных. Интерес к этим системам очень велик в связи с широким кругом задач, которые они решают.

Содержание

Технологии распознавания лиц применяются в самых разнообразных сферах[1]:

  • обеспечение безопасности в местах большого скопления людей;
  • системы охраны, избежание незаконного проникновения на территорию объекта, поиск злоумышленников;
  • фейс-контроль в сегменте общепита и развлечений, поиск подозрительных и потенциально опасных посетителей;
  • верификация банковских карт;
  • онлайн-платежи;
  • контекстная реклама, цифровой маркетинг, Intelligent Signage и Digital Signage;
  • фототехника;
  • криминалистика;
  • телеконференции;
  • мобильные приложения;
  • поиск фото в больших базах фотоснимков;
  • отметка людей на фото в социальных сетях и многие другие.

Apple планирует использовать систему распознавания лиц в качестве разблокировки телефона – селфи, снятое владельцем телефона на фронтальную камеру, будет сравниваться с заранее загруженным фото-эталоном.


Главный недостаток технологии распознавания лиц – это ухудшение качества распознавания при

  • ухудшении освещенности;
  • изменении положения головы или ракурса.

Существует несколько подходов для создания алгоритма распознавания лиц.

Эмпирический подход использовался в самом начале развития компьютерного зрения. Он базируется на некоторых правилах, которые использует человек для детектирования лица. К примеру, лоб обычно ярче, чем центральная часть лица, которая, в свою очередь, однородна по яркости и цвету. Еще одним важным признаком является наличие частей лица на изображении – носа, рта, глаз. Для определения лиц производится значительное уменьшение участка изображения, где предполагается наличие лица, или строятся перпендикулярные гистограммы. Эти методы легко реализовать, но они практически непригодны при наличии большого количества посторонних объектов на фоне, нескольких лиц в кадре или при изменении ракурса.

Следующий подход использует инвариантные признаки, характерные для изображения лица. В его основе, как и в предыдущем методе, лежит эмпирика, то есть попытка системы «думать» как человек. Метод выявляет характерные части лица, его границу, изменение формы, контрастности и т.д., объединяет все эти признаки и верифицирует. Данный метод может использоваться даже при повороте головы, но при наличии других лиц или неоднородном фоне распознавание становится невозможным.

Следующий алгоритм – это детектирование лиц с помощью шаблонов, которые задает разработчик. Лицо представляется неким шаблоном или стандартом, и цель алгоритма – произвести проверку каждого сегмента на наличие этого шаблона, причем проверка может производиться для разных ракурсов и масштабов. Такая система требует множество трудоемких вычислений.

Все современные технологии распознавания лиц используют системы, обучающиеся с помощью тестовых изображений. Для обучения используются базы с изображениями, содержащими лица, и не содержащими лица. Каждый фрагмент исследуемого изображения характеризуется как вектор признаков, с помощью которого классификаторы (алгоритмы для определения объекта в кадре) определяют, является данная часть изображения лицом или нет.

2018

Системы распознавания лиц полиции Британии оказались бесполезными

В мае 2018 года стало известно о больших проблемах в системах распознавания лиц, которые используют британские полицейские. В результате может быть подано большое количество исков — этот вопрос стал «приоритетным» для Управления комиссара по информации (Information Commissioner's Office), приводит BBC слова представителя регулятора Элизабет Денхем (Elizabeth Denham).

Британская правозащитная организация Big Brother Watch опубликовала результаты исследования, показавшие «ошеломляющее» количество невиновных людей, из которых технология распознавания лиц сделала потенциальных преступников.

В Британии неудачно протестировали систему распознавания лиц

Так, с мая 2017 года по март 2018-го система выдала для полиции Южного Уэльса 2685 совпадений людей с базой данных подозреваемых, однако 2451 из них оказались ложными.

Лондонские правоохранительные органы применяли технологию идентификации лиц на карнавале Ноттинг-Хилл в 2017 году. Показания системы оказались ошибочными в 98% случаев, когда срабатывал сигнал о том, что якобы замечен подозреваемый из полицейской базы данных. Решение устроено так, что при выявлении возможного нарушителя закона на пульт дежурного в ближайшее отделение полиции поступает сигнал.

Полиция начала винить выдающие некачественную картинку камеры и то, что систему использовали в первый раз, но и в последующих 15 мероприятиях (футбольные матчи, фестивали, парады), во время которых задействовали технологию, результат не улучшился. Только на трех система не ошиблась ни разу.

В полиции также рассказали, что за девять месяцев работы системы распознавания лиц она верно отметила более 2 тыс. человек, что привело к 450 арестам. При этом никто не попал в заключение ошибочно. Это объясняется тем, что помимо работы алгоритмов в работе задействованы люди, которые проверяют срабатывания и принимают окончательные решения.[2]

Ученые изобрели новый способ обмана систем распознавания лиц

С каждым днем системы распознавания лиц становятся сложнее и все чаще используются в повсеместной жизни, к примеру, в минувшем году компания Apple выпустила смартфон iPhone X, оснащенный биометрической системой Face ID. Однако подобные системы можно обмануть, в частности, с помощью инфракрасных светодиодов. Инфракрасные лучи не видимы простому глазу, однако большинство камер могут улавливать инфракрасные сигналы[3].

Китайские исследователи создали[4] бейсбольную кепку, оснащенную миниатюрными инфракрасными светодиодами, которые размещены таким образом, что инфракрасные лучи, падающие на лицо владельца головного убора, помогают не только скрыть его личность, но и «выдать себя за другого человека для прохождения основанной на распознавании лица аутентификации». Данная задача более сложная и требует использования глубокой нейронной сети для распознавания статичного изображения лица и правильного проецирования инфракрасных лучей на лицо самозванца.

Для проверки своей теории исследователи использовали фотографии четырех случайных людей, им удалось обмануть системы распознавания лиц в 70% случаев при условии наличия небольшого внешнего сходства между жертвой и самозванцем.

«На основании наших находок и атак, мы можем сделать вывод, что существующие на сегодняшний день технологии распознавания лиц сложно назвать безопасными и надежными в аспекте критических сценариев, таких как аутентификация и наблюдение», - заключили исследователи. Они также добавили, что инфракрасные светодиоды можно прятать не только в бейсбольных кепках, но также в зонтах, волосах или париках.

Российские близнецы требуют с Apple 20 млн за то, что iPhone X не видит между ними разницы

Братья-близнецы из Владимира — 26-летние Александр и Илья Тунчики — направили в российский офис компании Apple претензию в связи с тем, что система распознавания лиц Face ID на их смартфонах iPhone X одинаково идентифицирует обоих молодых людей, тем самым, по их мнению, нарушая защиту персональных данных[5].

Обиженные пользователи требуют от компании усовершенствовать технологию, а также компенсировать моральный ущерб в размере 20 млн руб., сообщил в январе 2018 год ТАСС представляющий интересы братьев юрист Роман Ардыкуца.

«Близнецы приобрели… iPhone X именно ради того, чтобы воспользоваться функцией разблокировки экрана при помощи лиц. К их разочарованию, каждый аппарат узнает обоих братьев, о чем они не были предупреждены при покупке, эта информация отсутствует в инструкции. Именно поэтому заявители просят компанию доработать технологию», — пояснил он.

2017

Распознавание лиц в ритейле

В ноябре 2017 года телеканал CNBC выпустил сюжет, рассказывающий о внедрении систем распознавания лиц в магазинах. Ритейлеры используют такие технологии для сбора данных о клиентах и подбора предложений на основе соответствующих данных.

В ритейле распознавание лиц применяется в основном для того, чтобы мотивировать покупателей. Например, если человека узнают на входе в магазин и видят его историю покупок, то сотрудники магазина лучше знают, что ему предложить. Так, если он покупал в магазине электроники телевизор, сотрудник его узнает, обратится по имени и предложит приобрести новый пульт.

По данным гонконгской ИТ-компании Jardine One Solution (JOS), многие розничные сети применяют возможности распознавания лиц для того, чтобы собирать данные о посетителях своих магазинов.

Пример использования системы распознавания лиц в магазинах
«
Одной из вещей, которыми крупные традиционные ритейлеры начинают заниматься сейчас, является отслеживание того, кто заходит в их магазин и как он там себя ведет, — сообщил управляющий директор JOS Марк Лант (Mark Lunt).
»

Сама JOS помогает розничным компаниям с распознаванием лиц клиентов с целью составления профиля покупателей и отслеживания их действий в торговой точке. Речь идет о таких данных, как количество посетителей, их возраст, пол, этническая принадлежность. Такие сведения помогают магазинам лучше знать о потоке клиентов и подбирать персонализированные предложения для них, отметил Лант.

К примеру, используя анализ данных, поступающих из систем распознавания лиц, можно подбирать музыку, играющую в торговом зале.

В JOS говорят, все полученные данные клиентов анонимны, однако вопрос конфиденциальности остается актуальным. Технологии не препятствуют внедрению таких систем, но есть опасения, связанные с личными данными и культурой, признает Марк Лант.

Он добавил, что ритейлеры тратят огромные средства на предотвращение утечек данных и защиту информации. Скандал, связанный с хищением данных миллионов клиентов Uber, показывает, что компании не могут чувствовать себя в безопасности, а пользователи должны проявлять осторожность, раскрывая персональную информацию, считает управляющий директор JOS.

Основатель и генеральный директор компании HeadCount (предлагает магазинам услуги по мониторингу и улучшению посещаемости) Марк Риски (Mark Ryski) говорит, что биометрические данные, в том числе те, которые генерируют системы распознавания лиц, относятся к категории деликатным и имеют большой потенциал — особенно в целях обеспечения безопасности и улучшения качества обслуживания клиентов.

Пример использования системы распознавания лиц в магазинах

По мнению старшего вице-президента по стратегии обслуживания клиентов компании InMoment Бреннана Уилки (Brennan Wilkie), у использования оборудования для распознавания лиц в торговых помещениях действительно есть большой потенциал. Например, такие устройства способны сопоставить выражение лица клиента в магазине с данными о нем, его лояльности бренду и других покупках. Для того, чтобы смягчить проблему конфиденциальности пользователей, магазинам нужно продемонстрировать клиентам, какие преимущества они получают, как это было в свое время с кассами самообслуживания или с банковскими картами с чипами, уверен он.

Ранее ИТ-директор «Дикси» Владимир Муравьев в интервью TAdviser рассказывал о проектах по таргетированной рекламе в магазинах одной из торговых сетей «Виктория» с использованием технологии распознавания лиц. Подробнее об этом здесь.

Согласно прогнозу аналитической компании MarketsandMarkets, объем мирового рынка систем распознавания лиц достигнет $6,8 млрд к 2021 году.[6]

Авторизацию в iPhone X по лицу взломали маской за $150. Видео

Вьетнамская фирма по кибербезопасности Bkav продемонстрировала способ обхода системы авторизации по лицу Apple Face ID, реализованую в новых мобильных устройствах компании — iPhone X. Для этого им потребовалось изготовить на 3D-принтере маску, которая лишь частями напоминает лицо владельца устройства[7].

Подробнее смотрите Apple Face ID

Как обойти сканер лица на Samsung Galaxy Note 8

Веб-дизайнер Мэл Тахон опубликовал в своем твиттере видео о том, как легко обойти сканер лица на Galaxy Note 8. В своем эксперименте Тахон держит два Note 8 напротив друг друга, на одном из которых — его фото, а на другом — включенная система сканирования лица.

Подробнее смотрите Samsung Galaxy Note 8

Обман биометрической защиты Samsung Galaxy S8

Систему биометрической идентификации в новейших смартфонах Samsung Galaxy S8 можно обмануть с помощью фотографии, выяснили участники немецкого хакерского сообщества Chaos Computer Club (CCC). О своем открытие они рассказали на сайте сообщества 22 мая 2017 года.

Подробнее смотрите Samsung Galaxy S8

2016

Allied Market Research

Allied Market Research предвещает рост рынка систем распознавания лиц до 9,6 млрд долларов к 2022 году при среднем темпе роста 21,3% в год. Лидером рынка, по прогнозам, станет США. 3D-технологии займут большую часть рынка по сравнению с 2D, а рынок ПО будет расти на 23,9% ежегодно до 2022 года. Рынок будет увеличиваться в том числе и за счет распространения приложений в области распознавания лиц.

Исследователи научились обманывать систему распознавания лиц

Распознавание лиц основано на нейронных сетях, которые обучаются на множестве примеров. Компьютеру показывают тысячи и миллионы лиц, и он начинает «понимать», где нос, брови и так далее. После этого, если показать определенное лицо, то компьютер считывает известные ему паттерны; анализирует, на что похож запрос; и выдает ответ.

Ученые из Университета Карнеги — Меллон научились обманывать систему распознавания[8]. Для этого они раскрашивали очки таким образом, что компьютер начинал ошибаться и принимал человека за другого. Для тестирования они использовали уже существующие нейронные сети, которые умеют очень хорошо распознавать лица — иногда лучше человека[9].

Исследователям удалось выдать белого мужчину за Миллу Йовович почти в 90 процентах случаев. Женщину азиатской внешности в специальных очках компьютер в стольких же процентах случаев принимал за мужчину с Ближнего Востока.

Кроме того, они попробовали свой метод на коммерческой программе Face++, которая используется в Alibaba для авторизации платежей. В этом случае они не сажали человека в очках перед камерой, а сначала делали его фотографию в очках и потом загружали ее в программу. В итоге им удалось выдать одного человека за другого в 100 процентах случаев.

Общественные организации США против распознавания лиц

Коалиция из 52 общественных и правозащитных организаций США направила в Министерство юстиции письмо с просьбой расследовать чрезмерное использование технологий распознавания лиц в работе органов правопорядка. Также коалицию беспокоит неодинаковая точность машинного распознавания лиц разной расовой принадлежности, которая может стать основой для проявления расизма со стороны сотрудников органов[10].

Особенно этими технологиями злоупотребляет местная полиция, полиция штатов и ФБР, гласит письмо. Коалиция просит Министерство юстиции в первую очередь заняться проверкой тех полицейских департаментов, которые уже находятся под следствием в связи с предвзятым отношением к гражданам с небелым цветом кожи.

Основанием для просьбы послужили результаты исследования Центра приватности и технологий Школы права университета Джорджтауна. Исследование показало, что лица половины взрослого населения США при разных обстоятельствах были отсканированы правительственным идентификационным ПО.

Исследователи отмечают, что в США на сегодняшний день не существует серьезных правил, регулирующих использование этого ПО. По словам Альваро Бедойи (Alvaro Bedoya), директора Центра и соавтора исследования, сфотографировавшись на водительские права, человек уже попадает в базу лиц полиции или ФБР. Это особенно существенно с учетом того, что распознавание лиц бывает неточным, и в этом случае может наносить вред невинным гражданам.

Примеры проектов в HSBC, MasterCard и Facebook

Банк HSBC собирает портретную галерею своих клиентов. Финансовый конгломерат переходит на новую систему идентификации — селфи. Фотография заменит все иные способы определения личности, как, например, отпечатки пальцев, распознавание голоса и введение PIN-кода[11].

Услуга будет доступна для корпоративных клиентов НSBC. Через банковское мобильное приложение они смогут открывать счета по одному щелчку селфи. Банк же подтверждает личность клиента с помощью программы распознавания лиц. Фотография сличается со снимками, ранее загруженными в систему, например, с паспорта или водительских прав. Предполагается, что новый сервис избавит от необходимости запоминать цифровые коды и сократит время идентификации.

MasterCard объявила весной 2016 года на международном конгрессе мобильных технологий Mobile World Congress в Барселоне, что вскоре она будет разрешать использовать сэлфи в качестве альтернативы для паролей при онлайн-платежах. Сервис будет доступен следующим летом в США, Канаде и некоторых странах Европы, таких как Италия, Франция, Нидерланды, Великобритания и Испания.

Чтобы воспользоваться данной опцией, пользователям необходимо будет скачать специальное приложение на свой компьютер, планшет или смартфон. Затем посмотреть в камеру или использовать сканер устройства для распознавания отпечатков пальцев (если он имеется на устройстве). Однако (по крайней мере, на данный момент), пользователям все еще потребуется дополнительно предоставлять данные своей банковской карты. Лишь в том случае, если потребуется дополнительная идентификация, то пользователи смогут воспользоваться вышеописанной опцией.

Благодаря такому новому подходу, MasterCard собирается защитить пользователей от поддельных онлайн-транзакций, которые осуществляются с помощью краденых паролей пользователей, а также предоставить пользователям более удобную систему авторизации. Компания сообщила, что 92% людей, которые тестировали эту новую систему, предпочли ее традиционным паролям.

Некоторые эксперты сомневаются в защите информации от того, чтобы кибер-преступники не смогли легко получить отпечатки пальцев пользователя или фотографию его лица в том случае, если транзакция осуществляется при небезопасном использовании публичной сети Wi-Fi .

Эксперты по кибер-безопасности утверждают, что система должна включать несколько уровней безопасности для предотвращения потенциальной кражи фотографий лица пользователей. Ведь онлайн-платежи представляют собой привлекательную мишень для кибер-преступников.

В конце 2015 года группа экспертов из Технического Университета Берлина продемонстрировала возможность извлечения PIN-кода любого смартфона при использовании сэлфи пользователя. Для этого они считывали данный код, который отображался в глазах пользователя, когда он вводил его на своем телефоне OPPO N1. Хакеру достаточно просто перехватить контроль над фронтальной камерой смартфона для выполнения этой элементарной атаки. Смог бы кибер-преступник перехватить контроль за устройством пользователя, сделать его сэлфи и после этого выполнить онлайн-платежи с помощью набранного пароля, который хакер увидел в глазах своей жертвы?

MasterCard настаивает на том, что ее механизмы обеспечения безопасности будут в состоянии обнаруживать подобное поведение. Например, пользователям необходимо будет мигать для приложения, чтобы продемонстрировать «живой» образ человека, а не его фотографию или предварительно снятое видео. Система сопоставляет изображение лица пользователя, конвертируя его в код и передавая его по безопасному протоколу через Интернет в MasterCard. Компания обещает, что эта информация будет безопасно храниться на ее серверах, при этом сама компания не сможет реконструировать лицо пользователя.

Летом 2016 года стало известно, что исследователи обошли систему биометрической аутентификации, используя фото из Facebook. Атака стала возможной благодаря потенциальным уязвимостям, присущим социальным ресурсам.

Команда исследователей из Университета штата Северная Каролина продемонстрировали метод обхода систем безопасности, построенных на технологии распознавания лиц, при помощи доступных фотографий пользователей соцсетей. Как поясняется в докладе специалистов, атака стала возможной благодаря потенциальным уязвимостям, присущим социальным ресурсам.

«Не удивительно, что личные фото, размещенные в социальных сетях, могут представлять угрозу конфиденциальности. Большинство крупных соцсетей рекомендуют пользователям установить настройки конфиденциальности при публикации фото на сайте, однако многие из этих снимков часто доступны широкой публике или могут быть просмотрены только друзьями. Кроме того, пользователи не могут самостоятельно контролировать доступность своих фото, размещенных другими подписчиками», - отмечают ученые.

В рамках эксперимента исследователи отобрали фотографии 20 добровольцев (пользователей Facebook, Google+, LinkedIn и других социальных ресурсов). Затем они использовали данные снимки для создания трехмерных моделей лиц, «оживили» их с помощью ряда анимационных эффектов, наложили на модель текстуру кожи и откорректировали взгляд (при необходимости). Получившиеся модели исследователи протестировали на пяти системах безопасности, четыре из них удалось обмануть в 55-85% случаев.


Согласно отчету компании Technavo (зима 216 года) одной из ключевых тенденций, оказывающих положительное влияние на рынок технологий биометрической идентификации по лицу (facial recognition), является внедрение мультимодальных биометрических систем в таких секторах, как здравоохранение, банковский, финансовый сектор, сектор ценных бумаг и страхования, сектор перевозок, автомобильный транспорт, а также в госсекторе.

Мультимодальные биометрические системы, построенные на сочетании нескольких биометрических технологий, таких как распознавание отпечатков пальцев, черт лица, голоса и т.д., отличаются высокой эффективностью обнаружения несанкционированного доступа к устройствам банковского самообслуживания, базам данных системы здравоохранения, мобильным устройствам, а также большому количеству онлайновых и офлайновых приложений.

В связи с растущей потребностью в повышении уровня безопасности в Европе ожидается устойчивый рост использования систем биометрической идентификации по лицу. По состоянию на 2015 г., несмотря на тот факт, что Европа является вторым крупнейшим участником мирового рынка технологий биометрической идентификации по лицу, другие технологии, такие как распознавание отпечатков пальцев, рисунка вен на руке и радужной оболочки глаза, распространены шире. Внедрение систем facial recognition осуществлялось более низкими темпами, что было связано с кризисом в еврозоне. Но аналитики ожидают, что в течение следующих четырех лет совокупные темпы годового роста этого рынка превысят 21%.

Производители инвестируют значительные средства в научные исследования и разработку систем биометрической идентификации по лицу. Ожидается, что это значительно ускорит развитие таких систем за счет идентификации качественных параметров лица, в том числе шрамов, длины носа или выражения лица, и которые могут быть использованы для определения возраста или пола человека.

Технологии биометрической идентификации по лицу могут использоваться в сфере розничной торговли для идентификации клиентов и отслеживания их покупок, покупательских привычек, возраста, пола, криминальной и кредитной истории. Ожидается, что данные, полученные с помощью таких систем, будут использоваться ритейлерами в маркетинговых целях и для того, чтобы делать клиентам специальные предложения на основе информации об их предыдущих покупках.

2015

2015 год: По данным СМИ[12], MasterCard анонсировал летом 2015 года запуск тестирования программы подтверждения онлайн-покупок будет происходить путем сканирования лица пользователя.

На завершающем этапе покупки интернет-покупателю необходимо будет сделать свое фото с помощью смартфона. MasterCard полагает, что это намного легче, чем запоминать пароли.

Как сообщает CNN Money, с помощью нового инновационного инструмента платежная система планирует сократить уровень мошенничества. "Думаю, новому поколению, которое живет снимками селфи, понравится. Они наверняка подхватят эту технологию", – сообщил Аджай Бхала (Ajay Bhalla), директор MasterCard по инновационным решениям в сфере безопасности.

MasterCard использует технологию безопасности онлайн-платежей SecureCode, которая предполагает введение пароля для подтверждения оплаты в интернете. По данным компании, эта технология использовалась в 3 млрд транзакций за прошлый год, она предотвращает случаи использование мошенниками карты в интернете. Однако пароли забываются, их могут украсть или перехватить. Именно поэтому многие финансовые компании начали внедрять биометрические технологии для удобства пользователей и повышения уровня безопасности.

Сначала проект охватит 500 пользователей, а в случае успешного тестирования – будет запущен для публичного использования.

2014

2014 год: Создатели израильского стартапа IsItYou планируют использовать фронтальные камеры смартфонов в качестве способа подтверждения личности людей при совершении банковских транзакций. Согласно данным издания ВВС, израильтяне уверены, что в будущем селфи смогут заменить пароли, отпечатки пальцев и другие формы идентификации личности. В IsItYou реализовали новую технологию распознавания лиц, обладающей высокой степенью точности и защиты от мошенничества[13].

Основатель проекта Биньямин Леви (Benjamin Levy) рассказал, что благодаря высокому уровню защищенности IsItYou сможет распознать 99999 из 100 тысяч случаев обмана. Леви попытался убедить банки о необходимости внедрения его системы уже в следующем году. Она будет использоваться для проведения финансовых транзакций.

Google уже использует функцию распознавания лица в Android. Таким образом можно разблокировать устройство под управлением этой мобильной ОС. Тем не менее, разработчики неоднократно утверждали, что распознавание лица недостаточно защищено по сравнению с классическими способами. В связи с этим эксперты засомневались в утверждениях Биньямина Леви.

Мариос Саввидис (Marios Savvedes) из университета Карнеги-Меллон занимается исследованием функции распознавания лица. Он считает, что самостоятельно проведенное испытание на защищенность IsItYou не может быть надежным.

Такого же мнения придерживается мировой эксперт в области биометрии доктор Массимо Тистарелли (Massimo Tistarelli). Он сказал, что в Европе проводится полномасштабный научный проект Tabula Rasa, главная цель которого - разработка защиты от мошенничества для биометрических способов идентификации. По его словам, перед выходом на рынок следует провести ряд независимых исследований, подтверждающих эффективность продукта.

Читайте также