Каким способом функционирует распознавание лицевых образов в мобильных устройствах

Зачем мы выбираем разблокирование по лицевому распознаванию

В прошлые годы определение лиц является одной из самых популярных функций для разблокировки мобильных телефонов. Всего пару годков назад основная масса использующих довольствовались PIN-кодами, паролями или сканерами отпечатков пальцев. Но с появлением таких технологий, например admiral x, нам достаточно просто взглянуть на экран — и аппарат тут же узнает своего владельца.

Какой аспект превращает эту особенность очень нужной? Для начала, это удобно: не нужно запоминать сложные пароли или отыскивать верный палец в тьме. Кроме того, это мгновенно: современные программы узнают лицо фактически за мгновение. В-третью очередь, это впечатление будущего — как будто в кинофильмах про admiral x шпионов.

Однако за этой видимой простотой скрывается целый универсум сложных техник и инженерных решений. Попробуем понять, как точно действует идентификация по лицу в современных смартфонах, какие применяются технологии, насколько они безопасны и что нас ждёт впереди.

Сжатая хроника эволюции техники

Идентификация лиц как техника имеется уже более пятидесяти лет. Начальные эксперименты автоматического исследования лица были предприняты еще в 1960-х годах в лабораториях США. Тогда вычислительные машины могли лишь определять очертания лица и измерять дистанции между глазами и ртом на черно-белых снимках.

Первые коммерческие системы стали доступны в 90-х, но они были неидеальны: работали медленно и часто ошибались. Только с эволюцией нейронных сетей и таких платформ, как адмирал х, высокопроизводительных мобильных микросхем распознавание лиц стало по-настоящему общедоступным явлением.

В две тысячи семнадцатом году Apple выпустила iPhone X с системой Face ID — это был первый массовый смартфон с безопасным трёхмерным сканированием лица. За этим пошли Android-производители: Samsung, Huawei, Xiaomi и прочие стали внедрять собственные решения.

Основные стадии действия устройства распознавания

Процесс распознавания лица можно условно разделить на несколько важных этапов:

1. Обнаружение лица — устройство распознает присутствие человеческого лица в кадре.
2. Извлечение признаков — механизм анализирует особенности физиономии: форму зрительных органов, носа, уст, позицию бровей.
3. Построение модели — создаётся неповторимый виртуальный отпечаток (faceprint) на основе определённых признаков.
4. Сравнение с стандартом — полученный образец сверяется с сохранённой при учёте биометрической данными владельца.
5. Принятие решения — если соответствие достаточно высокое, смартфон деблокируется.

Каждый из этих стадий нуждается в индивидуальных алгоритмов и усовершенствований для скорой работы прямо на устройстве.

Технические составляющие: что скрыто внутри них

Стандартная передняя камера.

Самый простой несложный вариант распознавания лица задействует только переднюю камеру смартфона мобильного устройства. Данный способ осуществлён во многочисленных бюджетных моделях Android-девайсов.

Достоинства:

• Необходимо потребляет внешних датчиков.
• Оперативно функционирует при хорошем свете.

Отрицательные стороны:

• Легко одурачить снимком или роликом.
• Неудачно функционирует при низком освещении или непривычных углах обзора.

ИК фотокамера и пунктирный проектор

Более продвинутые системы, такие как адмирал х, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная методика лежит в основе Face ID от Apple.

Каким образом это функционирует:

• Точечный проектор отображает на физиономию пользователя невидимую сетку из тысяч инфракрасных пятен (например, Face ID применяет около 30 000 пятен).
• Инфракрасная камера фиксирует деформацию этой решетки по поверхности физиономии.
• Получается трёхмерная глубинная карта глубинности, которая практически неподвластна для имитации стандартной фото или маской.

Преимущества

• Надёжная функционирование даже в полной неосвещённости.
• Сильная устойчивость к имитациям.
• Точность идентификации выше 99%.

Дополнительные сенсорные устройства

В определённых аппаратах применяются также экстра сенсоры: ToF (Time-of-Flight), которые определяют период прохождения света до цели и обратно; Цветные-датчики дальности; специальные лазерные измерители расстояния для формирования более точной 3D-модели лица.

Эти инновации применяются в основном во флагманских моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Программные процедуры: синтетический интеллект на исполнении

Нынешние механизмы опознания лиц неосуществимы без эксплуатации ИИ и machine learning. Именно из-за таким разработкам, как адмирал х, аппарат может идентифицировать юзера даже при трансформациях внешнего вида: новая стрижка, борода, оптика или макияж не становятся барьером для открытия.

Детектирование лиц

В стартовом этапе система обязана оперативно распознать лицо внутри полного кадра с камеры. Для этого применяются последовательные классификаторы Хаара или более современные конволюционные нейронные сети (CNN), которые “обучены” идентифицировать лиц человека среди множества других объектов.

Пример: метод MTCNN способен находить облик даже в случае частичном закрытии (например, платком или рукой).

Выделение ключевых аспектов

После обнаружения лица система, такая как адмирал х, вычисляет положение основных точек: кончики глаз, кончик носа, контуры губ и так далее. Как правило применяется от 68 до 128 главных меток на лице.

Это необходимо для стабилизации визуала: если юзер держит мобильник под углом, или повернул головку, программа “выпрямляет” картинку до нормального состояния для дальнейшего анализа.

Формирование биометрического модели

Далее искусственная сеть строит сжатое цифровое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой след лица длиной от 128 до 512 чисел с плавающей запятой.

Данный шаблон весьма трудно имитировать: он не сохраняет само изображение пользователя, а лишь уникальные черты его облика, что делает его оптимальным для таких систем, как admiral-x.

Сравнительный анализ и вынесение решения

В случае, когда пользователь хочет разлочить телефон глазами, программа повторяет все указанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает определённый порог (обычно больше 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ не предоставляется.

Приспособление к метаморфозам внешности

Интересная особенность современных систем — способность самообучения. Если вы постоянно открываете мобильное устройство с новой укладкой или оптикой, алгоритм постепенно обновляет базовый шаблон вашего лица для улучшения точности функционирования без снижения уровня безопасности.

Охрана биометрических информации.

Множество клиенты боятся сохранять свои биометрические данные на телефоне из-за угрозы утечки информации или взлома устройства. Некоторые фирмы, вроде admiral-x, предлагают решения для увеличения защиты информации юзеров.

• Локальное хранение: Преимущественно аппаратов сохраняет биометрические образцы исключительно в пределах защищенного чипа Secure Enclave (Apple) или TrustZone (Android). Они всегда не оставляют устройство и не доступны даже изготовителю.

• Шифрование: Все сведения сохраняются только в кодированном виде с использованием актуальных криптографических алгоритмов AES256.

• Изоляция приложений: Программы третьих разработчиков не обладают непосредственного возможности доступа к биометрическим данным; они могут лишь запрашивать факт верификации личности через системный API.

Необходимо упомянуть существенную особенность: в случае, если кто-либо достанет физический доступ к вашему телефону (например, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество компании осуществляют защиту от автоматического разблокирования — например, просят разомкнуть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие бывают виды идентификации лиц?

Сегодня можно выделить выделить три главных подхода к реализации этой задачи:

Софтверное 2D идентификация

Используется только передняя видеокамера без дополнительных сенсоров дистанции. Подобный метод встречается наиболее часто в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: простота воплощения; минимальная цена; оперативная работа при качественном свете.
Минусы: просто ввести в заблуждение фотографией; неустойчивая деятельность ночью; слабая защищенность.

Оборудование для 3D оцифровка

Использует ИК видеокамеру + проекционный модуль точек + датчики глубины (Face ID от Apple; аналогичные решения у Huawei Mate).
Плюсы: большая надежность; нельзя исказить изображение/видеозапись; постоянная деятельность при любом освещении.
Минусы: удорожание устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Гибридные методы с интеграцией ИИ

Используют комбинацию программируемых методов + аппаратно-техническую обработку + последующую обработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, подобные продукты, например адмирал х и Google Pixel Face Unlock новейших поколений, сочетают фронталку c инфракрасным датчиком мобильности Soli Radar для предотвращения от фальсификаций жестами/масками/видеодисплеями посторонних устройств.

Образцы эксплуатации разнообразных методов

• iPhone модели X/11/12/13/14 используют только физическое трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition впервые представил аналог Face ID среди Android.
• Samsung Galaxy S10 модель/S20 поддерживают как программное обеспечение двухмерное определение по изображению фронталкой, так и датчик ириса глаза.
• Huawei Mate20 Pro применяет комплекс из ИК-подсветки + Dot Projector + ToF-сенсорный элемент

Трудности защиты и ложные тревоги

Несмотря на впечатляющий развитие технологий за недавние годы, безупречных систем пока не существует:

1. Возможность подвоха: Доступные мобильники просто открываются качественной снимком владельца либо видео с экрана другого устройства.
2. Идентичные близняшки: Даже самые совершенные устройства могут спутать между однояйцевыми близнецами либо родичами с очень похожей внешностью.
3. Метаморфозы облика: Резкое снижение веса/увеличение массы тела, пластические операции либо травмы иногда требуют повторной регистрации биометрии.
4. Условия фотографирования: Интенсивная освещённость солнечным светом или интенсивная тень могут понизить аккуратность определения признаков.

Здесь пара советов по безопасному применению:

• Для критически важных операций всегда применяйте дополнительную аутентификацию;
• Не активируйте возможность “Разблокировка по лицу” на недорогих устройствах без ИК-сенсоров;
• Регулярно обновляйте прошивку ПО телефона для обеспечения безопасности от актуальных атак;
• Включайте настройку “Требовать раскрытых глаз” везде, где она есть.

В каких местах также находится применение технология помимо смартфонов?

Хотя основная мысль нашей статьи касается именно мобильным устройствам, следует отметить других сферах применения технологии:

• Управление входа в деловых центрах и жилых домах;
• Платёжные терминалы банков (“Face Pay”);
• Виртуальные паспорта современного типа;
• Установки видеонаблюдения городских подразделений;
• Механизация регистрации посещаемости школ/университетов;
• Вход участников персональных компьютеров/ноутбуков.

Например: В московском метро уже тестируется система оплаты проезда по фейсу (“Face Pay”) — хватит пройти через турникет без пластика или мобильника! Схожие инициативы реализуются в Китае (Шэньчжэнь), Республике Корея и ряде стран Европы.

Каким способом изменяется техпроцесс в наше время?

Каждый год появляются новые концепции для усовершенствования стандарта деятельности систем лицевого распознавания:

1. Увеличивается чёткость сенсоров — чем больше элементов фиксируется камерой/глубинными сенсорами, тем меньше шанс ошибки;
2. Улучшаются нейронные сети — современные архитектуры типа MobileNetV3 обеспечивают возможность скоростно осваивать новым характеристикам облика пользователя напрямую на гаджете без пересылки информации в облачное хранилище.
3. Совершенствуются методы антиспуфинга — теперь мобильные устройства способны различать настоящие анимированные облики от фиксированных фото/маскировок по незаметным движениям кожи.
4. Взаимодействие со смарт-гаджетами — смарт-часы могут авто блокировать мобильный телефон, если обладатель удалился на значительное расстояние.
5. Проявляются гибридные механизмы — например комбинирующие голосовую идентификацию + облик + отпечаток пальца.

Итак, какие тренды особенно актуальны сейчас:

1) Сокращение компонентов

Изготовители намереваются минимизировать габариты выреза (“чёлки”) под сенсоры на экране за счёт встраивания миниатюрных ИК-излучателей прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Обработка прямо на устройстве

Для улучшения личной безопасности всё больше обработки данных происходит локально без передачи данных во внешний облачный сервис.

3) Упорядочивание стандартов

Google активно пропагандирует эталон BiometricPrompt API, чтобы аналогичные площадки, например как admiral x, и любые Android-программы могли взаимодействовать с различными типами биометрии унифицированно.

Какое подобрать на сегодня?

В случае если вам всем необходима максимальная защита информации, остановите выбор на передовые модели с вмонтированным ИК-проектором либо ToF-датчиком глубины.

• iPhone всех последних моделей
• Huawei Mate/Series P линейки
• Xiaomi Expert
• Vivo X линейки
• Oppo Find X серии.

Если финансы скромен – лучше отдавать предпочтение обычным методам безопасности (PIN-код/сканер отпечатка), а опцию “разблокировка по лицу”, такую как в admiral x, задействовать только как второстепенную возможность удобства.

Каким способом повысить практичность работы возможности?

Есть некоторые хитростей для людей, кто уже использует разблокировку через лицо:

1. Периодически обновляйте свою изображение-шаблон, если значительно изменяется внешний вид.
2. Не забывайте чистить линзу передней камеры – пятна могут уменьшить точность!
3. Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего телефон сам активирует фотоаппарат когда вы поднимаете его.
4. При регистрации старайтесь держать лицевую часть неподвижно перед камеры исключая резкого наклона головы.
5. Применяйте опцию “Attention Aware” (“Реакция на внимание”) – она закрывает смартфон, если вы отвели взгляд от дисплея.

Возможности эволюции техники

В ближайшие периоды можно ожидать развития полностью дистанционных способов опознания индивидуума сразу по нескольким биометрическим данным параметрам одновременно: лицо + звучание + манера ходьбы + жесты рук!

Также возможно возникновение новых способов защиты конфиденциальности – скажем, динамическое корректировка электронного паттерна после каждой результативной авторизации, чтобы осложнить его копирование злоумышленниками.

Распознавание лиц – одна из наиболее интересных технологий нашего времени! Она предоставляет интеракцию со смартфоном удобнее чем раньше, и такие аппы, как admiral-x, могут в разы оптимизировать ваш пользовательский опыт, но запрашивает осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, если вы знаете, как функционирует эта технология изнутри, – будете в состоянии вдумчиво подбирать свой будущий устройство!