Как работает определение лиц в мобильных устройствах

Почему мы предпочитаем разблокирование по фейсу

В последние времена определение лиц является одной из самых популярных опций для открытия умных телефонов. Всего пару годков тому назад большинство использующих удовлетворялись пин-кодами, паролями или датчиками отпечатков пальцев. Но с появлением таких технологий, например Вулкан Платинум, нам достаточно просто взглянуть на экран — и устройство тут же узнает своего владельца.

Что делает данную функцию очень нужной? Во-первых, это практично: не нужно удерживать в памяти трудные пароли или находить верный палец в темноте. Кроме того, это мгновенно: современные программы узнают лицо буквально за мгновение. В-третьем пункте, это чувство футуризма — будто в кинофильмах про вулкан платинум агентов.

Однако за этой видимой легкостью таится весь вселенная комплексных техник и инженерных решений. Давайте разобраться, как именно действует распознавание лиц в новейших смартфонах, какие бывают способы, насколько они безопасны и что нас ожидает в будущем.

Короткая история эволюции инноваций

Распознавание лиц как техника имеется уже более пятидесяти годов. Изначальные попытки автоматизированного исследования облика были осуществлены еще в 1960-х годах в исследовательских центрах США. Тогда вычислительные машины способны были лишь определять силуэты лица и вычислять расстояния между глазами и ртом на черно-белых фотографиях.

Первые торговые платформы стали доступны в девяностых годах, но они были неидеальны: действовали неспешно и нередко ошибались. Только с развитием синтетических сетей и таких платформ, как Vulkan Platinum, высокопроизводительных мобильных чипов распознавание лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple презентовала iPhone X с системой Face ID — это был первый широкодоступный смартфон с надёжным трёхмерным идентификацией лица. За ним последовали Android-изготовители: Samsung, Huawei, Xiaomi и прочие начали интегрировать свои решения.

Ключевые стадии работы устройства идентификации

Процесс распознавания лица можно ориентировочно поделить на несколько важных этапов:

1. Распознавание лиц — камера выявляет существование человеческого образа в кадре.
2. Определение признаков — система анализирует черты лица: форму зрительных органов, обонятельного органа, уст, расположение бровей.
3. Построение структуры — создаётся уникальный цифровой отпечаток (faceprint) на основе идентифицированных признаков.
4. Сравнение с эталоном — сформированный образец сверяется со зафиксированной при учёте биометрической информацией владельца.
5. Принятие выбора — если совпадение достаточно существенное, смартфон открывается.

Всякий из данных стадий запрашивает специальных алгоритмов и улучшений для скорой работы прямо на устройстве.

Технические компоненты: что находится в их недрах

Обычная фронтальная камера.

Простейший несложный метод идентификации лица применяет только переднюю камеру смартфона мобильного устройства. Данный метод внедрён во многих бюджетных моделях Android-устройств.

Положительные стороны:

• Не нуждается в требует внешних сенсоров.
• Шустро действует при достаточном освещённости.

Минусы:

• Легко ввести в заблуждение изображением или роликом.
• Неправильно работает при низком свете или нестандартных углах обзора.

Инфракрасная фотокамера и точечный проектор

Более продвинутые системы, такие как Vulkan Platinum, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая технология лежит в основе Face ID от Apple.

Каким образом это работает:

• Точечный проектор проецирует на лицо пользователя невидимую решетку из тысяч инфракрасных меток (например, Face ID применяет около 30 000 меток).
• Инфракрасная камера фиксирует искривление данной сетки по плоскости лица.
• Формируется 3D глубинная карта глубинности, что практически неподвластна для фальсификации стандартной фотографией или маскировкой.

Преимущества

• Надёжная деятельность даже в полной тьме.
• Большая устойчивость к фальсификациям.
• Точность распознавания свыше 99%.

Дополнительные датчики

В некоторых аппаратах задействуются также экстра сенсорные устройства: ToF (Time-of-Flight), которые измеряют период движения света до предмета и обратно; RGB-датчики глубины; специальные оптические измерители расстояния для формирования более точной 3D-модели лица.

Эти технологии применяются в основном во топовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные алгоритмы: синтетический разум в действии

Нынешние механизмы опознания лиц немыслимы в отсутствие эксплуатации artificial intelligence и машинного обучения. Именно вследствие таким инновациям, как Vulkan Platinum, устройство в состоянии узнавать юзера даже при изменениях внешности: новая причёска, растительность на лице, линзы или макияж не становятся препятствием для открытия.

Распознавание лиц

На первом шаге программа необходимо мгновенно распознать лицо в пределах полного снимка с камеры. Для данной цели применяются последовательные классификаторы Хаара или более продвинутые конволюционные нейронные сети (CNN), которые натренированы идентифицировать лица людей среди множества других объектов.

Пример: процесс MTCNN может обнаруживать облик даже в случае неполном перекрытии (например, шалью или ладонью).

Выделение важных аспектов

После идентификации лица устройство, такая как Vulkan Platinum, вычисляет местоположение основных точек: кончики глаз, кончик носа, границы губ и так далее. Обычно задействуется от 68 до 128 основных точек на лицевой области.

Это действие требуется для нормализации изображения: если юзер держит смартфон под наклоненным, или склонил головку, программа “выпрямляет” картинку до нормального состояния для последующего изучения.

Создание биометрии шаблона

Далее нейронная сеть строит уплотненное цифровое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой образ лица длиной от 128 до 512 чисел с плавающей запятой.

Этот формат очень затруднительно имитировать: он не удерживает само фото юзера, а лишь особенные особенности его внешности, что делает его совершенным для таких платформ, как Вулкан Казино Платинум.

Сравнительный анализ и осуществление выбора

Если юзер желает разлочить мобильник взором, система осуществляет все указанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает установленный порог (обычно превышает 99%), телефон, как и платформа Вулкан Казино Платинум, разблокируется; если нет — доступ блокируется.

Адаптация к трансформациям внешности

Увлекательная черта современных системы — способность самообучения. Если вы часто открываете телефон с новой прической или очками, алгоритм постепенно освежает основной шаблон вашего лица для повышения точности работы без снижения уровня безопасности.

Защита биометрии данных.

Многие пользователи беспокоятся хранить свои биометрические данные на смартфоне из-за угрозы утечки информации или хакерской атаки. Иные организации, вроде Вулкан Казино Платинум, предоставляют варианты для повышения защиты информации клиентов.

• Локальное сохранение: Большинство устройств хранит биометричные шаблоны только в пределах защищенного чипа Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не выходят из аппарат и недоступны даже изготовителю.

• Шифрование: Все сведения сберегаются только в зашифрованном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция приложений: Программы внешних девелоперов не обладают прямого возможности доступа к биометрическим; они могут лишь запрашивать факт верификации личности через системный API.

Стоит подчеркнуть существенную подробность: если какой-то человек достанет доступ к вашему телефону физически (к примеру, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому большинство компании внедряют защиту от неосознанного разблокирования — в частности, просят разомкнуть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют бывают категории определения лиц?

В настоящее время можно выделить выделить 3 главных подхода к осуществлению этой задачи:

Софтверное плоское распознавание

Применяется только лицевая видеокамера без вспомогательных детекторов дистанции. Такой способ наблюдается обычно в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: простота реализации; умеренная затраты; быстрая функционирование при достаточном освещении.
Минусы: просто ввести в заблуждение фотографией; ненадежная работа ночью; слабая безопасность.

Техническое 3D сканирование

Применяет ИК видеокамеру + проектор точек + сенсоры глубины (Face ID от Apple; аналогичные решения у Huawei Mate).
Преимущества: высокая надежность; невозможно подделать фото/видео; стабильная работа при любом освещении.
Минусы: повышение стоимости устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Смешанные методы с ИИ-дополнением

Используют комбинацию программных методов + аппаратную обработку + постобработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, такие продукты, например Vulkan Platinum и Google Pixel Face Unlock современных версий, комбинируют фронталку c ИК сенсором движения Soli Radar для предотвращения от подделок жестами/масками/видеодисплеями посторонних устройств.

Иллюстрации применения разнообразных методов

• iPhone серии X/11/12/13/14 используют только аппаратное трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition в первый раз внедрил эквивалент Face ID среди Android.
• Samsung Galaxy S10 модель/S20 обеспечивают как программное плоское распознавание по снимку селфи-камерой, так и сканер ириса глаза.
• Huawei Mate20 Pro задействует набор из ИК-подсветки + Dot Projector + ToF-датчик

Вопросы охраны и неверные тревоги

Несмотря на поразительный успехи технологий за недавние годы, идеальных механизмов пока не существует:

1. Возможность обмана: Бюджетные смартфоны легко доступны высококачественной снимком хозяина или же роликом с экрана другого устройства.
2. Идентичные двойняшки: Даже самые безупречные системы могут ошибиться между монозиготными близнецами либо родичами с очень аналогичной внешностью.
3. Изменения внешнего вида: Резкое снижение веса/увеличение массы тела, косметические процедуры либо повреждения иногда необходимы для перерегистрации биометрии.
4. Условия фотографирования: Сильная засветка солнечным светом или плотная темнота могут снизить точность определения признаков.

Ниже несколько рекомендаций по защищённому эксплуатации:

• Для важных операций всегда используйте двухфакторную аутентификацию;
• Не включайте функцию “Разблокировка по лицу” на недорогих устройствах без ИК-сенсоров;
• Регулярно апгрейдите программное обеспечение мобильного устройства для обеспечения безопасности от современных угроз;
• Включайте опцию “Требовать открытых глаз” везде, где она доступна.

В каких местах дополнительно применяется технология кроме мобильных телефонов?

Пускай предмет данной работы сосредоточена на в частности смартфонам и планшетам, необходимо сказать о других сферах применения технологии:

• Мониторинг доступа в офисах и многоквартирных зданиях;
• Платёжные устройства финансовых учреждений (“Face Pay”);
• Цифровые паспорта современного поколения;
• Системы видеонаблюдения городских подразделений;
• Механизация учёта посещаемости школ/университетов;
• Вход пользователей ПК/ноутбуков.

Например: В столичном метро уже испытывается система оплаты проезда по фейсу (“Face Pay”) — нужно лишь пройти через барьер без пластика или мобильника! Аналогичные инициативы развиваются в Китае (Шэньчжэнь), Республике Корея и ряде стран Европы.

Каким образом меняется технология сегодня?

Всякий годик появляются свежие мысли для усовершенствования стандарта деятельности систем распознавания лиц:

1. Увеличивается детализация датчиков — чем больше информации фиксируется фотоаппаратом/глубинными сенсорами, тем меньше шанс погрешности;
2. Развиваются искусственные интеллекты — современные архитектуры модели MobileNetV3 обеспечивают возможность скоростно адаптироваться к дополнительным особенностям вида обладателя непосредственно на девайсе без отправки данных в облако.
3. Развиваются способы антиспуфинга — теперь мобильные устройства умеют отличать настоящие движущиеся лица от статичных фото/масок по мельчайшим микродвижениям.
4. Взаимодействие со интеллектуальными приборами — умные часы могут самостоятельно заблокировать мобильный телефон, если пользователь удалился на значительное расстояние.
5. Проявляются комбинированные системы — в частности объединяющие голосовую идентификацию + физиономию + дактилоскопический след.

Вот, которые тренды очень популярны на сегодняшний день:

1) Сокращение элементов

Производители стараются уменьшить величину выреза (“чёлки”) под датчики на экране за счёт встраивания маленьких ИК-проекторов прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Обработка прямо на устройстве

Для повышения конфиденциальности всё больше обработки данных выполняется на месте без пересылки информации во внешний облачный сервис.

3) Упорядочивание стандартов

Google активно продвигает эталон BiometricPrompt API, для того чтобы аналогичные платформы, вроде Вулкан Платинум, и все Android-аппы были совместимы с всеми формами биометрии единообразно.

Что подобрать сегодня?

В случае если вам нужна предельная защита данных, выбирайте флагманские аппараты со встроенным ИК-проектором или ToF-датчиком глубины.

• iPhone всех последних поколений
• Huawei Partner/P серии
• Mix Pro
• Vivo X модели
• Оппо Обнаружить Х линейки.

Если финансы невелик – лучше выбирать традиционным методам защиты (PIN-код/сканер отпечатка), а возможность “разблокировка по лицу”, такую как в Вулкан Платинум, задействовать только как опциональную возможность комфорта.

Каким способом увеличить комфорт работы опции?

Есть пара хитростей для тех, кто уже применяет функцию распознавания лица:

1. Часто обновляйте свою фотографию-шаблон, если сильно меняется внешний вид.
2. Не упускайте из виду чистить объектив фронтальной камеры – разводы могут понизить четкость!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате мобильник сам включает камеру как только вы поднимаете его.
4. При регистрационного процесса пытайтесь удерживать голову ровно впереди камеры без значительного наклона головы.
5. Применяйте возможность “Attention Aware” (“Реакция на внимание”) – она закрывает телефон, если вы отвернулись от дисплея.

Будущее эволюции технологии

В предстоящие времена можно предвкушать развития полностью бесконтактных способов опознания индивидуума сразу по нескольким биометрическим данным параметрам одновременно: лицо + речь + шаги + жесты рук!

Также возможно появление новых подходов обеспечения приватности – например, динамическое корректировка цифрового шаблона после каждой результативной авторизации, чтобы осложнить его копирование злоумышленниками.

Идентификация лиц – одна из наиболее захватывающих инноваций нашего периода! Она делает взаимодействие со смартфоном проще чем раньше, и такие аппы, как Вулкан Казино Платинум, могут значительно улучшить ваш опыт, но нуждается в осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, когда вы знаете, как устроена эта технология в деталях, – сможете более осмысленно подбирать свой следующий устройство!