Qu'est-ce que la reconnaissance faciale? AI pour Big Brother

Big Brother peut-il identifier votre visage grâce à la surveillance CCTV au niveau de la rue et dire si vous êtes heureux, triste ou en colère? Cette identification peut-elle conduire à votre arrestation avec un mandat en suspens? Quelles sont les chances que l'identification soit incorrecte et se connecte vraiment à quelqu'un d'autre? Pouvez-vous vaincre la surveillance entièrement en utilisant une astuce?

D'un autre côté, pouvez-vous entrer dans un coffre-fort protégé par une caméra et un logiciel d'identification faciale en tenant une empreinte du visage d'une personne autorisée? Et si vous portiez un masque 3D du visage d'une personne autorisée?

Bienvenue dans la reconnaissance faciale - et l'usurpation de la reconnaissance faciale.

Qu'est-ce que la reconnaissance faciale?

La reconnaissance faciale est une méthode permettant d'identifier une personne inconnue ou d'authentifier l'identité d'une personne spécifique à partir de son visage. C'est une branche de la vision par ordinateur, mais la reconnaissance faciale est spécialisée et s'accompagne d'un bagage social pour certaines applications, ainsi que de certaines vulnérabilités à l'usurpation d'identité.

Comment fonctionne la reconnaissance faciale?

Les premiers algorithmes de reconnaissance faciale (qui sont encore utilisés aujourd'hui sous une forme améliorée et plus automatisée) reposent sur la biométrie (comme la distance entre les yeux) pour transformer les traits du visage mesurés d'une image bidimensionnelle en un ensemble de nombres (une caractéristique vecteur ou modèle) qui décrit le visage. Le processus de reconnaissance compare ensuite ces vecteurs à une base de données de visages connus qui ont été mappés à des caractéristiques de la même manière. Une complication dans ce processus est d'ajuster les faces à une vue normalisée pour tenir compte de la rotation et de l'inclinaison de la tête avant d'extraire les métriques. Cette classe d'algorithmes est appelée géométrique .

Une autre approche de la reconnaissance faciale consiste à normaliser et compresser des images faciales en 2D et à les comparer avec une base de données d'images normalisées et compressées de manière similaire. Cette classe d'algorithmes est appelée photométrique .

La reconnaissance faciale tridimensionnelle utilise des capteurs 3D pour capturer l'image du visage ou reconstruit l'image 3D à partir de trois caméras de suivi 2D pointées à différents angles. La reconnaissance faciale 3-D peut être considérablement plus précise que la reconnaissance 2-D.

L'analyse de la texture de la peau mappe les lignes, les motifs et les taches sur le visage d'une personne à un autre vecteur de caractéristiques. L'ajout d'une analyse de la texture de la peau à la reconnaissance faciale 2D ou 3D peut améliorer la précision de la reconnaissance de 20 à 25%, en particulier dans les cas de sosies et de jumeaux. Vous pouvez également combiner toutes les méthodes et ajouter des images multispectrales (lumière visible et infrarouge), pour encore plus de précision.

La reconnaissance faciale s'est améliorée d'année en année depuis le début du domaine en 1964. En moyenne, le taux d'erreur a diminué de moitié tous les deux ans.

Vidéo connexe: Comment fonctionne la reconnaissance faciale

Tests des fournisseurs de reconnaissance faciale

Le NIST, l'institut national américain des normes et de la technologie, effectue des tests d'algorithmes de reconnaissance faciale, le test du fournisseur de reconnaissance faciale (FRVT), depuis 2000. Les ensembles de données d'image utilisés sont principalement des clichés de police, mais comprennent également des des images fixes sauvages, telles que celles trouvées dans Wikimedia, et des images basse résolution provenant de webcams.

Les algorithmes FRVT sont principalement soumis par des fournisseurs commerciaux. Les comparaisons d'une année à l'autre montrent des gains importants de performance et d'exactitude; selon les fournisseurs, cela est principalement dû à l'utilisation de réseaux neuronaux à convolution profonde.

Les programmes de test de reconnaissance faciale du NIST ont étudié les effets démographiques, la détection du morphing du visage, l'identification des visages publiés sur les médias sociaux et l'identification des visages dans la vidéo. Une précédente série de tests a été menée dans les années 1990 sous un autre nom, la technologie de reconnaissance faciale (FERET).

NIST

Applications de reconnaissance faciale

Les applications de reconnaissance faciale se divisent principalement en trois grandes catégories: la sécurité, la santé et le marketing / vente au détail. La sécurité comprend l'application de la loi, et cette classe d'utilisations de la reconnaissance faciale peut être aussi bénigne que de faire correspondre des personnes à leurs photos de passeport plus rapidement et plus précisément que les humains, et aussi effrayante que le scénario de «Personne d'intérêt» où les personnes sont suivies via CCTV et comparées aux bases de données de photos rassemblées. La sécurité non policière comprend des applications courantes telles que le déverrouillage du visage pour les téléphones mobiles et le contrôle d'accès pour les laboratoires et les coffres-forts.

Les applications de santé de la reconnaissance faciale comprennent l'enregistrement des patients, la détection des émotions en temps réel, le suivi des patients dans un établissement, l'évaluation des niveaux de douleur chez les patients non verbaux, la détection de certaines maladies et affections, l'identification du personnel et la sécurité de l'établissement. Les applications de marketing et de vente au détail de la reconnaissance faciale comprennent l'identification des membres du programme de fidélité, l'identification et le suivi des voleurs à l'étalage connus, et la reconnaissance des personnes et de leurs émotions pour des suggestions de produits ciblés.

Controverses, préjugés et interdictions de reconnaissance faciale

Dire que certaines de ces applications sont controversées serait un euphémisme. Comme l'indique un article du New York Times de 2019, la reconnaissance faciale a fait l'objet de controverses, de son utilisation pour la surveillance des stades aux logiciels racistes.

Surveillance du stade? La reconnaissance faciale a été utilisée lors du Super Bowl de 2001: le logiciel a identifié 19 personnes considérées comme faisant l'objet de mandats en suspens, mais aucune n'a été arrêtée (pas faute d'essayer).

Logiciel raciste? Il y a eu plusieurs problèmes, à commencer par le logiciel de suivi des visages de 2009 qui pouvait suivre les Blancs mais pas les Noirs, et en continuant avec l'étude du MIT de 2015 qui a montré que le logiciel de reconnaissance faciale de l'époque fonctionnait beaucoup mieux sur les visages masculins blancs que sur les femmes et / ou Visages noirs.

Ces types de problèmes ont conduit à l'interdiction pure et simple des logiciels de reconnaissance faciale dans des endroits spécifiques ou pour des utilisations spécifiques. En 2019, San Francisco est devenue la première grande ville américaine à empêcher la police et les autres forces de l'ordre d'utiliser un logiciel de reconnaissance faciale; Microsoft a appelé à une réglementation fédérale sur la reconnaissance faciale; et le MIT a montré qu'Amazon Rekognition avait plus de mal à déterminer le sexe féminin que le sexe masculin à partir des images de visage, ainsi que plus de problèmes avec le sexe féminin noir que le sexe féminin blanc.

En juin 2020, Microsoft a annoncé qu'il ne vendrait pas et n'avait pas vendu son logiciel de reconnaissance faciale à la police; Amazon a interdit à la police d'utiliser Rekognition pendant un an; et IBM a abandonné sa technologie de reconnaissance faciale. Cependant, interdire complètement la reconnaissance faciale ne sera pas facile, étant donné sa large adoption dans les iPhones (Face ID) et d'autres appareils, logiciels et technologies.

Tous les logiciels de reconnaissance faciale ne souffrent pas des mêmes préjugés. L'étude sur les effets démographiques du NIST de 2019 a suivi les travaux du MIT et a montré que le biais démographique algorithmique varie considérablement parmi les développeurs de logiciels de reconnaissance faciale. Oui, il y a des effets démographiques sur le taux de faux appariement et le faux taux de non-concordance des algorithmes d'identification faciale, mais ils peuvent varier de plusieurs ordres de grandeur d'un fournisseur à l'autre, et ils ont diminué au fil du temps.

Hacking reconnaissance faciale et techniques anti-spoofing

Compte tenu de la menace potentielle pour la confidentialité de la reconnaissance faciale et de l'attrait d'avoir accès à des ressources de grande valeur protégées par l'authentification faciale, de nombreux efforts ont été déployés pour pirater ou usurper la technologie. Vous pouvez présenter une image imprimée d'un visage au lieu d'un visage en direct, ou une image sur un écran, ou un masque imprimé en 3-D, pour réussir l'authentification. Pour la surveillance CCTV, vous pouvez lire une vidéo. Pour éviter la surveillance, vous pouvez essayer les tissus et le maquillage «CV Dazzle» et / ou les émetteurs de lumière infrarouge, pour tromper le logiciel en lui faisant ne pas détecter votre visage.

Bien sûr, il y a des efforts pour développer des techniques anti-spoofing pour toutes ces attaques. Pour détecter les images imprimées, les fournisseurs utilisent un test de vivacité, comme attendre que le sujet clignote, ou effectuer une analyse de mouvement, ou utiliser l'infrarouge pour distinguer un visage en direct d'une image imprimée. Une autre approche consiste à effectuer une analyse de micro-texture, car la peau humaine est optiquement différente des impressions et des matériaux de masque. Les dernières techniques anti-spoofing sont principalement basées sur des réseaux de neurones convolutionnels profonds.

C'est un domaine en évolution. Il y a une guerre des armes entre les attaquants et les logiciels anti-spoofing, ainsi que des recherches universitaires sur l'efficacité des différentes techniques d'attaque et de défense.

Fournisseurs de reconnaissance faciale

Selon l'Electronic Frontier Foundation, MorphoTrust, une filiale d'Idemia (anciennement OT-Morpho ou Safran), est l'un des plus grands fournisseurs de reconnaissance faciale et d'autres technologies d'identification biométrique aux États-Unis. Il a conçu des systèmes pour les DMV des États, les agences d'application de la loi fédérales et étatiques, le contrôle des frontières et les aéroports (y compris TSA PreCheck) et le département d'État. Les autres fournisseurs courants incluent 3M, Cognitec, DataWorks Plus, Dynamic Imaging Systems, FaceFirst et NEC Global.

Le test du fournisseur de reconnaissance faciale du NIST répertorie les algorithmes de nombreux autres fournisseurs du monde entier. Il existe également plusieurs algorithmes de reconnaissance faciale open source, de qualité variable, et quelques grands services cloud qui offrent la reconnaissance faciale.

Amazon Rekognition est un service d'analyse d'images et de vidéos qui peut identifier des objets, des personnes, du texte, des scènes et des activités, y compris l'analyse faciale et les étiquettes personnalisées. L'API Google Cloud Vision est un service d'analyse d'images pré-formé qui peut détecter des objets et des visages, lire du texte imprimé et manuscrit et créer des métadonnées dans votre catalogue d'images. Google AutoML Vision vous permet de former des modèles d'image personnalisés.

L'API Azure Face effectue une détection de visage qui perçoit les visages et les attributs dans une image, effectue une identification de personne qui correspond à une personne dans votre référentiel privé de jusqu'à 1 million de personnes et effectue la reconnaissance des émotions perçues. L'API Face peut s'exécuter dans le cloud ou en périphérie dans des conteneurs.

Ensembles de données de visage pour la formation à la reconnaissance

Il existe des dizaines d'ensembles de données de visage disponibles au téléchargement qui peuvent être utilisés pour la formation à la reconnaissance. Tous les jeux de données de visage ne sont pas égaux: ils ont tendance à varier en termes de taille d'image, de nombre de personnes représentées, de nombre d'images par personne, de conditions d'images et d'éclairage. Les forces de l'ordre ont également accès à des ensembles de données sur les visages non publics, tels que les photos actuelles et les images de permis de conduire.

Certaines des plus grandes bases de données de visages sont des visages étiquetés dans la nature, avec environ 13 000 personnes uniques; FERET, utilisé pour les premiers tests NIST; la base de données Mugshot utilisée dans le NIST FRVT en cours; la base de données des caméras de surveillance SCFace, également disponible avec des repères faciaux; et des visages Wikipédia étiquetés, avec ~ 1,5K identités uniques. Plusieurs de ces bases de données contiennent plusieurs images par identité. Cette liste du chercheur Ethan Meyers offre des conseils convaincants sur la sélection d'un ensemble de données de visage dans un but spécifique.

En résumé, la reconnaissance faciale s'améliore et les fournisseurs apprennent à détecter la plupart des usurpations d'identité, mais certaines applications de la technologie sont controversées. Le taux d'erreur pour la reconnaissance faciale diminue de moitié tous les deux ans, selon le NIST. Les vendeurs ont amélioré leurs techniques anti-spoofing en incorporant des réseaux neuronaux convolutifs.

Parallèlement, il existe des initiatives visant à interdire l'utilisation de la reconnaissance faciale dans la surveillance, en particulier par la police. L'interdiction totale de la reconnaissance faciale serait cependant difficile, étant donné sa généralisation.

En savoir plus sur l'apprentissage automatique et l'apprentissage profond:

  • Deep Learning vs Machine Learning: comprendre les différences
  • Qu'est-ce que l'apprentissage automatique? Intelligence dérivée des données
  • Qu'est-ce que le Deep Learning? Algorithmes qui imitent le cerveau humain
  • Explication des algorithmes d'apprentissage automatique
  • Le machine learning automatisé ou AutoML expliqué
  • L'apprentissage supervisé expliqué
  • Apprentissage semi-supervisé expliqué
  • L'apprentissage non supervisé expliqué
  • L'apprentissage par renforcement expliqué
  • Qu'est-ce que la vision par ordinateur? AI pour les images et la vidéo
  • Qu'est-ce que la reconnaissance faciale? AI pour Big Brother
  • Qu'est-ce que le traitement du langage naturel? AI pour la parole et le texte
  • Kaggle: là où les data scientists apprennent et s'affrontent
  • Qu'est-ce que CUDA? Traitement parallèle pour les GPU