» Les lunettes intelligentes Meta peuvent tout savoir sur vous en un coup d’œil

Deux étudiants de Harvard ont récemment révélé qu’il était possible de combiner les lunettes intelligentes Meta avec la technologie de recherche d’images faciales pour « révéler les données personnelles de n’importe qui », notamment son nom, son adresse et son numéro de téléphone. téléphone, « juste en le regardant. »

Dans un document Google, AnhPhu Nguyen et Caine Ardayfio expliquent comment ils ont lié une paire de Meta Ray-Ban 2 à un moteur de recherche de visage sophistiqué appelé PimEyes pour aider à identifier les étrangers en croisant leurs informations dans diverses bases de données de recherche de personnes. Ils ont ensuite utilisé un modèle de langage étendu (LLM) pour combiner rapidement toutes ces données, permettant ainsi de diffuser des informations sur quelqu’un en un clin d’œil ou de collecter des informations pour arnaquer quelqu’un en quelques secondes – ou de les utiliser à d’autres fins néfastes comme  » un gars pourrait trouver l’adresse d’une fille qu’il voit dans le train et la suivre chez elle », a déclaré Nguyen à 404 Media.

Selon les étudiants, tout cela est possible grâce aux progrès récents dans le domaine du LLLM (Large Language Models (LLM) sont des modèles d’apprentissage automatique capables de comprendre et de générer des textes en langage humain. Ils fonctionnent en analysant des ensembles massifs de données linguistiques.

« Cette synergie entre les LLM et la recherche inversée permet une extraction de données entièrement automatique et complète, ce qui n’était auparavant pas possible avec les méthodes traditionnelles seules », indique leur document Google.

Alors qu’avant, il fallait beaucoup de temps pour rechercher dans les bases de données publiques des informations basées sur une seule image d’une personne, leurs lunettes intelligentes dystopiques font ce travail en quelques secondes, comme le montre leur vidéo de démonstration.

Les co-créateurs ont déclaré avoir modifié une paire de Meta Ray-Ban 2 pour créer I-XRAY afin de sensibiliser aux « problèmes majeurs en matière de confidentialité » en ligne, car la technologie progresse rapidement.

Ils expliquent avoir choisi les Meta Ray-Ban 2 pour leur projet car les lunettes intelligentes « sont presque impossibles à distinguer des lunettes ordinaires. Nguyen a déclaré à 404 Media que l’utilisation des lunettes intelligentes Meta était « le moyen le plus effrayant » imaginable pour un mauvais acteur de tenter de scanner des visages sans être détecté.

Pour éviter que quiconque ne soit victime du « pistage », les co-créateurs ne divulguent pas le code, a déclaré Nguyen au site de réseau social. Des inconnus utilisés comme sujets de test ont été choqués de découvrir avec quelle facilité ils pouvaient être identifiés simplement en accédant aux informations publiées en ligne à l’aide d’une puce intelligente. lunettes.

Nguyen et Ardayfio ont testé leur technologie dans une station de métro « sur des personnes réelles sans qu’elles le sachent », explique 404 Media. Les étudiants ont même fait semblant de connaître certains des sujets testés, semblant utiliser les informations glanées dans les lunettes pour faire des références pertinentes et prétendre connaître quelqu’un, pour démontrer comment cette technologie peut être utilisée pour tromper les gens.

Des dizaines de sujets de test ont été identifiés, affirment les étudiants, même si certains résultats ont été contestés, rapporte 404 Media. Pour que le scan du visage reste discret, les étudiants ont caché la lumière qui s’allume automatiquement lorsque les Meta Ray-Ban 2 enregistrent, a expliqué Ardayfio sur X.

Pour Nguyen et Ardayfio, l’objectif du projet était de convaincre les gens de se désinscrire des moteurs de recherche invasifs afin de protéger leur vie privée en ligne. Par exemple, une tentative utilisant I-XRAY pour identifier le journaliste de 404 Media, Joseph Cox, n’a pas fonctionné car il s’était désabonné de PimEyes.

Mais même si la vie privée était clairement importante pour les deux étudiants et que leur vidéo de démonstration tentait de supprimer les informations d’identification, au moins dans un cas, le sujet du test était toujours « facilement » identifié, a rapporté 404 Media. Cette personne n’a pas pu être jointe pour commenter, précise 404 Media.

Jusqu’à présent, ni Facebook ni Google n’ont choisi de publier des technologies similaires qu’ils ont développées pour relier les lunettes intelligentes aux moteurs de recherche faciale, a rapporté le New York Times.

Mais d’autres acteurs du monde de l’IA s’intéressent à cette technologie, note 404 Media, notamment Clearview AI, une société qui propose un moteur de recherche de visages pour les policiers et qui « a aussi réfléchi à une paire de lunettes intelligentes qui utiliseraient le visage ». technologie de reconnaissance faciale.  » (Ceci est inquiétant à plusieurs égards : l’objectif de Clearview est de mettre presque tous les humains dans sa base de données de reconnaissance faciale, la police a déjà utilisé l’outil sans autorisation pour effectuer des recherches personnelles, et Clearview a déjà été condamné à une amende de 33 millions de dollars pour violations de la vie privée.) .

Heureusement, pour le moment, faire face à cette menace émergente ne semble pas nécessiter beaucoup d’efforts. Dans leur Google Doc, Nguyen et Ardayfio expliquent aux gens comment supprimer leur visage des moteurs de recherche de visage inversé comme PimEyes et Facecheck ID, ainsi que des moteurs de recherche de personnes comme FastPeopleSearch, CheckThem et Instant Checkmate. Ils ont également mis à disposition un formulaire pour répondre aux questions des internautes.

Il est désormais clair que les technologies accessibles au public peuvent être utilisées pour permettre aux lunettes intelligentes de voir bien plus que ce que les grandes entreprises technologiques prévoyaient. Ars Technica a utilisé le formulaire pour demander si les gens avaient exprimé leur intérêt pour la reproduction de leurs lunettes intelligentes modifiées de manière inquiétante, mais n’a reçu aucune réponse.

Dans leurs déclarations à 404 Media, Meta et PimEyes ont semblé minimiser les risques liés à la vie privée, le premier notant que les mêmes risques existent avec les photos de personnes et le second affirmant que PimEyes n’« identifie » pas les personnes. (il renvoie simplement à leurs photos, où les utilisateurs peuvent souvent trouver des informations d’identification).

Dans l’Union européenne, où la collecte de données de reconnaissance faciale nécessite généralement le consentement direct d’un individu en vertu du règlement général sur la protection des données, les lunettes intelligentes comme I-XRAY ne constituent peut-être pas une préoccupation majeure pour les personnes qui préfèrent rester anonymes dans les espaces publics. Mais aux États-Unis, I-XRAY pourrait être la prochaine arnaque de la part de mauvaises personnes.

« Si les gens commencent à adopter cette idée, je pense que ce serait vraiment malheureux », a déclaré Ardayfio à 404 Media. « J’espère que la sensibilisation à la protection des données que nous avons diffusée compensera les effets négatifs que cela pourrait avoir. »