Les lunettes intelligentes de Facebook transformées en une folle machine de reconnaissance faciale

Il fallait probablement s’y attendre. Un an après leur sortie, les lunettes connectées de Facebook ont ​​été détournées pour servir de véritable machine à piller les données personnelles. Comme expliqué 404 Médiasdeux étudiants de Harvard ont montré comment des lunettes pouvaient être combinées avec un logiciel de reconnaissance faciale pour extraire les informations privées de toutes les personnes que vous croisez dans la rue.

Le projet baptisé « I-XRAY » se décompose en 4 parties utilisant chacune des outils librement accessibles au grand public. Le flux vidéo des lunettes est d’abord enregistré et envoyé à un téléphone. Ce dernier analyse ensuite la bande pour retrouver les visages des passants. Cette image est ensuite injectée dans Pimeyes, un logiciel de reconnaissance faciale. Une fois le visage reconnu, le téléphone se déplace pour trouver autant d’informations personnelles que possible sur la personne et affiche un joli résumé généré par l’IA en quelques minutes seulement.

Une démonstration effrayante

La vidéo publiée sur X par AnhPhu Nguyen, l’un des deux chercheurs à l’origine de l’invention, est aussi frappante qu’inquiétante. Avec une stupide paire de lunettes sur le nez et un téléphone dans la poche, AnhPhu Nguyen récupère le nom, le prénom, l’âge, l’activité professionnelle et parfois même l’adresse et le numéro de téléphone des personnes qu’il croise dans le métro ou dans la rue. Le document détaillant le fonctionnement du système évoque même la possibilité d’obtenir les numéros de sécurité sociale des victimes en exploitant les fuites de données disponibles sur le web.

 » Cette synergie entre de grands modèles de langage et la recherche inversée de visages permet une extraction de données entièrement automatique, ce qui n’était pas possible auparavant. » résume le document de recherche. « Un mec pourrait juste trouver l’adresse d’une fille dans le train et la suivre jusqu’à chez elle», s’inquiète également AnhPhu Nguyen auprès de 404 Media.

Refusant de publier le code derrière le fonctionnement du système, les deux étudiants indiquent surtout vouloir «sensibiliser au fait qu’il est possible de trouver l’adresse et d’autres informations personnelles d’une personne simplement en la croisant dans la rue« . Techniquement, la même manipulation est possible en prenant une photo avec un téléphone, mais les lunettes rendent l’opération encore plus discrète et vicieuse.

Un problème d’acceptabilité sociale ?

Si la démonstration technique est à la fois impressionnante et terrifiante, ce n’est pas la première fois qu’une telle technologie fait la une des journaux. Dans un article daté du 9 septembre 2023, leNew York Timesavait déjà détaillé comment Google et Facebook avaient développé une technologie similaire en 2017, avant de la mettre sous le tapis au vu des risques qu’elle présentait. « A ma connaissance, c’est la seule technologie développée par Google que nous avons décidé d’enterrer après l’avoir étudiée de près.», a expliqué Eric Schmidt, ancien PDG de l’entreprise.

Même si les détails techniques de cette technologie ne sont pas publics, il y a fort à parier qu’une personne ayant un peu d’expérience en programmation serait capable de reproduire son fonctionnement sans trop de problème. Se pose alors la question bien plus complexe de l’acceptabilité sociale de ces lunettes connectées.