nous avons vu en action le ChatGPT qui vous aide à terminer vos jeux et bien plus encore

Nous nous sommes rendus au siège européen de Nvidia à Munich pour tester les dernières innovations de Nvidia en matière d’IA. C’est son projet G-Assist qui a retenu notre attention, un assistant au potentiel incroyable pour les joueurs, mais pas seulement.

Pour son poisson d’avril 2017, Nvidia a présenté le projet fictif « G-Assist », une clé USB en forme de carte graphique GeForce GTX qui « exploite l’intelligence artificielle de pointe de NVIDIA pour vous apporter la prochaine révolution du jeu  » Une technologie qui joue pour vous, en somme.

Huit ans plus tard, Nvidia est devenue l’une des entreprises les plus valorisées au monde, le leader incontesté de l’IA pour les entreprises, mais aussi pour les gamers depuis l’arrivée du DLSS en 2022. Si le rêve de G-Assist n’est pas (encore) une réalité, le projet a refait parler de lui au Computex 2024 dans le cadre d’une démo technologique prometteuse : un véritable assistant IA pour vous aider dans vos jeux et applications.

Dans le cadre d’un déplacement à Berlin au siège européen de Nvidia, nous avons pu revivre une nouvelle fois cette « preuve de concept » qui suscite encore tant de questions.

Un tutoriel universel pour vos jeux

Si ce « G-Assist Project » nous est présenté comme une simple démonstration technologique, son fonctionnement est bien réel et repose en partie sur l’architecture des cartes graphiques GeForce RTX. Le logiciel prend ainsi en compte les requêtes du joueur, qu’elles soient envoyées par texte ou par la voix, pour l’envoyer dans ce cas vers un serveur distant aux États-Unis. Le modèle prend ainsi en compte la requête du joueur et le contexte de jeu, à savoir la fenêtre de jeu actuellement affichée.

Donc dans le jeu ARK : Survie Ascendante qui s’est associé à Nvidia pour cette démonstration, le joueur peut alors demander de l’aide pour se lancer dans le jeu, notamment pour savoir comment apprivoiser un dinosaure et quelle arme utiliser. L’assistant détecte alors les objets présents dans l’inventaire rapide, mais aussi les types de dinosaures présents à l’écran pour guider le joueur vers la marche à suivre.

De la même manière, en affichant leur fiche de personnage complète et le reste de leur inventaire, on pourrait alors demander quel indicateur de personnage monter de niveau en premier. G-Assist nous a alors indiqué de monter de niveau la santé et l’endurance en premier, un conseil qui est également valable pour de nombreux RPG dans les premières heures de jeu. On peut facilement imaginer le même scénario dans un jeu comme Anneau d’Eldendans lequel G-Assist pourrait conseiller de monter de niveau dans les catégories Force ou Dextérité en fonction des armes préférées du joueur.

Si les réponses restent uniquement vocales et textuelles, Nvidia nous a présenté un panel de possibilités assez large : il sera possible, en collaboration avec les développeurs, d’afficher des indications visuelles, des images du jeu ou des schémas pour enrichir l’aide apportée par G-Assist. Il serait même possible de montrer des séquences de jeu entières selon la demande, en s’appuyant notamment sur le chapitrage des vidéos YouTube utilisées pour entraîner le LLM.

C’est ce travail avec les développeurs et les éditeurs qui sera déterminant dans la réalisation du projet, car ils seront le lien entre G-Assist et la communauté. La plupart des wikis et bases de connaissances sur lesquels s’appuiera l’assistant sont en grande majorité le travail des joueurs eux-mêmes, ce sont donc leurs solutions qui serviront de base à l’entraînement du modèle d’IA derrière G-Assist. Ces mêmes contenus sont également cités comme sources de réponses plus complexes pour les joueurs voulant aller plus loin.

Détection des problèmes de performances

Mais ce n’est pas le seul cas d’usage de G-Assist, qui peut vous donner des conseils pour optimiser les performances de vos jeux en fonction de vos paramètres graphiques ainsi que de votre configuration. Ici, l’outil agit comme une intégration profonde de GeForce Experience, et plus récemment de Nvidia App, en s’appuyant sur les profils Game Ready intégrés au pilote Nvidia à chaque mise à jour.

Mais l’intégration va encore plus loin, en vous montrant une analyse approfondie de votre historique de performances et de consommation d’énergie tout en vous proposant des mesures d’optimisation. Si vous aviez l’habitude d’utiliser un outil comme Rivatuner pour tirer vos propres conclusions, G-Assist veut faire le travail pour vous ici.

G-Assist agit comme un assistant connecté à Nvidia App ou Geforce Experience, définissant le profil graphique que vous souhaitez en fonction de vos demandes. Plus besoin d’aller dans le panneau de configuration, les paramètres Nvidia, mais aussi les paramètres de jeu sont modifiés en temps réel. Il peut même vous proposer des réglages d’overclocking ou encore d’undervolting pour mieux gérer la consommation de votre matériel.

On regrettera cependant que l’outil ne permette pas de vérifier certains paramètres de Windows, comme les différents programmes lancés en arrière-plan ou le mode d’alimentation. Cependant, les représentants de Nvidia sur place nous ont laissé entendre qu’il serait peut-être possible de connecter des LLM tiers à G-Assist, on peut donc imaginer une compatibilité avec l’assistant Windows Copilot dans une version fantaisiste de l’assistant.

Un assistant pour vos jeux… et vos applications ?

Rappelons que sous cette forme, G-Assist n’est qu’un embryon d’une solution encore en cours de conception chez Nvidia. Ses fonctionnalités ne sont pas encore fixées, la firme comptant sur la coopération des développeurs pour permettre à son logiciel d’atteindre son plein potentiel.

Vous vous souvenez de Clippy dans Microsoft Office ? G-Assist pourrait bien être son digne successeur, et ce, sur n’importe quelle application. Imaginez-vous sur Photoshop ou Blender avec un assistant vous aidant pas à pas à apprendre les bases de la création 3D ou de la retouche photo.

Actuellement, vous pouvez demander de l’aide à ChatGPT, Copilot ou Gemini pour maîtriser votre logiciel, les différents modèles cherchant leurs réponses dans les manuels et wikis officiels. L’intégration de G-Assist serait un vrai plus dans leur apprentissage ou simplement l’aide ponctuelle apportée à leurs utilisateurs.

Là encore, Nvidia ne ferme aucune porte sur les possibilités offertes par G-Assist. Son fonctionnement hybride entre cloud et local l’ouvre à une multitude de cas d’usage. Encore faut-il, une fois encore, compter sur l’implication des développeurs. En attendant, l’arme secrète de Nvidia reste une idée qui nécessitera encore un peu de travail avant de devenir réalité.