Selon les résultats d’une étude récente, ChatGPT bat les médecins lorsqu’il s’agit de poser un diagnostic. Le pire, c’est que le chatbot fait mieux même lorsque les praticiens utilisent l’IA.
Que nous approuvions ou non son utilisation, il est impossible de nier que l’intelligence artificielle fait progresser la médecine. Rempli de millions d’études et de données, un chatbot possède des connaissances qu’aucun être humain ne peut espérer conserver au cours de sa vie. Là où cela est le plus évident, c’est sur diagnostic des maladies. Non seulement l’IA est capable d’identifier des pathologies qui laissent les praticiens perplexes, mais elle peut aussi le faire à distance, sans examen invasif.
Les médecins eux-mêmes reconnaissentutilité d’être accompagné par une IA. Ainsi, lorsque le docteur Adam Rodman lance une étude pour rendre compte de ces bénéfices, il est presque sûr des résultats qu’il obtiendra : ses collègues, avec l’aide de ChatGPT-4, poseront de meilleurs diagnostics que ceux qui réfléchissent seuls. Non seulement ce n’était pas le cas, mais ce qu’il avait découvert le laissait vraiment sans voix.
ChatGPT AI fait de meilleurs diagnostics que les médecins selon cette étude
50 médecins d’hôpitaux américains, internes et externes, participent à la recherche. Nous leur présentons 6 dossiers à partir desquels ils doivent formuler un diagnostictout en expliquant leur raisonnement. Les cas sont réels et font partie des 105 utilisés dans diverses études depuis les années 1990.
Ils n’ont bien sûr jamais été publiés, ce qui signifie que ni les participants ni ChatGPT n’auraient pu en avoir connaissance préalable. Un seul des 6 dossiers a été divulgué à l’avance avec des exemples de bonnes et d’autres mauvaises réponses, afin de clarifier ce qui était attendu.
Lire aussi – L’IA détecte cette maladie chez les enfants dans 100 % des cas
Les 50 médecins ont été répartis au hasard en 2 groupes. Le premier utilise ChatGPT pour identifier la maladie, tandis que le second doit fonctionner sans. Les capacités du chatbot seul ont également été mesurées. Les conclusions sont surprenantes.
Le groupe témoin, sans l’aide de l’IA, obtient un note moyenne de 74%. Les praticiens utilisant des chatbots le font à peine mieux, 76%. Quant à ChatGPT, il pulvérise ces scores en atteignant une moyenne de 90%. Comment expliquer cela ?
Pourquoi ChatGPT bat-il les médecins pour poser un diagnostic ?
Après le choc initial, le docteur Rodman tente de comprendre ce qui s’est passé. Il met en avant 2 points principaux. Tout d’abord, les médecins ne font pas confiance à l’IA si elle suggère quelque chose qui les contredit. Au contraire, voir ChatGPT formuler différentes hypothèses renforce les leurs. Souvent à tort comme on peut le voir ici.
Lire aussi – Pour détecter une maladie mortelle, cette IA de Google dispose d’une méthode originale
Un constat qui fait sens pour Laura Zwaan, qui étudie le raisonnement clinique et les erreurs diagnostiques : «Les gens sont généralement trop confiants lorsqu’ils pensent avoir raison« . Concernant l’autre facteur expliquant les résultats de l’étude, il est beaucoup plus terre à terre : de nombreux médecins ne savent pas comment utiliser ChatGPT au mieux de ses possibilités.
Le Dr Jonathan H. Chen, l’un des auteurs, note que la majorité utilise l’IA comme moteur de rechercheposer des questions comme « La cirrhose est-elle un facteur de risque de cancer ?« . À la fin, « Seule une fraction des médecins ont réalisé qu’ils pouvaient littéralement copier et coller l’intégralité du fichier dans le chatbot et lui demander simplement de donner une réponse complète à l’ensemble de la question.« .
Le problème posé est donc double. En plus de former les praticiens à l’utilisation de l’intelligence artificielle dans leur travailil faudra réussir à leur faire accepter que ces derniers peuvent parfois trouver une réponse qui leur échappe, malgré leurs années d’expérience.
Source : Le New York Times