Les performances de ChatGPT et autres outils d’intelligence artificielle (IA) générative en pharmacovigilance appellent encore à la prudence, selon des travaux présentés en pharmacovigilance lors du congrès Hopipharm, organisé par le Syndicat national des pharmaciens des établissements publics de santé (Synprefh).
Les publications se multiplient sur les LMM (large language models) en pharmacovigilance, a noté Romain Barus du centre régional de pharmacovigilance (CRPV) au CHU de Toulouse lors d’une session sur l’utilisation de l’IA en pratique pharmaceutique.
Les travaux ont été poursuivis sur les performances des LLM pour détecter des interactions médicamenteuses à l’origine de la survenue d’un effet indésirable, dans une étude publiée mi-mai par la revue Therapeutics Advances in Drug Safety.
A partir des cas enregistrés en 2022 dans la base nationale de données de pharmacovigilance, l’équipe toulousaine a testé les performances de ChatGPT et de deux autres outils : Claude (Anthropic) et Gemini (Google) sur 104 cas analysés entre juillet et septembre 2024 (82 cas d’effets indésirables avec interaction et 22 cas témoins sans interaction).
Les trois IA détectent bien les interactions médicamenteuses (de 95% pour Gemini à 99% pour ChatGPT) mais, pour donner le médicament à l’origine de l’interaction, le pourcentage de réponses correctes diminue (54% pour Gemini, « à peine plus que le hasard », 80% pour Claude et 77% pour ChatGPT), a présenté Romain Barus. Mêmes résultats pour le type d’interaction et le mécanisme.
Ces outils se sont avérés sensibles mais peu spécifiques (36% pour Gemini, 64% pour Claude et 68% pour ChatGPT).
Romain Barus a mis en garde contre les hallucinations et l’importance de pouvoir avoir le recul nécessaire pour analyser les résultats produits.
« Pour nous, les LLM ne sont actuellement pas des bons outils à utiliser au quotidien pour les questions de pharmacologie en tant qu’assistant de pharmacovigilance », a-t-il conclu.
