Le 20 mars dernier, Yohann Missiak, biologiste médicale chez Inovie CBM, a présenté son étude sur la performance d’IA génératives locales au congrès Dataquitaine, spécialisé en data science.
📊 Des tests de cas d’urgences de biologie médicale ont été réalisés dans les domaines de cardiologie, néphrologie ainsi que des vérifications de la souveraineté de l’utilisation de l’IA Générative.
📃 Résumé de la présentation : Dans le cadre du développement de l’IA Générative au sein du Groupe Inovie et pour des applications d’aides au diagnostic médical et aide à l’interprétation, nous avons développé un Benchmark privé pour évaluer la performance des IA génératives Large Language Models Locales (LLM Locales). 5 médecins ont développé 50 questions : 25 en Cardiologie et 25 en Néphrologie avec des questions d’urgences vitales. Les réponses ont été évaluées par 2 médecins spécialistes en biologie médicale.
👉 L’IA LLM LLAMA de Meta fait 0% d’erreur grave vitale en Néphrologie. Cependant elle réalise 63% d’erreurs graves vitales en Cardiologie.
👉 QWEN d’Alibaba réalise le moins d’erreurs vitale en Cardiologie : 18.18% d’erreurs suivi de Copilot ChatGPT (36.36% d’erreurs). En vue du développement d’une IA d’aide au diagnostic pour Inovie, il devient urgent d’utiliser des LLMs locaux et d’établir des benchmarks privés pour mesurer réellement le taux d’erreurs des LLMs sur des cas de « vie réelle en biologie médicale ».
📢 Découvrez son intervention en 30′ ici : https://www.youtube.com/watch?v=Kjxl2DtAg-s