Los algoritmos de detección de IA para diagnosticar la retinopatía diabética no muestran un rendimiento constante



La diabetes sigue siendo la causa principal de nuevos casos de ceguera entre adultos en los Estados Unidos. Pero la escasez actual de proveedores de atención oftalmológica haría imposible mantenerse al día con la demanda para proporcionar los exámenes anuales necesarios para esta población. Un nuevo estudio analiza la efectividad de siete algoritmos de detección basados ​​en inteligencia artificial para diagnosticar la retinopatía diabética, la enfermedad ocular diabética más común que conduce a la pérdida de la visión.

En un artículo publicado el 5 de enero en Cuidado de la diabetes, los investigadores compararon los algoritmos con la experiencia diagnóstica de los especialistas en retina. Cinco empresas produjeron los algoritmos probados: dos en los Estados Unidos (Eyenuk, Retina-AI Health), una en China (Airdoc), una en Portugal (Retmarker) y una en Francia (OphtAI).

Los investigadores implementaron tecnologías basadas en algoritmos en imágenes de la retina de casi 24,000 veteranos que se sometieron a pruebas de detección de retinopatía diabética en el Sistema de atención médica de Puget Sound de Asuntos de Veteranos y en el Sistema de atención médica de VA de Atlanta de 2006 a 2018.

Los investigadores encontraron que los algoritmos no funcionan tan bien como afirman. Muchas de estas empresas están reportando excelentes resultados en estudios clínicos. Pero se desconocía su desempeño en un entorno del mundo real. Los investigadores realizaron una prueba en la que se comparó el rendimiento de cada algoritmo y el rendimiento de los evaluadores humanos que trabajan en el sistema de detección de teleretinal VA con los diagnósticos que dieron los oftalmólogos expertos al mirar las mismas imágenes. Tres de los algoritmos funcionaron razonablemente bien en comparación con los diagnósticos de los médicos y uno lo hizo peor. Pero solo un algoritmo funcionó tan bien como los evaluadores humanos en la prueba.

Es alarmante que algunos de estos algoritmos no estén funcionando de manera consistente ya que se están utilizando en algún lugar del mundo “.

Aaron Lee, investigador principal, profesor asistente de oftalmología, Facultad de medicina de la Universidad de Washington

Las diferencias en el equipo y la técnica de la cámara podrían ser una explicación. Los investigadores dijeron que su ensayo muestra lo importante que es para cualquier práctica que quiera usar un evaluador de IA para probarlo primero y seguir las pautas sobre cómo obtener imágenes de los ojos de los pacientes correctamente, porque los algoritmos están diseñados para funcionar con una calidad mínima. de imágenes.

El estudio también encontró que el rendimiento de los algoritmos variaba al analizar imágenes de poblaciones de pacientes en entornos de atención de Seattle y Atlanta. Este fue un resultado sorprendente y puede indicar que los algoritmos deben entrenarse con una variedad más amplia de imágenes.

Fuente:

Referencia de la revista:

Lee, AY, et al. (2021) Estudio de validación multicéntrico, cara a cara, en el mundo real de siete sistemas automatizados de detección de retinopatía diabética con inteligencia artificial. Cuidado de la diabetes. doi.org/10.2337/dc20-1877.

.



Source link