Científicos presionan a los investigadores de inteligencia artificial para lograr transparencia | Ciencias


Un grupo internacional de científicos exige que las revistas científicas exijan más transparencia a los investigadores en áreas relacionadas con la informática a la hora de aceptar sus informes para su publicación.

También quieren que los investigadores computacionales incluyan información sobre su código, modelos y entornos computacionales en los informes publicados.

Su convocatoria, publicada en Nature Magazine en octubre, fue en respuesta a los resultados de una investigación realizada por Google Health que se publicó en Nature el pasado enero.

La investigación afirmó que un sistema de inteligencia artificial era más rápido y más preciso en la detección del cáncer de mama que los radiólogos humanos.

Google financió el estudio, que fue dirigido por el académico de Google Scott McKinney y otros empleados de Google.

Críticas al estudio de Google

“En su estudio, McKinney et al. Mostraron el alto potencial de la inteligencia artificial para la detección del cáncer de mama”, afirmó el grupo internacional de científicos, dirigido por Benjamin Haibe-Kains, de la Universidad de Toronto.

“Sin embargo, la falta de métodos detallados y código de computadora socava su valor científico. Esta deficiencia limita la evidencia requerida para que otros validen prospectivamente e implementen clínicamente tales tecnologías”.

El progreso científico depende de la capacidad de los investigadores independientes para analizar los resultados de un estudio de investigación, reproducir sus principales resultados utilizando sus materiales y aprovecharlos en estudios futuros, dijeron los científicos, citando la revista Nature Magazine. politicas.

McKinney y sus coautores declararon que no era factible publicar el código utilizado para entrenar los modelos porque tiene una gran cantidad de dependencias en herramientas internas, infraestructura y hardware, señaló el grupo de Haibe-Kains.

Sin embargo, hay muchos marcos y plataformas disponibles para hacer que la investigación de la IA sea más transparente y reproducible, dijo el grupo. Éstas incluyen Bitbucket y Github ; administradores de paquetes que incluyen Conda; y sistemas de contenedores y virtualización como Código Ocean y Gigantum.

Al muestra una gran promesa para su uso en el campo de la medicina, pero “Desafortunadamente, la literatura biomédica está plagada de estudios que no pasaron la prueba de reproducibilidad, y muchos de estos pueden estar vinculados a metodologías y prácticas experimentales que no pudieron ser investigadas debido a falta de divulgación completa de software y datos “, dijo el grupo de Haibe-Kains.

Google no respondió a nuestra solicitud de proporcionar comentarios para esta historia.

¿Patentes pendientes?

Puede haber buenas razones comerciales para que las empresas no revelen todos los detalles sobre sus estudios de investigación de IA.

“Esta investigación también se considera confidencial en el desarrollo de tecnología”, dijo Jim McGregor, analista principal de Investigación Tirias, dijo a TechNewsWorld. “¿Deberían las empresas de tecnología verse obligadas a regalar tecnología en la que han gastado miles de millones de dólares en desarrollar?”

Lo que los investigadores están haciendo con la IA “es fenomenal y está dando lugar a avances tecnológicos, algunos de los cuales estarán cubiertos por la protección de patentes”, dijo McGregor. “Por lo tanto, no toda la información estará disponible para la prueba, pero el hecho de que no pueda probarla no significa que no sea correcta o verdadera”.

El grupo de Haibe-Kains recomendó que, si los datos no se pueden compartir con toda la comunidad científica debido a licencias u otros problemas insuperables, “como mínimo se debe establecer un mecanismo para que algunos investigadores independientes altamente capacitados puedan acceder a los datos y verificar los análisis “.

Impulsado por el bombo

La verificabilidad y la reproducibilidad plagan los resultados de los estudios de investigación de IA en general. Solo el 15 por ciento de los trabajos de investigación de IA publican su código, según el Informe sobre el estado de la IA 2020, producido por los inversores en IA Nathan Benaich e Ian Hogarth.

En particular, destacan la subsidiaria y el laboratorio de inteligencia artificial de Google Mente profunda y empresa de investigación y desarrollo de IA OpenAI como culpables.

“Muchos de los problemas en la investigación científica son impulsados ​​por la creciente publicidad al respecto, [which] es necesario para generar financiación “, Dr. Jeffrey Funk, un consultor de economía y negocios de tecnología con sede en Singapur, dijo a TechNewsWorld.

“Esta exageración y sus afirmaciones exageradas alimentan la necesidad de resultados que coincidan con esas afirmaciones y, por lo tanto, una tolerancia para la investigación que no es reproducible”.

Los científicos y las agencias de financiación tendrán que “volver a marcar las expectativas” para lograr una mayor reproducibilidad, observó Funk. Sin embargo, eso “puede reducir la cantidad de fondos para la IA y otras tecnologías, financiación que se ha disparado porque los legisladores están convencidos de que la IA generará $ 15 billones en ganancias económicas para 2030”.


Richard Adhikari ha sido reportero de ECT News Network desde 2008. Sus áreas de enfoque incluyen ciberseguridad, tecnologías móviles, CRM, bases de datos, desarrollo de software, mainframe y computación de rango medio y desarrollo de aplicaciones. Ha escrito y editado para numerosas publicaciones, incluyendo Semana de la información y Mundo de la informática. Es autor de dos libros sobre tecnología cliente / servidor.
Envíe un correo electrónico a Richard.

.



Source link