Las agencias ven con cautela el uso actual de IA en evaluación de tecnologías sanitarias

La inteligencia artificial empieza a abrirse paso en la evaluación de tecnologías sanitarias, pero las agencias siguen lejos de considerarla una herramienta apta para sustituir el juicio experto en las fases más sensibles del proceso. Estas entidades analizan con cautela su posible impacto sobre el análisis de la evidencia y su uso en las diferentes etapas de la evaluación.

Esta cuestión centró la temática de un webinar organizado por la Red Internacional de Agencias de Evaluación de Tecnologías Sanitarias (INHTA, por sus siglas en inglés), que reunió a más de 100 participantes de distintas agencias internacionales el pasado 24 de marzo. En el encuentro se presentaron casos de estudio de organismos como el Institute of Health Economics (IHE) de Canadá, el G-BA, alemán, el NICE inglés y la Agencia de Evaluación de Tecnologías Sanitarias (AETS) del Instituto de Salud Carlos III, en una sesión cerrada y centrada en el análisis de tecnologías emergentes como la inteligencia artificial.

En la misma participó Carlos Sánchez Piedra, científico titular de la AETS, quien presentó los avances que la agencia ha dado en la utilización de IA en evaluación. Sánchez Piedra ha explicado a Diariofarma las claves de la situación internacional y cómo están abordando su uso en España. El experto ha insistido en un mensaje de cautela para la incorporación de esta tecnología ya que, según remarca, “no se trata de incorporar este tipo de herramientas sin más”.

La reunión de INHTA evidenció que el interés por estas herramientas es compartido entre agencias, pero también es común la necesidad de establecer “límites claros para su uso”. En este contexto, Sánchez Piedra definió el momento actual como una fase de transición en la evaluación de tecnologías sanitarias marcada por los cambios regulatorios, con el nuevo reglamento de HTA y por la irrupción de las IA, que abren nuevas posibilidades, pero cuya integración plantea retos metodológicos relevantes.

Análisis metodológico

Según detalla, la AETS lleva aproximadamente un año evaluando qué papel pueden jugar distintos grandes modelos de lenguaje en el contexto de las revisiones sistemáticas. En esa exploración ha probado herramientas como ChatGPT, Copilot o Gemini en varias fases del proceso, desde la estrategia de búsqueda y el cribado de estudios hasta la extracción de datos y tareas más interpretativas, como la evaluación del riesgo de sesgo o de la calidad de los estudios.

Las conclusiones preliminares obligan, a su juicio, a diferenciar con claridad entre usos. Estas herramientas pueden resultar útiles en tareas repetitivas, estructuradas o apoyadas en listas de comprobación, donde sí pueden ayudar a ahorrar tiempo al revisor. Sin embargo, cuando entran en juego valoraciones subjetivas o críticas, sus limitaciones siguen siendo evidentes. Próximamente esperan realizar análisis con herramientas comerciales que están preparadas para realizar revisiones sistemáticas, por ejemplo.

Sánchez Piedra sitúa la evaluación del riesgo de sesgo como uno de los ejemplos más claros donde mantener la prudencia ya que el “grado de acuerdo” entre la máquina y el revisor humano, asegura, sigue siendo “bajo o, como mucho, moderado”. A ello se suma otro problema de fondo, a causa de la tendencia de estos modelos a “mostrarse complacientes con el usuario, lo que les lleva a sobreestimar la calidad de los estudios”.

Por eso, rechaza que la incorporación de estas herramientas pueda plantearse hoy como un proceso automático. “No podemos implementar estas herramientas sin garantías”, resume. La exigencia, insiste, es que su uso no distorsione ni perturbe los resultados en un ámbito en el que las agencias tienen la responsabilidad de sustentar decisiones basadas en la mejor evidencia disponible.

A esta cautela se añade, además, la sensación “caja negra” en cuanto a tener información sobre la manera en que se alcanzan las conclusiones. Aunque los modelos empiezan a ofrecer explicaciones sobre su razonamiento, sigue siendo difícil conocer con precisión cómo alcanzan determinadas conclusiones, y eso “es peligroso” en un entorno de evaluación, asegura. Igualmente, otro aspecto relevante se refiere a la consistencia metodológica. El investigador llama la atención sobre un asunto que resulta especialmente problemático, dado que ante una misma pregunta el sistema pueda arrojar respuestas distintas según el modelo utilizado o el momento en que se formule. Para el evaluador esta situación “es algo inaceptable en nuestro trabajo”, explica.

Además de las limitaciones técnicas, el responsable de la AETS apunta a cuestiones legales y operativas que siguen abiertas. Entre ellas, la posibilidad de subir publicaciones científicas a determinadas herramientas para analizarlas, algo que no siempre encaja con las condiciones de uso de esos materiales. También menciona la falta de formación específica con la que muchas agencias han comenzado a explorar esta tecnología.

Proceso de adaptación

El debate metodológico no se limita a España. Según la valoración trasladada por Sánchez Piedra tras el encuentro, el interés por la IA es compartido entre agencias internacionales, aunque también lo son las dudas. Algunas de las más potentes, como NICE o la agencia canadiense que participó en el webinar, ya han avanzado en documentos metodológicos orientados a un uso responsable de estas herramientas. En términos generales, no obstante, el panorama sigue siendo de tanteo y aprendizaje, más que de implantación consolidada.

En el caso español, la reflexión también empieza a extenderse dentro de la RedETS. Distintas agencias autonómicas ya han compartido experiencias preliminares y, según apunta, el siguiente paso lógico será avanzar hacia criterios comunes de uso. Ese eventual marco debería aclarar en qué fases puede emplearse la IA, bajo qué condiciones y con qué mecanismos de validación y supervisión.

Por último, Sánchez Piedra destacó la necesidad de contar con conocimientos específicos para el manejo de estas herramientas, en un contexto en el que este tipo de capacidades todavía no están plenamente desarrolladas dentro de la AETS y que están desarrollando desde una perspectiva de usuario. Esta situación obliga a avanzar de forma paralela en la exploración de usos y en la capacitación de los equipos, de modo que cualquier incorporación futura se realice con garantías y con un conocimiento suficiente de sus implicaciones metodológicas.