Continuamos con el análisis de cuestiones clave que nos proporciona el Manual de Buenas Prácticas para la Inteligencia Artificial, desarrollado por la Organización Médica Colegial de España. En la parte I hemos analizado algunas preguntas clave (a, b, c y d) en la parte II otros apartados(e, f, g, h) y ahora continuamos con otras más.
i) ¿Qué obligaciones tienen los hospitales como desplegadores?
Bajo el marco de la Ley de Inteligencia Artificial de la Unión Europea (AI Act), los hospitales y centros sanitarios que incorporan sistemas de IA en su actividad profesional asumen el rol legal de desplegadores (deployers). Esto implica que la implantación de la IA en el ámbito clínico no es un espacio neutro, sino que está estrictamente configurada por un catálogo de deberes jurídicos y organizativos.
De acuerdo con el artículo 26 del AI Act, estas obligaciones se dividen en tres grandes bloques:
1. Uso conforme y medidas organizativas internas
• Garantizar el uso conforme. El hospital debe adoptar las medidas técnicas y organizativas necesarias para asegurar que el sistema de IA se utiliza siguiendo las instrucciones de uso facilitadas por el proveedor.
• Asignar supervisión humana real. La supervisión debe recaer en profesionales que cuenten con la competencia, formación y autoridad necesarias, asegurando además que dispongan del tiempo y los apoyos materiales idóneos para que este control sea real y efectivo (no meramente nominal).
• Alfabetización en IA (AI literacy). El hospital tiene la obligación de implantar políticas de formación y alfabetización en IA para todo el personal que interactúe con las herramientas, de forma proporcional al riesgo de las mismas.
2. Gestión de datos, funcionamiento y registro
• Calidad de los datos de entrada. Se debe garantizar que los datos introducidos bajo el control del hospital sean pertinentes, de calidad y suficientemente representativos, conforme a las especificaciones del sistema.
• Monitorización continua. El centro debe vigilar el funcionamiento del software de forma constante para detectar posibles sesgos, pérdida de rendimiento o funcionamientos anómalos, debiendo interrumpir su uso inmediatamente si se detecta un riesgo significativo para la seguridad o los derechos de las personas.
• Conservación de registros (logs). El hospital debe conservar los registros generados de forma automática por el sistema bajo su control durante el periodo mínimo establecido por el Reglamento y la normativa sectorial aplicable.
• Verificación de registro. Deben comprobar que el sistema de IA de alto riesgo está correctamente inscrito en la base de datos europea y abstenerse de utilizarlo si no cumple con este requisito.
3. Transparencia, impacto en derechos y cooperación regulatoria
• Informar a las personas afectadas. Existe la obligación de informar a los pacientes cuando se empleen sistemas de alto riesgo que tomen o apoyen decisiones de gran impacto sobre ellos, un deber que complementa las obligaciones informativas de la protección de datos (RGPD).
• Evaluación de impacto en derechos fundamentales. En los supuestos del artículo 27 de la ley, el hospital debe realizar un estudio de impacto previo al despliegue, especialmente si se afecta de manera sistemática a colectivos vulnerables.
• Gobernanza integrada de datos. Estas evaluaciones deben coordinarse de forma estrecha con las Evaluaciones de Impacto en Protección de Datos (DPIA) exigidas por el RGPD.
• Notificación de incidentes graves. Si ocurre un incidente grave o se detecta una no conformidad, el hospital debe notificarlo de inmediato al proveedor y a las autoridades de vigilancia de mercado, cooperando en las acciones correctoras.
El manual destaca de forma muy clara que estas obligaciones se añaden "sin perjuicio" de las responsabilidades que la institución ya asume en virtud de la legislación sanitaria general, de productos sanitarios, de protección de datos o de seguridad del paciente. Esto sitúa al hospital como el nodo central de la responsabilidad en el ecosistema, desplazando parcialmente el riesgo del médico aislado hacia la gobernanza de la propia organización.
j) ¿Qué es el concepto de alfabetización en IA?
La alfabetización en IA (AI literacy) es un concepto clave que el manual aborda tanto desde una perspectiva legal y de derechos, como desde un punto de vista puramente formativo y profesional. No se trata simplemente de aprender a usar un software, sino de adquirir la capacidad crítica para entender cómo funciona, cuáles son sus límites y cómo supervisarlo de forma segura.
Se fundamenta en los siguientes aspectos fundamentales:
1. Una obligación legal del hospital y un derecho del médico
• Obligación para el "desplegador" (deployer): según el AI Act de la Unión Europea, las instituciones sanitarias (hospitales y centros de salud) están legalmente obligadas a implantar políticas de alfabetización en IA para todo el personal asistencial que interactúe con estos sistemas, de forma proporcional al nivel de riesgo de la herramienta.
• Derecho a la formación: el médico tiene el derecho fundamental a recibir formación continua y acreditada sobre el funcionamiento de las herramientas de IA que su centro le exige utilizar, para evitar asumir un riesgo jurídico desproporcionado. De hecho, el manual señala que usar la IA con responsabilidad y poseer esta capacitación crítica ya forma parte del profesionalismo médico contemporáneo.
2. ¿En qué consiste esta formación? (Contenido práctico)
Para que un profesional sanitario esté adecuadamente "alfabetizado" en IA, debe disponer de una formación básica que le capacite para:
• Comprender los datos de origen: conocer qué tipo de datos y poblaciones se han utilizado para entrenar los algoritmos, lo que resulta esencial para anticipar si la herramienta funcionará bien en el contexto demográfico de sus propios pacientes.
• Interpretar las recomendaciones: comprender el significado real de las predicciones o alertas generadas por el sistema.
• Identificar sesgos y limitaciones: saber en qué situaciones el rendimiento del modelo puede decaer (por ejemplo, imágenes de baja calidad o subgrupos de población infrarrepresentados) y detectar desviaciones sistemáticas.
• Mantener una supervisión crítica: no caer en la "automatización ciega" u "obediencia algorítmica" (la tendencia a dar por buena la recomendación de la máquina solo por venir de un ordenador). La alfabetización proporciona los fundamentos técnicos para interrogar al algoritmo y decidir cuándo es clínicamente prudente rechazar o modificar su recomendación.
3. "Alfabetización algorítmica clínica"
En la práctica clínica diaria, esta alfabetización requiere que el médico entienda nociones básicas de sesgo algorítmico, validación clínica (interna, externa y local), métricas de rendimiento (sensibilidad, especificidad, AUC y tasas de falsos positivos/negativos) y límites de generalización (si un modelo entrenado en un entorno puede aplicarse a otro).
En definitiva, la alfabetización en IA es la herramienta que permite al médico realizar una hermenéutica clínica, es decir, traducir los datos y estadísticas fríos generados por una máquina en un significado humano y compasivo, adaptado a la historia única de cada paciente.
k) ¿Qué es la ficha técnica de una IA?
La ficha técnica de una herramienta de IA clínica es un documento transparente y accesible para los profesionales sanitarios que les permite comprender exactamente cómo funciona el sistema de IA y cuáles son sus limitaciones antes de incorporarlo a su práctica asistencial.
De acuerdo con el manual, para garantizar una correcta "alfabetización algorítmica" y evitar el efecto de "caja negra", toda herramienta de IA en el ámbito médico debería disponer de una ficha técnica que incluya, como mínimo, los siguientes ocho puntos fundamentales:
1. Finalidad clínica: una descripción clara y precisa del propósito médico del sistema (por ejemplo, la "detección automática de retinopatía diabética en imágenes de fondo de ojo").
2. Tipo de algoritmo: explicación general del modelo matemático o computacional utilizado, como una "red neuronal convolucional entrenada con imágenes retinianas".
3. Datos de entrenamiento: información detallada sobre el "combustible" del modelo, especificando el tamaño del conjunto de datos (dataset), su origen demográfico y geográfico, y las características específicas de la población de la cual provienen.
4. Rendimiento del sistema: los indicadores y métricas de precisión clínica obtenidos en las pruebas, que deben incluir de forma obligatoria la sensibilidad, especificidad, el AUC (área bajo la curva) y las tasas de falsos positivos y falsos negativos.
5. Limitaciones conocidas: advertencias explícitas sobre las situaciones en las que el rendimiento del algoritmo decae o no es fiable, por ejemplo, al procesar imágenes de baja calidad o al aplicarse en poblaciones no representadas en el entrenamiento.
6. Clasificación como producto sanitario: identificación del nivel de riesgo regulatorio asignado al software (Clase I, IIa, IIb o III) y su correspondiente número de marcado CE, lo cual certifica su seguridad y conformidad legal para uso clínico.
7. Requisitos técnicos: las especificaciones de infraestructura necesarias para su despliegue, incluyendo compatibilidad de hardware, conectividad, y su capacidad de integración con los sistemas locales (como la Historia Clínica Electrónica).
8. Procedimiento de actualización: información clara sobre cómo se gestiona el mantenimiento del software, si se trata de un modelo fijo tradicional (que requiere parches o validaciones adicionales por versión) o de un modelo adaptativo con aprendizaje continuo.
Esta ficha técnica es el recurso principal que tiene el médico para realizar una hermenéutica clínica, es decir, para traducir el frío porcentaje probabilístico de una máquina en una decisión prudente, personalizada y humana para su paciente
l) ¿Qué es el checklist asistencial?
El checklist asistencial (o lista de verificación para la evaluación de herramientas de IA antes de su implementación) es un instrumento práctico propuesto en el manual para que las instituciones sanitarias realicen un análisis previo, ordenado y sistemático de cualquier software de IA antes de incorporarlo a su práctica clínica diaria.
Este documento sirve de apoyo directo a los directores médicos, gestores de salud y comités de evaluación tecnológica para asegurar que la innovación tecnológica no comprometa la seguridad ni la ética de la atención médica.
El checklist se estructura en seis bloques fundamentales de evaluación:
1. Evaluación clínica. Este bloque analiza si la herramienta responde a una necesidad real y cuenta con suficiente respaldo científico:
• ¿Existe una necesidad clínica real en el centro que justifique la adopción de la herramienta?
• ¿Se dispone de evidencia científica sólida que respalde su uso?
• ¿Se han publicado estudios de validación clínica que verifiquen su rendimiento?
2. Evaluación regulatoria. Garantiza que la IA cumpla con el marco legal europeo y los estándares de seguridad de los productos sanitarios:
• ¿Está la herramienta oficialmente clasificada como producto sanitario?
• ¿Cuenta con el correspondiente marcado CE que autorice su uso clínico?
• ¿Se conoce con exactitud su nivel de riesgo regulatorio (Clase I, IIa, IIb o III)?
3. Evaluación técnica. Evalúa si la infraestructura tecnológica del hospital está preparada para acoger el sistema:
• ¿Es interoperable con la Historia Clínica Electrónica (HCE) del centro?
• ¿Utiliza los estándares de comunicación sanitaria internacionales (como HL7, FHIR o DICOM para imagen médica)?
• ¿Cuál será el impacto e infraestructura tecnológica que requerirá para su soporte local?
4. Evaluación del algoritmo. Abre la denominada "caja negra" para que los profesionales entiendan el motor matemático del sistema:
• ¿Se conoce con transparencia el tipo de modelo computacional utilizado?
• ¿Se dispone de información precisa sobre la representatividad y origen de sus datos de entrenamiento?
• ¿Se conocen al detalle las limitaciones del sistema (situaciones donde pierde rendimiento o precisión)?
5. Evaluación operativa. Prevé el impacto real de la herramienta en la rutina diaria del personal asistencial:
• ¿Se integra de manera natural en el flujo de trabajo clínico habitual (o va a generar duplicidad de tareas)?
• ¿Se ha planificado formalmente la formación y alfabetización en IA de los profesionales sanitarios que la usarán?
• ¿Se ha definido un protocolo de monitorización del rendimiento para vigilar el comportamiento del software tras su despliegue?
6. Seguridad y ética. Asegura que el uso de la IA preserve la dignidad algorítmica y la confidencialidad del paciente:
• ¿Cómo se gestionan, almacenan y protegen los datos clínicos de los pacientes?
• ¿Existe una supervisión humana permanente (human-in-the-loop) sobre las recomendaciones o decisiones críticas de salud?
• ¿Se ha realizado un análisis para identificar y prevenir el riesgo de sesgos en el algoritmo?
La aplicación rigurosa de este checklist actúa como una barrera de seguridad preventiva, ya que el manual advierte de que el uso clínico de sistemas de IA no certificados o no evaluados puede generar graves fallos en la seguridad del paciente y responsabilidades legales directas para el hospital.
.jpg)

.jpg)
