Los algoritmos de inteligencia artificial (IA) son muy prometedores en muchos sectores. A pesar de que su eficacia en la asistencia sanitaria puede variar, algunos algoritmos de reconocimiento de imágenes funcionan muy bien para detectar posibles enfermedades. Sin embargo, se ha descubierto que otras IA albergan sesgos socioeconómicos y raciales.
A priori la intención del uso de algoritmos es la de ayudar a los pacientes. Pero los expertos aseguran que estas aplicaciones médicas impulsadas por la IA pueden afianzar el sesgo y amplificar el daño a causa de sus errores. Además, este tipo de incidencias pueden tener consecuencias graves y duraderas en los pacientes.
Numerosos hospitales y organismos de sanidad pública del mundo han invertido en tecnología basada en inteligencia artificial para mejorar la experiencia médica tanto a médicos como a pacientes. Estos algoritmos se aplican de diversas formas, como determinar qué pacientes atender primero o vaticinar de qué manera les va a afectar un tratamiento.
En Arkansas, el departamento de salud estatal comenzó a usar IA en 2016 para administrar los beneficios de atención médica de sus pacientes en un programa estatal de discapacidad. El programa ofrecía ayudas económicas y cuotas reducidas a algunos a los residentes más necesitados de Arkansas. Con el programa, un auxiliar podría visitar al paciente y este no necesitaría mudarse a un centro de atención especial a tiempo completo.
Antes de la aplicación de la IA, los sanitarios determinaban la gravedad del caso haciendo que una auxiliar de enfermería visitara al paciente en su casa y calculara cuántas horas semanales de atención médica necesitaba. Ahora con el algoritmo han podido calcular las horas semanales a partir de varios datos relativos a los problemas de salud del paciente, su historial médico y sus rutinas. Para muchas personas en el programa, los algoritmos redujeron drásticamente sus horas asignadas. Más tarde resultó que el algoritmo había cometido errores en varios casos en los que se redujeron las horas del paciente.
La Asistencia Legal de Arkansas presentó una demanda contra el estado por usar la IA para determinar las horas sin supervisión del personal autorizado. Durante la investigación se supo que la herramienta no había tenido en cuenta las principales enfermedades como la parálisis cerebral e incluso la diabetes. Esas dos enfermedades representaron cientos de horas para los pacientes.
La caja negra de los algoritmos
Para los pacientes fue imposible desafiar los cálculos del algoritmo porque las decisiones no fueron transparentes. Y aunque Arkansas pasó a un nuevo algoritmo en 2019, el resultado fue que un tercio de los pacientes fueron excluidos por completo.
Varios estados también invirtieron en algoritmos de inteligencia artificial ya que pensaron que les ahorrarían dinero y tiempo. Sin embargo, algunos estados, como Arkansas, se vieron afectados por demandas de los pacientes.
Por otro lado, el estado de Idaho utilizó un algoritmo similar al de Arkansas en 2011 para ayudar al estado a calcular los gastos de la atención domiciliaria. Pero algunos pacientes vieron como las ayudas recibidas caían hasta en un 42%.
A los pacientes les resultaba prácticamente imposible saber si los datos que ofrecía el algoritmo eran correctos debido a que el estado mantuvo oculta la fórmula de la IA. Siempre que un paciente cuestionaba el resultado del algoritmo, un funcionario investigaba y llegaba a la conclusión de que estaba más allá de su «autoridad y competencia el cuestionar la calidad de este resultado».
La ACLU de Idaho realizó una investigación que encontró que los datos del algoritmo eran tan defectuosos que el estado los descartó de inmediato. Por desgracia, el estado decidió seguir usando el programa de todos modos. Según la ACLU, el resultado fue un programa que se basó en datos insignificantes, lo que llevó a decisiones infundadas sobre la atención. Finalmente, el estado cambió el sistema.
Sesgos ocultos en los algoritmos
Incluso si un algoritmo funciona como se esperaba, existe la posibilidad de que el sesgo se infiltre en los resultados. En 2019, un estudio de Ziad Obermeyer y Sendhil Mullainathan, cofundadores del Proyecto Nightingale con sede en Chicago (no relacionado con el Proyecto Nightingale de Google, mostró que un algoritmo utilizado ampliamente en la atención médica tenía un sesgo implícito en sus resultados. Afectó a millones de pacientes y los pacientes negros estaban desproporcionadamente desatendidos.
Cuando se informó de los resultados a Optum, la empresa que desarrolló la herramienta, esta realizó sus propias pruebas y llegó a la misma conclusión. El algoritmo determinaba qué pacientes tenían las necesidades de atención médica más complejas y qué pacientes se benefician más de una mayor intervención y atención médica.
Utilizaba datos como el coste de cuidar al paciente, pero no incluía la raza como factor. El problema surgió cuando se hizo evidente que los pacientes negros históricamente gastan menos dinero en sus necesidades médicas en comparación con los pacientes blancos con las mismas enfermedades. Quizás sea porque los pacientes negros enfrentan la discriminación de sus médicos o que históricamente tienen menos acceso a los servicios de atención o simplemente que son mayor proporción los que viven en la pobreza.
Con la aplicación de inteligencia artificial solo el 17,7% de los pacientes negros recibieron atención adicional. Los investigadores encontraron que, si se eliminara el sesgo, el 46,5% de los pacientes negros habrían recibido atención adicional.
Un futuro no completamente automatizado
Estos números son asombrosos y apuntan a un problema más profundo: no se puede confiar en la inteligencia artificial para determinar los resultados sin supervisión humana y sin un control constante.
Los investigadores están utilizando IA para detectar cáncer, enfermedades oculares, ataques cardíacos, la probabilidad de muerte etc. Con estos elevados objetivos, no debemos colocar a la IA en una situación en la que el sesgo o el error puedan marcar la diferencia entre la vida y la muerte.
¿Dejarías que una IA te diagnosticara sin que el médico revisara rápidamente los resultados? ¿Por qué o por qué no? ¡Háznoslo saber en los comentarios!