Los algoritmos como remedios recetados

Debemos tratar los algoritmos como medicamentos recetados

Por Andy Coravos, Irene Chen, Ankit Gordhandas y Ariel Dora Stern
February 14, 2019


Una cosa es cuando las compañías usan algoritmos para personalizar los anuncios de zapatos o etiquetarte en una foto de Facebook, y otra muy distinta es que los algoritmos decidan si te liberan bajo fianza o te envían a prisión. Si bien muchos han expresado su preocupación sobre el uso de algoritmos para informar decisiones tan importantes, pocos han discutido cómo podemos determinar si realmente se pueden usar de manera segura y efectiva.

Como profesionales de la tecnología de la salud, creemos que es útil ver estos algoritmos de alto riesgo como medicamentos recetados o dispositivos médicos. Durante décadas, las compañías farmacéuticas y de biotecnología han probado medicamentos mediante ensayos clínicos meticulosamente ajustados. ¿Por qué no tomar algunas de esas mejores prácticas y usarlas para crear algoritmos que sean más seguros, más efectivos e incluso más éticos?

Los algoritmos son como las drogas.

Tanto los algoritmos como las drogas pueden tener un enorme impacto en las vidas humanas, el truco está en equilibrar los beneficios y los riesgos. Los medicamentos de quimioterapia, por ejemplo, pueden reducir el tumor de un paciente, pero también pueden causar efectos secundarios angustiosos. Los algoritmos son muy parecidos. Un algoritmo utilizado en los servicios de protección infantil para predecir el peligro puede salvar a alguien de la violencia, pero un examen equivocado puede ser innecesariamente intrusivo para las familias.

Pero a diferencia de los medicamentos y procedimientos médicos riesgosos, estamos interactuando con algoritmos sin leer las etiquetas de advertencia, porque no hay ninguna. Un oncólogo probablemente nunca recomendaría medicamentos de quimioterapia invasiva para una persona sana; Es solo cuando se trata un cáncer agresivo que consideramos los riesgos y las recompensas. Al considerar las aplicaciones de tecnologías de alto riesgo, los arquitectos de los sistemas de inteligencia artificial podrían adoptar un enfoque similar que tenga en cuenta tanto los riesgos como los posibles beneficios.

Debido a que los algoritmos y las drogas tienen puntos en común, podemos aprender de los paradigmas regulatorios existentes y exitosos en la atención de la salud para pensar en los algoritmos. Estas son algunas de las formas en que son similares.

Afectan vidas. Al igual que los medicamentos y dispositivos, los algoritmos de alto riesgo tienen el potencial de transformar el mundo de un usuario de manera significativa. Ya se han desarrollado algoritmos para hacer recomendaciones sobre si los acusados ​​deben ser liberados bajo fianza, para determinar los beneficios de atención médica y para evaluar a los maestros.

Pueden ser utilizados como tratamiento médico. Existe un campo completamente nuevo de tratamientos dirigidos por software llamados terapias digitales (DTx), que son programas de software que previenen, controlan o tratan una enfermedad. Por ejemplo, Akili Interactive Labs ha creado un DTx que se ve y se siente como un videojuego para tratar el TDAH pediátrico. Algunos incluso han sido aprobados por la Administración de Drogas y Alimentos de EE. UU. (FDA), como reSET-O, un producto de Pear Therapeutics para pacientes con trastorno por uso de opioides.

Se desempeñan de manera diferente en diferentes poblaciones. Algunas drogas funcionan en una población pero no en otra. Por ejemplo, el adelgazador de sangre clopidogrel, o Plavix, no funciona en el 75% de los isleños del Pacífico cuyos cuerpos no producen la enzima necesaria para activar el medicamento. De manera similar, los algoritmos pueden afectar a diferentes poblaciones de manera diferente debido al sesgo algorítmico. Por ejemplo, la plataforma de reclutamiento impulsada por la IA de Amazon tenía un sesgo sistemático contra las palabras orientadas a las mujeres en los currículos.

Los investigadores han respondido a estos hallazgos mediante la elaboración de estrategias para detectar y reducir el sesgo algorítmico. Outlets como Propublica han investigado algoritmos problemáticos, mientras que los informáticos han creado conferencias académicas y centros de investigación centrados en el tema. Estas iniciativas representan pasos en la dirección correcta, al igual que el impulso creciente para ensayos clínicos más representativos puede conducir a una mejor investigación médica.

Pueden tener efectos secundarios. Así como un medicamento que ataca una condición puede tener efectos secundarios en otro sistema, los algoritmos también pueden tener efectos no deseados. En la guerra en línea por la atención, un sitio web que apunta a aumentar el compromiso puede encontrar retrospectivamente que sus algoritmos de aprendizaje automático aprenden a optimizar el contenido que induce a la ira y el miedo a fin de aumentar el tiempo dedicado al sitio. En la búsqueda para hacer que el producto sea pegajoso, el efecto secundario es un cambio de comportamiento inoportuno (indignación) en su población de usuarios.

Lo que podemos aprender del desarrollo de medicamentos para construir mejores algoritmos.

En el desarrollo de medicamentos, los fabricantes deben demostrar la seguridad y la eficacia de los productos farmacéuticos antes de que salgan al mercado. Pero mientras la FDA ha creado y hace cumplir tales protocolos, los algoritmos permanecen en gran medida sin regulación.

Algunos principios rectores ayudan a ilustrar cómo las herramientas del desarrollo de medicamentos podrían usarse para construir algoritmos más seguros y efectivos:

El manejo de "eventos adversos". Tomar medicamentos recetados conlleva el riesgo de lesiones, hospitalización y otros eventos adversos, como los llama la industria. La FDA tiene una estructura de informes públicos bien documentada para el manejo de tales contratiempos, donde los informes de eventos graves como muertes y hospitalizaciones se registran voluntariamente en una base de datos pública.

Pero, ¿qué hacemos cuando el “aporte” médico es un algoritmo? Actualmente, carecemos de herramientas de informes públicos sólidas para manejar resultados de algoritmos adversos, como la crisis de Cambridge Analytica en Facebook, pero se pueden crear bases de datos públicas para casos de uso comunes.

Saber cómo funciona el producto. Antes de que un fabricante ponga un medicamento en el mercado, debe comprender la interacción bioquímica entre el cuerpo y el medicamento. Pero este nunca ha sido el caso de los algoritmos. Debido a algo llamado "efecto de caja negra", muchos algoritmos de aprendizaje automático son difíciles o incluso imposibles de interpretar. Esto debe ser reconocido y abordado cuando sea posible. Cuando entendemos cómo las entradas se transforman en productos, es más fácil comprender los riesgos potenciales si el sistema no funciona correctamente.

Entendiendo para quién es el producto. Los investigadores clínicos deben definir claramente los usuarios objetivo de un medicamento para que un médico que prescribe pueda confiar en que el medicamento se ha probado con éxito en pacientes similares. De manera similar, los algoritmos bien diseñados deben definir las características de la población en la que están destinados a ser utilizados. Debido a que los algoritmos pueden funcionar de manera diferente en las poblaciones para las cuales no se desarrolló el algoritmo, es esencial asegurar que los algoritmos especifiquen y documenten a qué poblaciones y casos de uso se aplican. Al hacerlo, se confía en que los riesgos y las recompensas para el grupo objetivo se han estudiado lo suficiente y se consideran una compensación aceptable.

Entender cómo se desarrolló el producto. Los ensayos clínicos se basan en registros de ensayos públicos y en informes obligatorios de los patrocinadores para respaldar la transparencia. Tal sistema responsabiliza a los desarrolladores de productos por realizar estudios éticos y publicar sus resultados. Sin embargo, los algoritmos de alto riesgo a menudo no comparten sus métodos de validación públicamente; Debido a que las empresas son tan protectoras de su IP algorítmica, a menudo no está claro cómo se ha probado un producto o si los resultados son reproducibles. Pero comprender cómo se desarrollan los productos puede ayudar a clarificar y mitigar los resultados no deseados.
Informar a los usuarios de los riesgos y beneficios. El Informe Belmont, escrito en 1979, describe los principios éticos básicos que involucran a los sujetos humanos en la investigación médica, como el "consentimiento informado". ¿Pero qué tan consciente está de los experimentos sutiles que se le administran en línea? Se podría argumentar que Facebook A / B está probando nuevos elementos de diseño en su suministro de noticias para determinar qué implementar es una forma de investigación de sujetos humanos sin consentimiento.

La versión del consentimiento informado de tech world son las políticas de privacidad y los términos de servicio que acompañan a muchas aplicaciones y sitios web. Pero los usuarios rara vez los leen, lo que hace que algunos investigadores se refieran a ellos como "la mayor mentira en Internet". Cuando hay mucho en juego, es particularmente importante que estos acuerdos no solo sean legibles, sino también leídos por los usuarios. Con el objetivo de abordar la falta de transparencia de los datos, la Unión Europea creó el Reglamento General de Protección de Datos (GDPR), una de las reglas de protección de datos más estrictas del mundo, que entró en vigencia en mayo de 2018 con el objetivo de otorgarle al individuo más poder sobre sus datos. . Bajo GDPR, las compañías asumen una mayor responsabilidad por la protección de datos y una responsabilidad clara para obtener el consentimiento de los individuos de quienes recopilan información. Las personas ahora pueden solicitar información completa sobre los datos que una empresa ha almacenado en ellos.

Protección de derechos de datos y privacidad. En la atención médica, los pacientes y los médicos tienen derechos claros y reglas de gobierno para las muestras biológicas como la sangre, la orina y los genomas; los investigadores no pueden usar estas muestras para investigación fuera de los estudios y procedimientos que el paciente haya aceptado. Pero no hay equivalentes para "especímenes digitales", que a menudo contienen datos individuales altamente sensibles. Para la mayoría de los productos de tecnología, los derechos de los datos y la gobernabilidad no son claros para los usuarios, y los algoritmos de alto riesgo exigen más que un enfoque único para todos. Los derechos de los datos deben incorporarse al producto en sí y no aceptarse ciegamente a toda prisa para completar el proceso de registro.

Creación de estándares y gobernanza para algoritmos.

La calidad y los estándares éticos internacionales han sido bien adoptados en las industrias médicas durante décadas: existen las Buenas Prácticas Clínicas (GCP) para administrar los ensayos clínicos, las Buenas Prácticas de Fabricación (GMP) para los productos y las Buenas Prácticas de Laboratorio (GLP) para garantizar la consistencia y confiabilidad de laboratorios de investigacion.

¿Es hora de una buena práctica de algoritmo (GAP)? ¿Debemos establecer una FDA para algoritmos?

Existen varias barreras para hacer que estas estructuras de gobierno funcionen. Debido a la ubicuidad de la inteligencia artificial en todas las disciplinas, un organismo regulador global sería poco realista; La supervisión puede y debe adaptarse a cada campo de aplicación.

La industria de la salud, por ejemplo, ya está bien posicionada para regular los algoritmos dentro de su campo. La FDA ha comenzado a publicar contenido detallado, emitir directrices y eliminar productos basados ​​en la inteligencia artificial como la terapéutica digital. Otras industrias con organismos reguladores, como la educación y las finanzas, también podrían ser responsables de articular las mejores prácticas a través de la orientación o incluso la regulación formal. Sin embargo, muchas otras industrias no tienen agencias reguladoras con responsabilidad pública. En entornos no regulados, los consorcios de la industria y los líderes de la industria tendrán que jugar un papel importante en la articulación de las mejores prácticas.

La sociedad está buscando formas de desarrollar algoritmos seguros y efectivos en entornos de alto riesgo. Aunque quedan muchas preguntas, los conceptos y herramientas de la investigación clínica se pueden utilizar como un punto de partida que hace reflexionar.

Posted in: adaptación,algoritmo,demanda de software,diseño de producto,mercado de software