Los algoritmos como remedios recetados

Debemos tratar los algoritmos como medicamentos recetados

Por Andy Coravos, Irene Chen, Ankit Gordhandas y Ariel Dora Stern
February 14, 2019


Una cosa es cuando las compañías usan algoritmos para personalizar los anuncios de zapatos o etiquetarte en una foto de Facebook, y otra muy distinta es que los algoritmos decidan si te liberan bajo fianza o te envían a prisión. Si bien muchos han expresado su preocupación sobre el uso de algoritmos para informar decisiones tan importantes, pocos han discutido cómo podemos determinar si realmente se pueden usar de manera segura y efectiva.

Como profesionales de la tecnología de la salud, creemos que es útil ver estos algoritmos de alto riesgo como medicamentos recetados o dispositivos médicos. Durante décadas, las compañías farmacéuticas y de biotecnología han probado medicamentos mediante ensayos clínicos meticulosamente ajustados. ¿Por qué no tomar algunas de esas mejores prácticas y usarlas para crear algoritmos que sean más seguros, más efectivos e incluso más éticos?

Los algoritmos son como las drogas.

Tanto los algoritmos como las drogas pueden tener un enorme impacto en las vidas humanas, el truco está en equilibrar los beneficios y los riesgos. Los medicamentos de quimioterapia, por ejemplo, pueden reducir el tumor de un paciente, pero también pueden causar efectos secundarios angustiosos. Los algoritmos son muy parecidos. Un algoritmo utilizado en los servicios de protección infantil para predecir el peligro puede salvar a alguien de la violencia, pero un examen equivocado puede ser innecesariamente intrusivo para las familias.

Pero a diferencia de los medicamentos y procedimientos médicos riesgosos, estamos interactuando con algoritmos sin leer las etiquetas de advertencia, porque no hay ninguna. Un oncólogo probablemente nunca recomendaría medicamentos de quimioterapia invasiva para una persona sana; Es solo cuando se trata un cáncer agresivo que consideramos los riesgos y las recompensas. Al considerar las aplicaciones de tecnologías de alto riesgo, los arquitectos de los sistemas de inteligencia artificial podrían adoptar un enfoque similar que tenga en cuenta tanto los riesgos como los posibles beneficios.

Debido a que los algoritmos y las drogas tienen puntos en común, podemos aprender de los paradigmas regulatorios existentes y exitosos en la atención de la salud para pensar en los algoritmos. Estas son algunas de las formas en que son similares.

Afectan vidas. Al igual que los medicamentos y dispositivos, los algoritmos de alto riesgo tienen el potencial de transformar el mundo de un usuario de manera significativa. Ya se han desarrollado algoritmos para hacer recomendaciones sobre si los acusados ​​deben ser liberados bajo fianza, para determinar los beneficios de atención médica y para evaluar a los maestros.

Pueden ser utilizados como tratamiento médico. Existe un campo completamente nuevo de tratamientos dirigidos por software llamados terapias digitales (DTx), que son programas de software que previenen, controlan o tratan una enfermedad. Por ejemplo, Akili Interactive Labs ha creado un DTx que se ve y se siente como un videojuego para tratar el TDAH pediátrico. Algunos incluso han sido aprobados por la Administración de Drogas y Alimentos de EE. UU. (FDA), como reSET-O, un producto de Pear Therapeutics para pacientes con trastorno por uso de opioides.

Se desempeñan de manera diferente en diferentes poblaciones. Algunas drogas funcionan en una población pero no en otra. Por ejemplo, el adelgazador de sangre clopidogrel, o Plavix, no funciona en el 75% de los isleños del Pacífico cuyos cuerpos no producen la enzima necesaria para activar el medicamento. De manera similar, los algoritmos pueden afectar a diferentes poblaciones de manera diferente debido al sesgo algorítmico. Por ejemplo, la plataforma de reclutamiento impulsada por la IA de Amazon tenía un sesgo sistemático contra las palabras orientadas a las mujeres en los currículos.

Los investigadores han respondido a estos hallazgos mediante la elaboración de estrategias para detectar y reducir el sesgo algorítmico. Outlets como Propublica han investigado algoritmos problemáticos, mientras que los informáticos han creado conferencias académicas y centros de investigación centrados en el tema. Estas iniciativas representan pasos en la dirección correcta, al igual que el impulso creciente para ensayos clínicos más representativos puede conducir a una mejor investigación médica.

Pueden tener efectos secundarios. Así como un medicamento que ataca una condición puede tener efectos secundarios en otro sistema, los algoritmos también pueden tener efectos no deseados. En la guerra en línea por la atención, un sitio web que apunta a aumentar el compromiso puede encontrar retrospectivamente que sus algoritmos de aprendizaje automático aprenden a optimizar el contenido que induce a la ira y el miedo a fin de aumentar el tiempo dedicado al sitio. En la búsqueda para hacer que el producto sea pegajoso, el efecto secundario es un cambio de comportamiento inoportuno (indignación) en su población de usuarios.

Lo que podemos aprender del desarrollo de medicamentos para construir mejores algoritmos.

En el desarrollo de medicamentos, los fabricantes deben demostrar la seguridad y la eficacia de los productos farmacéuticos antes de que salgan al mercado. Pero mientras la FDA ha creado y hace cumplir tales protocolos, los algoritmos permanecen en gran medida sin regulación.

Algunos principios rectores ayudan a ilustrar cómo las herramientas del desarrollo de medicamentos podrían usarse para construir algoritmos más seguros y efectivos:

El manejo de "eventos adversos". Tomar medicamentos recetados conlleva el riesgo de lesiones, hospitalización y otros eventos adversos, como los llama la industria. La FDA tiene una estructura de informes públicos bien documentada para el manejo de tales contratiempos, donde los informes de eventos graves como muertes y hospitalizaciones se registran voluntariamente en una base de datos pública.

Pero, ¿qué hacemos cuando el “aporte” médico es un algoritmo? Actualmente, carecemos de herramientas de informes públicos sólidas para manejar resultados de algoritmos adversos, como la crisis de Cambridge Analytica en Facebook, pero se pueden crear bases de datos públicas para casos de uso comunes.

Saber cómo funciona el producto. Antes de que un fabricante ponga un medicamento en el mercado, debe comprender la interacción bioquímica entre el cuerpo y el medicamento. Pero este nunca ha sido el caso de los algoritmos. Debido a algo llamado "efecto de caja negra", muchos algoritmos de aprendizaje automático son difíciles o incluso imposibles de interpretar. Esto debe ser reconocido y abordado cuando sea posible. Cuando entendemos cómo las entradas se transforman en productos, es más fácil comprender los riesgos potenciales si el sistema no funciona correctamente.

Entendiendo para quién es el producto. Los investigadores clínicos deben definir claramente los usuarios objetivo de un medicamento para que un médico que prescribe pueda confiar en que el medicamento se ha probado con éxito en pacientes similares. De manera similar, los algoritmos bien diseñados deben definir las características de la población en la que están destinados a ser utilizados. Debido a que los algoritmos pueden funcionar de manera diferente en las poblaciones para las cuales no se desarrolló el algoritmo, es esencial asegurar que los algoritmos especifiquen y documenten a qué poblaciones y casos de uso se aplican. Al hacerlo, se confía en que los riesgos y las recompensas para el grupo objetivo se han estudiado lo suficiente y se consideran una compensación aceptable.

Entender cómo se desarrolló el producto. Los ensayos clínicos se basan en registros de ensayos públicos y en informes obligatorios de los patrocinadores para respaldar la transparencia. Tal sistema responsabiliza a los desarrolladores de productos por realizar estudios éticos y publicar sus resultados. Sin embargo, los algoritmos de alto riesgo a menudo no comparten sus métodos de validación públicamente; Debido a que las empresas son tan protectoras de su IP algorítmica, a menudo no está claro cómo se ha probado un producto o si los resultados son reproducibles. Pero comprender cómo se desarrollan los productos puede ayudar a clarificar y mitigar los resultados no deseados.
Informar a los usuarios de los riesgos y beneficios. El Informe Belmont, escrito en 1979, describe los principios éticos básicos que involucran a los sujetos humanos en la investigación médica, como el "consentimiento informado". ¿Pero qué tan consciente está de los experimentos sutiles que se le administran en línea? Se podría argumentar que Facebook A / B está probando nuevos elementos de diseño en su suministro de noticias para determinar qué implementar es una forma de investigación de sujetos humanos sin consentimiento.

La versión del consentimiento informado de tech world son las políticas de privacidad y los términos de servicio que acompañan a muchas aplicaciones y sitios web. Pero los usuarios rara vez los leen, lo que hace que algunos investigadores se refieran a ellos como "la mayor mentira en Internet". Cuando hay mucho en juego, es particularmente importante que estos acuerdos no solo sean legibles, sino también leídos por los usuarios. Con el objetivo de abordar la falta de transparencia de los datos, la Unión Europea creó el Reglamento General de Protección de Datos (GDPR), una de las reglas de protección de datos más estrictas del mundo, que entró en vigencia en mayo de 2018 con el objetivo de otorgarle al individuo más poder sobre sus datos. . Bajo GDPR, las compañías asumen una mayor responsabilidad por la protección de datos y una responsabilidad clara para obtener el consentimiento de los individuos de quienes recopilan información. Las personas ahora pueden solicitar información completa sobre los datos que una empresa ha almacenado en ellos.

Protección de derechos de datos y privacidad. En la atención médica, los pacientes y los médicos tienen derechos claros y reglas de gobierno para las muestras biológicas como la sangre, la orina y los genomas; los investigadores no pueden usar estas muestras para investigación fuera de los estudios y procedimientos que el paciente haya aceptado. Pero no hay equivalentes para "especímenes digitales", que a menudo contienen datos individuales altamente sensibles. Para la mayoría de los productos de tecnología, los derechos de los datos y la gobernabilidad no son claros para los usuarios, y los algoritmos de alto riesgo exigen más que un enfoque único para todos. Los derechos de los datos deben incorporarse al producto en sí y no aceptarse ciegamente a toda prisa para completar el proceso de registro.

Creación de estándares y gobernanza para algoritmos.

La calidad y los estándares éticos internacionales han sido bien adoptados en las industrias médicas durante décadas: existen las Buenas Prácticas Clínicas (GCP) para administrar los ensayos clínicos, las Buenas Prácticas de Fabricación (GMP) para los productos y las Buenas Prácticas de Laboratorio (GLP) para garantizar la consistencia y confiabilidad de laboratorios de investigacion.

¿Es hora de una buena práctica de algoritmo (GAP)? ¿Debemos establecer una FDA para algoritmos?

Existen varias barreras para hacer que estas estructuras de gobierno funcionen. Debido a la ubicuidad de la inteligencia artificial en todas las disciplinas, un organismo regulador global sería poco realista; La supervisión puede y debe adaptarse a cada campo de aplicación.

La industria de la salud, por ejemplo, ya está bien posicionada para regular los algoritmos dentro de su campo. La FDA ha comenzado a publicar contenido detallado, emitir directrices y eliminar productos basados ​​en la inteligencia artificial como la terapéutica digital. Otras industrias con organismos reguladores, como la educación y las finanzas, también podrían ser responsables de articular las mejores prácticas a través de la orientación o incluso la regulación formal. Sin embargo, muchas otras industrias no tienen agencias reguladoras con responsabilidad pública. En entornos no regulados, los consorcios de la industria y los líderes de la industria tendrán que jugar un papel importante en la articulación de las mejores prácticas.

La sociedad está buscando formas de desarrollar algoritmos seguros y efectivos en entornos de alto riesgo. Aunque quedan muchas preguntas, los conceptos y herramientas de la investigación clínica se pueden utilizar como un punto de partida que hace reflexionar.

Read more »

Las empresas que no supieron adaptarse y se fueron

Kodak, Nokia, Sega y PanAm, la historia de los gigantes que fracasaron por no adaptarse

Una aerolínea que reinó en los cielos durante seis décadas

Carlos Manzoni  La Nación


Los dinosaurios fueron reemplazados hace 65 millones de años por mamíferos más chicos cuya única cualidad adaptativa era que tenían sangre caliente. No fue la supervivencia del más fuerte, sino la del que mejor se supo adaptar. Con las empresas pasa lo mismo: bien lo supieron, a la fuerza, gigantes como Kodak , Nokia , PanAm, Sega y Daewoo, que debieron dejar su reinado a compañías más ágiles a la hora de surfear la ola del nuevo paradigma tecnológico.

De todos ellos, Kodak es, quizás, el caso más curioso y paradigmático, puesto que fue dentro de esa empresa que se desarrolló la tecnología que terminaría por herirla de muerte: la cámara digital. ¿Qué pasó? No apostó por ese formato hasta que fue demasiado tarde, temiendo que la ausencia de carrete en estas nuevas cámaras perjudicara su negocio de película fotográfica.


Alberto Arébalos, vicepresidente de MileniumGroup, agencia de comunicaciones corporativas, que hizo toda su carrera en empresas de tecnología, explica: "El dinero de Kodak eran los rollos, no las cámaras. Cuando empezó la tecnología digital, tendrían que haber entendido que vendían momentos y recuerdos, no rollitos".

Pero claro, es muy difícil pasar de un paradigma a otro, porque en el medio se pierde dinero (en ese momento 90% de la facturación de Kodak venía de la venta de rollos). Cisco y Google, por el contrario, lo entendieron y dejaron de hacer cosas que ya no iban más. Como decía Steve Jobs, "si no lo canibalizás vos, lo va a canibalizar otro". Y así fue como "otros" más ágiles de reflejos coparon el nuevo mercado de la fotografía digital.

La finlandesa Nokia, en tanto, fue la clara dominante del mercado en los años noventa, consiguiendo hacer de los teléfonos móviles un dispositivo para todo el mundo, pero no logró adaptarse a la era de los smartphones instalada por el iPhone, de Apple , seguido por Android, de Google. En lugar de cambiar, Nokia siguió apostando por una versión más moderna de su sistema operativo Symbian, que pese a que funcionaba bien en celulares de gama media y baja, no era suficiente para los teléfonos inteligentes.

Arébalos dice que algo similar a lo de Nokia les pasó a Blackberry y Palm. "Cuando tenés un producto que es muy exitoso y se vende, pero de repente aparece un competidor con una nueva tendencia, tenés dos opciones: ir hacia esa tendencia o seguir exprimiendo la vaca que ya tenés hasta que se le acaba la leche. Nokia optó por esto último", comenta el especialista. "Ahí la empresa se empieza a achicar y es cuando se produce el espiral de la muerte. Nokia sigue vivo, pero terminó en la irrelevancia", agrega.

En otra industria totalmente distinta a la de Kodak y Nokia, también hubo un dinosaurio que no se pudo adaptar. Se trata de PanAm, la aerolínea insignia de los Estados Unidos que fue reina absoluta de los cielos durante seis décadas (desde 1930 hasta su quiebra en 1991).

Según Fernando Dozo, especialista en el sector aerocomercial, hubo tres cosas que la "extinguieron": 1) su modelo de aviones grandes y rutas con escalas quedó en desuso y no tuvo reflejos para adaptarse a lo que ya estaban haciendo compañías más ágiles 2) empezó con los programas de fidelidad por millaje y la cantidad de premios se le fue de las manos y 3) al ser una de las aerolíneas más antiguas tenía convenios colectivos de trabajo muy costosos y difíciles de desarmar.

Para colmo, la empresa sufrió uno de los primeros atentados contra una aerolínea. El 21 de diciembre de 1988 su avión Boeing 747-121 explotó en el aire. Los restos cayeron sobre la ciudad escocesa de Lockerbie. Murieron las 259 personas que viajaban a bordo y 11 personas más en tierra.

¿Qué hizo mal PanAm? "Para intentar corregir la tendencia negativa, invirtió millones en una nueva flota de Boeing 747 con las expectativas de que la demanda de viajes transoceánicos seguiría en ascenso, algo que no ocurrió", responde Dozo. Luego, dio otro manotazo de ahogado al intentar compensar las pérdidas de las rutas internacionales con nuevos destinos nacionales. "Ya era tarde. Estaba demasiado especializada en vuelos transoceánicos y en el mercado nacional las rutas estaban bien cubiertas con compañías que llevaban años ofreciendo esos servicios", acota.

Por su parte, la compañía coreana de automóviles Daewoo llegó a ser el sexto entre los mayores fabricantes de coches del mundo, gracias a sus modelos de bajo coste y su internacionalización. Durante los años noventa, este holding se endeudó mucho para poder continuar con su expansión, y consiguió llegar a ser la segunda compañía de una emergente Corea del Sur.

Un exempleado que trabajó 15 años en Daewoo cuenta que en 1997, cuando estalló la crisis financiera asiática, el nivel de endeudamiento de la compañía era demasiado elevado. "En vez de alivianarse y volverse más ágil, Daewoo siguió comprando empresas y no se deshizo de activos deficitarios. La gran cantidad de deuda que tenía y la caída de las ventas hicieron imposible su recapitalización y más tarde, en 2000, fue declarada en bancarrota y comprada por General Motors", recuerda.

Por último, en Sega, una de las más grandes compañías de videojuegos de la historia, no vieron un surgimiento de otro tipo de plataformas para juegos, con otra tecnología: aparecieron las Nintendo y XBox, con otro planteamiento artístico. La llegada de la Sony Playstation y decisiones equivocadas en cuanto al hardware le dieron un golpe de gracia. Su consola Saturn era buena, pero era demasiado difícil programar para ella (debido a sus dos procesadores) con lo que la Playstation terminó robándole los usuarios. Al igual que Nokia pasó a ser irrelevante, porque los consumidores querían ya otro tipo de cosas.


 La Sega Saturn no cubrió las expectativas de los usuarios La Sega Saturn no cubrió las expectativas de los usuarios

Arébalos deja una conclusión final que puede ser tomada como consejo por los dinosaurios que hoy todavía se debaten entre la supervivencia y la extinción. "O no ves la transición o estás recibiendo tanta plata del paradigma viejo que te quedás; y te quedás tanto que ya cuando querés cambiar es demasiado tarde". Lamentablemente para Kodak, Nokia, PanAm, Daewoo y Sega, no se puede volver el tiempo atrás. Como hace 65 millones de años, la evolución sigue haciendo de las suyas, pero esta vez, en el mundo corporativo.

Read more »

Liderazgo natural en peces... y humanos

Los líderes nacen, no se hacen dice un estudio con peces
Un experimento para capacitar a los peces espinosos negritos para ser seguidores y peces tímidos para ser líderes produjo resultados inesperados

Por Shinnosuke Nakayama y The Conversation
Scientific American

¿Quién está a cargo aquí ? Los peces se adaptan
a nuevas funciones. Imagen: Shinnosuke Nakayama

Por Shinnosuke Nakayama, de la Universidad de Cambridge

En nuestra sociedad, no muchas personas tienen la suerte de tener un jefe ideales que les gustaría seguir fielmente por el resto de sus vidas. Muchos podrían incluso encontrar a su jefe egoísta y arrogante o se quejan de que no les hacen caso a sus opiniones.

Nosotros, los humanos empujamos el concepto de líderes y seguidores hasta el extremo, pero existen esos conceptos en todo el reino animal. Estos líderes y seguidores del mundo natural pueden ayudar a decidir si ese jefe impopular puede aprender a ser parte del equipo .

Líderes y seguidores se encuentran en muchos animales que viven en grupo, tales como peces, aves y primates. Vivir en grupo puede ofrecer muchos beneficios a los miembros del grupo, como el aumento de las posibilidades de encontrar alimento o evitar a los depredadores. A diferencia de algunos lugares de trabajo humanos, los grupos de animales saben que tienen que ponerse de acuerdo sobre dónde ir y cuándo ir allí con el fin de sacar el máximo provecho de la vida en grupo .

Los líderes comparten características comunes, por lo que son en cierta medida predecible. En los seres humanos, los líderes generalmente muestran puntuaciones más altas en ciertos rasgos de la personalidad, en particular extraversión. Del mismo modo, en los animales, las personas activas más audaces y tienden a encontrarse como líderes. Las teorías evolucionistas sugieren que la audacia y el liderazgo pueden coevolucionar a través de la retroalimentación positiva. Los individuos que obligan a sus preferencias sobre otros son más propensos a ser seguido, que a su vez estimula estos individuos para iniciar más a menudo .

Siguiendo a los peces
Esto da retroalimentación en los roles sociales diferenciados para los líderes y los seguidores de un grupo, como lo demuestran varios estudios experimentales. Parece, pues, que los líderes y seguidores nacen mediante la selección natural, y que no tienen ninguna posibilidad de llegar a ser un líder si has nacido como un seguidor. Pero nuestro trabajo con pez espinoso sugiere que mientras que los seguidores pueden no tener lo que se necesita para dirigir, los líderes pueden aprender a seguir .

En nuestro trabajo, hemos probado la naturaleza de líderes y seguidores utilizando pares de peces. Los espinosos son bien conocidos por mostrar diferencias individuales en audacia, como cuando se alimentan. Cuando salen de la cubierta segura a una zona de alimentación de riesgo, los peces más audaces son más propensos a iniciar el movimiento colectivo, mientras que los animales más tímidos tienden a seguirlos.

Inversión de roles
Nosotros obligamos a pares de peces a tomar papeles opuestos para ver si podían cambiar con un poco de entrenamiento. El pez tímido fue recompensado con una pequeña cantidad de comida cada vez que iniciaba el movimiento colectivo, con independencia de que se haya seguido el socio más audaz o no. El pez más audaz también fue recompensado cada vez que seguía el miembro más tímido, pero no cuando se salió de cobertura segura. De esta manera, entrenamos pares para intercambiar sus roles naturales y comparamos su comportamiento a las parejas que asumen sus funciones naturales.

Nuestra predicción es que los individuos audaces funcionarían mal cuando se vean obligados a convertirse en seguidores, debido a que son menos sensibles a la conducta de los demás en su función natural, mientras que las personas tímidas adoptarían el papel de líder con más facilidad. Sin embargo, los resultados fueron completamente opuestos: para los individuos tanto audaces como tímidos, la tendencia a liderar es mucho menos flexible que la tendencia a seguir. El pez audaz se adapta fácilmente a seguir, pero los peces tímidos no podían ser entrenados para conducir, incluso cuando aprendieron a dejar de seguir a los otros peces.

Nos enteramos de que los peces pueden aprender a seguir, pero luchamos para aprender a conducir, independientemente de su personalidad. Ciertos tipos de información pueden promover o inhibir la aparición de distintos tipos de personalidad en una población, pero aún está por verse si estos mecanismos de retroalimentación pueden explicar la diferente flexibilidad entre liderar y seguir .

La incapacidad de los peces para ajustar su tendencia a conducir tiene implicaciones interesantes para los grupos humanos. Estudios de psicología de grupo en humanos han demostrado que las diferencias en la extroversión dentro de un grupo pueden ayudar a que los líderes emerjan, lo que conduce a un mejor rendimiento del grupo. Nuestros pares de peces también mostraron un mejor desempeño de grupo en búsqueda de alimento cuando la diferencia de audacia fue mayor, pero sólo cuando los pares se mantuvieron en sus funciones naturales. Por el contrario, cuando los peces se vieron obligados a cambiar los roles, el rendimiento disminuyó debido a la debilidad del liderazgo de los peces tímidos. Así que cuando trabajamos en grupo, que podríamos aprender de los peces por apegarse a los roles en los que nos sentimos más cómodos, naturalmente, por el bien del equipo.

Read more »