Burofax

Google se reserva el derecho de admisión

La empresa despidió a una trabajadora que co-escribió un paper donde critica la tecnología de inteligencia artificial aplicada al procesamiento de lenguaje natural.

Hola, ¿cómo va todo por ahí? Te escribo desde Buenos Aires, con mucho calor y mucho amor. Este newsletter está particularmente contento porque Diputados aprobó el proyecto de ley de interrupción voluntaria del embarazo y las mujeres somos hoy un poco más libres que ayer.

Te quiero hablar de lo que pasó en las oficinas de Google el 3 de diciembre. Ese día Timnit Gebru, investigadora sobre temas de inteligencia artificial, se enteró que la empresa había aceptado su renuncia -que ella dice no haber presentado- y le había retirado el acceso a su cuenta corporativa. El problema había comenzado un tiempo antes, cuando sus jefes criticaron un artículo que Timnit estaba co-escribiendo. Allí la investigadora señalaba problemas éticos con avances recientes en tecnología de inteligencia artificial aplicada al procesamiento de lenguaje natural. Las cosas escalaron, y la empresa tomó esta decisión. 

En lo que sigue te cuento qué pasó con Timnit Gebru, y qué dice esto de Google. 

Google no quiere que la critiquen* 

*Google es como vos y yo, excepto que esta es una empresa que quiere dominar el mundo y nosotros capaz tenemos objetivos más humildes

Timnit Gebru es Doctora en Ingeniería Electrónica por la Universidad de Standford. Antes de hacer su doctorado trabajó para Apple, y luego de graduarse hizo su posdoctorado en Microsoft. Luego comenzó a trabajar para Google. 

Su perfil es definido: trabaja en temas de sesgo y ética en los modelos de inteligencia artificial. Se hizo famosa en particular por un paper en el que describe cómo la tecnología de reconocimiento facial es más adecuada para reconocer algunas caras que otras (aquí una nota del NYT sobre ese paper). 

¿Cómo así? Sucede que si sos un hombre blanco, el software de reconocimiento casi nunca falla en reconocerte como una persona y/o en reconocer tu género. Si tu piel tiene otro color, o si sos una mujer, falla mucho más. ¿Por qué pasa esto? Porque los algoritmos no caen del cielo, sino que los diseñan seres humanos -en general, hombres blancos. Y resulta que los seres humanos tenemos sesgos.

En el libro Algoritmos de la Opresión Safiya Umoja Noble describe cómo los motores de búsqueda de Google arrojan resultados que son racistas y sexistas. En 2009, Safiya escribió “black girls” en la barra de búsqueda de Google. La primera página de resultados que obtuvo era casi toda de pornografía. A Safiya no le sorprendió, porque podía relacionar estos resultados virtuales con los resultados reales de ir por la vida como una mujer de tez negra. Lo que Safiya entendió es que los algoritmos no son neutrales, sino que son construidos por seres humanos con sus propios prejuicios y por tanto esos prejuicios se ven reflejados en sus desarrollos.

Pero es más que eso: Google es una empresa y como tal quiere ganar plata. De este modo, los resultados que arroja Google no solo responden a ese algoritmo (desconocido), sino que también varían de acuerdo a la plata que ponen los anunciantes para aparecer en el sitio. Entonces internet no es un espacio “democrático”, sino que diversos intereses afectan qué encontramos online (todo esto resuena mucho a las cosas que nos hizo pensar Aaron Schwartz, sobre quien te hablé en mi primer newsletter). Safiya da un paso más y dice que los buscadores comerciales estructuran el conocimiento, creando una realidad particular. Ese ranking es entonces un resultado -mediado- de la sociedad en la que vivimos, que a su vez moldea a la sociedad. ¿O acaso no cliqueamos siempre en el primer resultado que Google arroja? Ella tiene una frase provocadora, pero no por eso menos cierta: “Somos el producto que Google le vende a los anunciantes”

(Por cierto, escribí “black girls” ahora en el buscador de Google. Los resultados que veo son muy distintos)

Vuelvo a Timnit. Google contrata entonces a una mujer afroamericana conocida por su trabajo en el que investiga los sesgos de la inteligencia artificial y la pone a co-liderar el equipo de ética en Inteligencia Artificial. Saltamos a noviembre de 2020. Timnit es co-autora de un paper con otros investigadores que trabajan en Google y fuera de Google (algunos en universidades), a ser presentado en un congreso. El paper dice, entre otras cosas, que las empresas tecnológicas podrían hacer más para que los sistemas de inteligencia artificial que pretenden imitar el habla y la escritura humana no repliquen sesgos discriminatorios históricos (hay también un apartado relevante sobre el impacto ambiental de esta tecnología).

Los autores mandan el paper al proceso de revisión interna que se supone es usual, y ahí aparecen los problemas. La empresa aduce que al paper le falta citar trabajos relevantes que dan una perspectiva distinta sobre los esfuerzos que se están haciendo para mejorar esos modelos. O sea, Timnit ve el vaso medio vacío, y Google ve el vaso medio lleno. Un jefe suyo le dice que debe cambiar el contenido, o sacar su nombre -sin informarle a Timnit cuál es el proceso de revisión y cuáles son los criterios para tomar esta decisión. En otras palabras: en el área de investigación de Google (que es enorme, prestigioso y se lleva a los mejores talentos en estas disciplinas), no hay libertad de investigación.

Paréntesis acá para decir que Timnit se metió con un tema muy relevante para Google. La empresa está dedicando enormes esfuerzos a que su algoritmo reconozca y entienda el lenguaje como un ser humano. Un ejemplo bobo: el algoritmo se pierde con las preposiciones o con oraciones que son muy largas. El objetivo es que el algoritmo no solo reconozca cada palabra, sino también el sentido de la oración. Es decir, que el algoritmo se parezca más a un humano. Supongo que un modo de ver estos conflictos es que se está discutiendo a qué versión del ser humano queremos que se parezca. 

Retomo. De acuerdo a Timnit, ella le ofrece a Google sacar su nombre del paper si a cambio la empresa ofrece una explicación y hace un protocolo para lidiar con estos problemas en el futuro. Si la empresa se negaba, ella se iría. Google se negó, y Timnit contó lo que estaba pasando en un mail a un grupo interno de Google al que ella pertenecía, junto con otras empleadas y “aliados”. El correo, que podés leer acá, dice que no vale la pena hacer investigación en Google, porque la empresa no está dispuesta a cambiar su forma de hacer las cosas. Fue en ese momento que Google envió un mail a su equipo diciendo que aceptaban la renuncia de Timnit -que ella no había presentado- y quitándole el acceso al correo electrónico corporativo. 

De acuerdo a Google, Timnit simplemente renunció.

Sabemos todo esto porque Timnit lo tuiteó. Y esto generó respuestas. Por un lado, más de 2300 trabajadores de Google (y más de 3700 personas de fuera) firmaron una solicitada en la que piden que expliquen qué pasó exactamente, y que Google fortalezca sus áreas de investigación, garantizando la integridad y la libertad académica.

Jeff Dean, el director del área de investigación en inteligencia artificial, también tuiteó explicando qué había pasado y diciendo que se trataba simplemente de la empresa cumpliendo el protocolo para publicación de una investigación (por cierto, aquí un trabajador dice que eso no es así, y que jamás le revisaron las referencias de un paper). Pero el conflicto no bajó. El jefe directo de Timnit escribió en un post en Facebook que la defendía, y que no podía entender lo sucedido. Finalmente, el CEO de Google, Sundar Pichai, tuvo que decir algo al respecto. En un memo para todos los trabajadores, Pichai dice que toma nota de la reacción que hubo a la salida de Timnit y que van a revisar el proceso para entender exactamente qué pasó, y reflexionar sobre el hecho de que una investigadora importante y de una minoría se fue de Google descontenta. La carta comienza y termina repitiendo el compromiso de Google con la equidad racial. 

Ahora bien, ¿qué es lo que pasó realmente? En este artículo Wired dice que el paper no es para tanto (que no ataca directamente a Google ni a su tecnología, y que no hubiera lastimado su reputación) y que entonces hay algo más. Todo esto es especulativo, por supuesto, pero ¿qué podría ser ese “algo más”? Que Timnit es activista. Co-fundó el grupo Black in AI y trabaja para que haya más diversidad en la industria tecnológica (conocida por ser misógina y racista). Su propio equipo de trabajo en Google era descripto como de los más diversos en inteligencia artificial, y ella se quejaba repetidamente de la falta de diversidad en la empresa. Es decir, para Google es más fácil mostrar diversidad (contratar a gente como Timnit), que practicar diversidad (escuchar y aprender de gente como Timnit). 

Una idea

Van dos. 

Uno, Google es una empresa privada e investigar en una empresa privada no es lo mismo que en una universidad donde hay libertad académica (ojo, también hay restricciones y sesgos en la investigación en las universidades, pero el tipo y la escala de problemas es distinta). Investigadores de otras universidades dicen que el problema no es solo la censura, sino el despido apresurado y sin razones o con razones inventadas. Además, teniendo en cuenta que los graduados de las mejores universidades se van a las compañías tecnológicas porque allí las condiciones de trabajo son superiores a las de la academia, esto representa un alerta en términos de los incentivos que están guiando el avance científico. 

Dos, Google nos quiere hacer creer que lo que es bueno para Google, es bueno para todes. Y no es así. Hay una enorme tensión entre las consecuencias éticas y sociales del desarrollo de inteligencia artificial y el hecho de que ese desarrollo lo hacen corporaciones privadas que quieren hacer plata. Lo que quiere Google es bueno para Google y punto.  

El del estribo

  • Una Ted Talk sobre sesgo en algoritmos. 
  • Hace un año Google despidió a cuatro trabajadores que estaban intentando organizar a otros empleados. Ahora el Consejo Nacional de Relaciones Laborales dice que ese despido fue ilegal y que Google antes de despedirlos los espió. Uno de los despedidos dijo que espera que el Consejo tarde menos en expedirse sobre el caso de Timnit.

[Seamos pillos: te espía a vos, ¿no va a espiar a sus trabajadores? Por cierto, mi chiste favorito sobre cómo todos nos espían me lo contó mi hermana Patricia. Te lo cuento con la esperanza de que te saque una carcajada, o al menos una mueca en forma de sonrisa en este año tan difícil. Dice así: Obama está saludando niños en la Casa Blanca. Un niño le dice “Barack, mi papá dice que nos espiás, ¿es cierto?”. Obama se acerca y le dice al oído: “No es tu papá”.]

Cosas que pasan

  • A Facebook le quieren cerrar el boliche. Está siendo acusado en Estados Unidos de tener un monopolio y emplear una estrategia sistemática para eliminar cualquier amenaza a su posición. Esto redunda, según la acusación, en menos competencia, menos innovación y menos protecciones a la privacidad. La acusación es coordinada, pero separada entre 46 Estados de ese país (más Washington DC y Guam) y la Comisión Federal de Comercio. Podés leer más al respecto acá

Gracias por llegar hasta acá.

Un abrazo

Jimena

PD: Desde hace meses recibo en mi casilla varios de los newsletters de Cenital, y ahora estoy (también) del otro lado. Si tenés ganas, podés colaborar con nuestro periodismo acá.

Este es el newsletter Burofax de Cenital.
Podés suscribirte para recibirlo completo en tu correo. Es gratis.
Soy economista (UBA) y Doctora en Ciencia Política (Cornell University). Me interesan las diferentes formas de organización de las economías, la articulación entre lo público y lo privado y la relación entre el capital y el trabajo, entre otros temas. Nací en Perú, crecí en Buenos Aires, estudié en Estados Unidos, y vivo en Londres. La pandemia me llevó a descubrir el amor por las plantas y ahora estoy rodeada de ellas.
@jvaldeztappata
MÁS DE Burofax

Apoya nuestro periodismo

Si te gusta lo que hacemos, ayudanos a seguir haciéndolo.