¿La dictadura del algoritmo?

Hace varios años escribí junto con María Rubio “El sujeto desde la neurociencia y la inteligencia artificial” (Cabañes y Rubio 2013). Un artículo que pretendía hacer un análisis de los modelos subyacentes de sujeto que están operando en las ciencias cognitivas. Según reza el propio resumen que encabeza el texto:

“¿Qué concepción del ser humano subyace a las ciencias cognitivas? ¿Dónde están los límites de nuestra noción de humanidad? ¿Qué retos plantea la neurociencia y la inteligencia artificial al sujeto contemporáneo?” Éstas fueron algunas de las preguntas que buscamos responder en el artículo, realizando un recorrido desde las teorías de la mente y el sujeto hasta sus consecuencias en el desarrollo de las ciencias cognitivas contemporáneas.

El análisis daba cuenta de los modelos de lo humano que subyacen a las siguientes tecnologías:

- Sistemas expertos.

- Sistemas de razonamiento basado en casos.

- Computación genética.

- Redes Neuronales Artificiales.

- Sistemas multiagentes.

- Humanos en chips

- Nanobots.

Pero no daba cuenta de algo que surge de la interoperatividad de los diferentes agentes, de la complejidad que emerge de la combinación de ellos ni de una de las cuestiones más importantes: lo que deriva de sus usos, y que nos lleva, no a la dictadura del algoritmo, como algunos advierten, sino a la dictadura de quienes controlan los algoritmos.

Si bien veíamos avances en los modelos de sujeto subyacentes a las diferentes técnicas de inteligencia artificial, viendo una evolución desde los modelos conductistas en los que se basan los sistemas de razonamiento basado en casos a los sistemas multiagentes como ejemplo de la posibilidad de teorías de la mente extensa y la cognición distribuida, estábamos perdiéndonos algo en la crítica, que quizá aún no era tan fácil de vislumbrar por aquel entonces.

Las teorías de la mente extensa y la cognición distribuida cambian nuestra ontología: si antes entendíamos la mente como algo anclado a los límites del cráneo, ahora se entienden como entramados relacionalmente dinámicos entre los que se incluyen, entre otras muchas cosas, máquinas y entorno: somos nuestra tecnología, somos todos los agentes (humanos, animales o máquinas) con los que interactuamos. (Andrada, G. y Sánchez, P. 2013)

El concepto de humano se diluye entonces en este entramado. Pero es importante destacar que esta hibridación que en un principio parece significar relaciones de igualdad y de simbiosis no es tal. Es importante que en la idea del sujeto que surge en la hibridación tengamos en cuenta los flujos de poder que determinan al nuevo sujeto. El entramado de relaciones en que nos encontramos no es neutral, hay unos intereses claros tratando de dirigir la nueva configuración de lo humano y de la realidad.

En palabras de Luca Carrubba (en twitter @estereotips):

"Los algoritmos son hoy un espacio de mediación continuo entre humanos y máquinas. Muchas de las actividades humanas hoy en día se rigen en las operaciones llevadas a cabo por algoritmos que analizan nuestros movimientos urbanos, nuestras búsquedas en los motores de búsqueda, con quién nos relacionamos en las redes sociales, lo que nos gusta o no en términos gastronómicos, estéticos y de diversión. Los algoritmos son la matriz constitutiva del presente en nuestra práctica de vida diaria no sólo hacia el espacio tecnológico, sino respecto al espacio social en su conjunto. La capacidad predictiva de los algoritmos es usada para gestionar crisis ambientales o para prevenir situaciones de riesgo natural como en el caso de inundaciones. RecurrimosNos referimos de forma permanente a ellos accediendo a algún servicio en línea que nos ayude a tomar decisiones, sean éstas de carácter estructural o bien transitorio. Estos conjuntos matemático-cognitivos encarnan el estado más avanzado de un capitalismo sin cuerpo, sin Estado, totalizante y biopolítico. Un capitalismo que entra e interfiere no sólo ya con la materia orgánica de los seres vivos —tecnocuerpos, semillas transgénicas, vida artificial—, sino hasta con nuestras emociones y afectividades. Un sistema de producción que supera las necesidades humanas objetivas y que alimenta y abre constantemente nuevos escenarios generando nuevas necesidades. Los algoritmos son el pilar estructural de una maquinaria de guerra que, según cita Michele Willson (2017) «influye en la forma en que llevamos a cabo nuestras amistades (Bucher, 2013), da forma a nuestra identidad (Cheney-Lippold, 2011) y más en general guía nuestra vida (Beer,2009) [trad. propia]» (cf. Willson, 2017:4)." (Carrubba, tesis doctoral en curso).

Actualmente dependemos completamente de los datos que generamos y los algoritmos que los gestionan (puede parecer exagerado, pero pensemos por un momento qué pasaría si de pronto no pudiese acceder a mi cuentas de google, whatsapp, facebook y todos los servicios asociados?), nuestra información viaja en todas las direcciones, en principio, y por simplificar, de cada uno de nuestros dispositivos a las bases de datos de las macro-corporaciones que gestionan software y aplicaciones que empleamos, corporaciones que al tener acceso a nuestra ubicación a tiempo real, nuestros gustos, nuestros círculos de amistades y conocidos; a los mensajes que intercambiamos con ellos, en tiempo, forma y contenido; a nuestras opiniones políticas; a los viajes que hacemos; a lo que compramos; a nuestros perfiles psicológicos y un largo etcétera. Después, esos datos son procesados por algoritmos y vuelven a nosotros en forma de nueva información: nuevos productos que comprar; la mejor ruta para ir al trabajo el día de hoy, a sabiendas de las zonas con mayor y menor tráfico; la información que aparece en nuestras búsquedas (omitiendo o eludiendo la que deja de aparecer en su lugar) y un largo etcétera.

Si nos imaginamos siguiendo las instrucciones de Google Maps o Waze, por citar algunas de las herramientas de los servicios basados en GPS más populares, la imagen del nuevo paradigma de lo humano salta a la vista. El modelo de humano híbrido con la tecnología pasa sutilmente a convertirnos en una mente colmena como la de las hormigas, donde la identidad y decisiones individuales están fabricadas y construidas dentro de un sistema complejo de intercambio de datos mediado por esos algoritmos.

Pero dentro de esta analogía, la hormiga reina de esta gran mente colmena que toma decisiones vitales por nosotros no son los algoritmos, como ya adelantábamos, sino el entramado de intereses económicos y políticos que rigen las macro-corporaciones tecnológicas. La tecnología no es nunca neutral, sino que existe y se modela en base a estos intereses económicos y políticos.

Un ejemplo anecdótico de la inocencia de pensar que la tecnología es neutral, podemos verlo en Tokio, donde un robot se presentó a la alcaldía de un distrito para “acabar con la corrupción” según rezaba su propia campaña y obtuvo la tercera posición en número de votos. Este robot (o más bien los artífices del mismo) asegura poder tomar las decisiones óptimas teniendo en cuenta las opiniones de todos los ciudadanos. Pero nadie se cuestiona de qué modo lo hará, qué valores pesan más que otros a la hora de tomar estas decisiones.

Si indagamos un poco más podemos encontrar que “Detrás de esta inteligencia artificial se encuentran Tetsuzo Matsuda, vicepresidente del proveedor de servicios móviles Softbank, y Norio Murakami, un ex empleado de Google en Japón.” Lo que nos puede mostrar los intereses de dos grandes corporaciones en que la política esté controlada por algoritmos, por sistemas de inteligencia artificial que presentan como neutros a la sociedad.

Si bien los intereses políticos y económicos detrás de las tecnologías no siempre son visibles, han quedado claramente expuestos en el caso de Cambridge Analytica.

Cambridge Analytica es, según indica su propia página web, una empresa con sede en Londres que usa el análisis de datos para desarrollar campañas para marcas y políticos que buscan cambiar el comportamiento del público. El escándalo ha saltado al conocerse que dicha compañía adquirió de forma ilícita información de 50 millones de usuarios de la red social Facebook, con sede en Estados Unidos. ¿Cómo pudo suceder esto? ¿Conocen los test de Facebook que te piden acceder a tu información? Pues así: Aleksandr Kogan, profesor universitario, desarrolló como proyecto personal un test que proponía a los usuarios descubrir su personalidad. Cuando un usuario quería hacer la prueba llamada "Thisisyourdigitallife", la app solicitaba permisos para acceder a su información personal y a la de toda su red de amigos. Por lo que al acceder al test y aceptar las condiciones, todos sus datos y los de sus contactos en Facebook pasaban a ser propiedad del desarrollador. Estos datos fueron vendidos a Cambridge Analytica y empleadosque los emplearon para conocer “a qué tipo de mensaje iba a ser susceptible cada usuario para tratar de influir en su forma de pensar, así como el contenido, el tema y el tono que debían usar en cada caso”.

Aunque han dejado muy claro que Aleksandr Kogan llevó a cabo este proyecto fuera de la universidad, como proyecto propio, es importante mencionar que forma parte del Laboratorio Cambridge Neuroscience. Un laboratorio que según su propia descripción “investiga la prosocialidad y el bienestar desde perspectivas biológicas, psicológicas e interculturales. En particular, estamos muy interesados en la cooperación, la confianza, el altruismo, las emociones positivas, las relaciones cercanas, la felicidad, la salud física y mental y las diferencias interculturales. Empleamos una metodología que combina genética, fisiología, farmacología, encuestas, muestreo de eventos y conjuntos de datos a gran escala.” ¿Hasta qué punto podemos decir que es un estudio independiente cuando su formación, investigación, etc. es financiada y posible por su pertenencia a la universidad? No vamos a entrar aquí en el debate sobre las patentes, ni sobre que las investigaciones  generadas con fondos públicos debieran ser públicas también y no privatizables. Nos interesa más mostrar cómo la producción del conocimiento neurocientífico académico puede también estar sesgada por los intereses de las grandes corporaciones y de cómo herramientas que configuran nuestra subjetividad en cuanto que humanos, están en manos de unos pocos.

Este caso sólo es una muestra, quizá de las más evidentes, de cómo estamos entrando en una nueva concepción de lo humano como mente colmena, dirigidos por la hormiga reina de las grandes corporaciones, pero no es un camino irreversible, está en nuestras manos luchar por los datos abiertos, por la apropiación de estas tecnologías que en lugar de regirse por intereses comerciales, pasen a regirse por el interés común, estamos a tiempo de luchar por la toma de decisiones ciudadanas sobre el uso de los datos que generamos.

Habría entonces que pensar formas distintas para entender nuestra relación con los datos. Varios gobiernos están sumándose a modelos que entienden que los datos abiertos son un procomún y que cada vez están permitiendo el acceso libre a sus datos recabados. Aunque encontramos algunas problemáticas: datos incompletos, liberación de datos limitados o sólo correspondientes a algunas áreas menos conflictivas (aunque se entiende que como parte de un proceso estas deficiencias serán subsanadas con el tiempo). Otra problemática es el modo en que se presentan los datos y lo que la ciudadanía puede hacer con ellos. Habitualmente es muy difícil extraer conclusiones de datos almacenados en interminables tablas de excel, por lo que las visualizaciones cobran una especial importancia para poder comprenderlos. ¿Pero qué pasaría si además pudiésemos interactuar con los datos de modos más dinámicos? ¿Jugar con los relatos que los datos cuentan? Un buen ejemplo de ello es el proyecto de Arsgames recogido en el Atlas de utopías, Juegos del común, un proyecto local que consiste en una colaboración con el Ayuntamiento de Barcelona que toma los datos abiertos de la administración pública y lleva a cabo laboratorios ciudadanos basados en dinámicas de juego, con el fin último de impulsar el empoderamiento y la participación ciudadanas, y promover un pensamiento crítico sobre la función y el valor de los datos y la información en nuestra sociedad. Mediante estos laboratorios ya se han creado cuatro videojuegos disponibles sobre el precio de la vivienda, el turismo, las personas sin hogar… todos ellos temas de gran preocupación para la ciudadanía y que prermiten concienciar sobre las problemáticas al tiempo que permiten comprender el impacto de esos datos o esas cifras.

Un pequeño ejemplo de que aún no es tarde, de que la lucha por la soberanía tecnológica es posible, como también lo son modelos económicos y políticos más justos.

Si, a cada paso, lo humano se redefine desde las innovaciones tecnológicas, las Ciencias cognitivas (entre las que se encuentra la neurociencia, la filosofía de la mente, la inteligencia artificial, etc.) no pueden estudiar los dispositivos tecnológicos y la nueva configuración del sujeto, sin tener en cuenta los intereses económicos y políticos de quienes producen las tecnologías, puesto que lo humano no se define únicamente en su interacción con los modos de producir conocimiento tecnológicamente mediados, sino también, y principalmente por los flujos de poder que los atraviesan, generando la posibilidad de generación de capital simbólico.

Se requiere por tanto de un análisis complejo y crítico, que se posicione del lado del procomún contra los intereses privativos, que prevenga de nuevos casos como el de Cambridge Analytica y que desde una labor divulgativa, ponga estas herramientas en manos de la ciudadanía.

Bibliografía:

Andrada, G. y Sánchez, P. (2013). “Hacia una alianza continental-analítica: el cyborg y la mente extensa”. Actas de Horizontes de Compromiso, 50.o Congreso de Filosofía Joven, Granada. Disponible en:

https://horizontesdecompromiso.files.wordpress.com/2013/06/0661.pdf

Cabañes, E. y Rubio, M. (2013) El sujeto desde la neurociencia y la inteligencia artificial. Revista de estudios de Juventud nº103 del INJUVE: Juventud, neurociencia, tecnología y subjetividad. Diciembre, 2013. Madrid. Disponible en:

https://www.academia.edu/7193638/El_sujeto_desde_la_neurociencia_y_la_inteligencia_artificial

Carrubba, L. (tesis doctoral en proceso de redacción). Los juegos posibles. Un estudio de los videojuegos que desdoblan las categorías clásicas de creación y difusión entre arte, mercado y cultura de masas. Directora: L Baigorri. Fecha de inicio: 2014. Fecha prevista de lectura: Septiembre 2020.