Gemelo digital social y el lado oscuro de los datos: la tensión entre algoritmos y democracia

Imagen   por Sociograma

«El poder tiene una irresistible tendencia a esconderse», escribe Norberto Bobbio, preocupado por delinear una definición de democracia. Ser invisible es parte del arte de dominar, ocultar las costuras, pintar encima de las manchas de humedad. El autor resuelve: democracia es «poder en público», que las decisiones políticas se tomen a plena luz del día. Esa tecnología institucional se apoya en mecanismos que pretenden empujar la deliberación hacia un lugar en donde las cosas se vuelvan un poco más debatibles, objetables y, sobre todo, disputables.

A finales de mayo, el Ministerio de Capital Humano publicó en sus redes sociales un video anunciando el desarrollo de un sistema llamado «Gemelo Digital Social» que promete ser «un cambio de paradigma en la política social con el uso de Inteligencia Artificial». Fiel al estilo del gobierno libertario, el video no solo no entra en detalles acerca de este plan ambicioso, sino que tampoco fue acompañado por una declaración, una conferencia de prensa ni nada que profundice en los detalles de implementación de un sistema que modificaría radicalmente la forma de implementar políticas sociales en el país.

A pesar de la nula información provista por el Ministerio, el video promete integrar múltiples bases de datos con el objetivo de «innovar en política social y optimizar políticas públicas».

Los «gemelos digitales» son modelos computacionales que emulan productos, sistemas o procesos «reales». Es una herramienta ampliamente utilizada en las industrias manufactureras, para desarrollos ingenieriles o incluso investigación científica, con el objetivo de poner a prueba esos procesos del mundo real en caso de que deban ser modificados o reparados en un entorno digital que no perturbe el funcionamiento regular.

Lo que los distingue de otros tipos de simulaciones computacionales es que son alimentados con información en tiempo real de los procesos que simulan, una especie de réplica digital para optimizar procesos, líneas de montaje o cualquier flujo de información.

Lo «novedoso» del anuncio del Gobierno nacional es aplicar un sistema de este tipo para políticas sociales, integrando múltiples bases de datos sobre los ciudadanos que, si bien ya existen, tienen el potencial de convertirse en dispositivos de cibervigilancia y realizar monitoreo en tiempo real de los movimientos de la ciudadanía.

La cercanía de Javier Milei con figuras de la élite de Silicon Valley hace sospechar, además, que la maquinaria necesaria para implementar este sistema sería provista por empresas privadas y extranjeras, algo que pone en jaque la idea de soberanía en frentes distintos.

En ciencias sociales, si bien no solemos hablar de «optimización», sí hablamos —y mucho— sobre las políticas sociales. Para hacerlo, no nos podemos dar licencias. Las materias de metodología, favoritas de muy pocos, son rigurosas al respecto. Sostienen un pensamiento procedimental que suele ir a contramano del espíritu crítico, reflexivo y grandilocuente de otras asignaturas. Con extensos manuales, estas asignaturas se encargan de construir herramientas para responder cómo se va a realizar una investigación sociológica, antropológica o la disciplina devaluada de preferencia. La precisión de esas elecciones “meramente” procedimentales es central en los procesos de evaluación académica, incluso determinante.

Hasta ahora, consideramos que esto se debía a la factibilidad y coherencia del estudio, es decir, a la posibilidad de efectivamente indagar sobre el problema de investigación. Algunos ejemplos: si queremos investigar qué imagen tiene de la política argentina la población que asiste a los recitales del Indio Solari y Los Fundamentalistas del Aire Acondicionado, sería muy extraño que en mi metodología elija consultar informes de la Dirección General de Estadística y Censos. Si quiero saber por qué la informalidad laboral crece en Argentina, difícilmente la metodología predilecta sea hacer grupos focales con personas que asisten a recitales del Indio. Simplemente no me ayuda a construir una respuesta.

Con el lanzamiento del «Gemelo Digital» nos damos cuenta de que hay algo más para arrancarle a esas aburridas y necesarias materias llamadas metodología de la investigación. Cuando el cómo es explícito, se ubican los intereses sociológicos en el lugar de lo público, en ese virtual parque a la luz del día en donde ocurre lo que puede considerarse mínimamente democrático. Una metodología clara abre las posibilidades de debate común. Si en nombre de la eficacia el Estado no te cuenta cómo va a llevar a cabo su «estudio social», hay, de mínima, un motivo de alerta.

«Restituir el espesor del dato es volverlo discutible», afirma Julieta Cattaneo en otra de nuestras columnas, cuando debate contra el economicismo del gobierno de Javier Milei que se vanagloria del equilibrio fiscal, aun degradando las condiciones de vida de la amplia mayoría. Tanto economistas neoclásicos como nuevos tecnócratas (léase con masculino genérico) se arrogan el acceso a la «verdad objetiva», a la realidad concreta, universal y única. Pero un truco que nos enseñan con frecuencia en nuestras desfinanciadas facultades es que, cuando los supuestos se presentan despojados de historia —o de espesor—, el poder anda por ahí, jugando a las escondidas.

Un caso que se asemeja al Gemelo Digital anunciado por Pettovello es el Sistema SyRI (Systeem Risico Indicatie) que implementó el gobierno de Países Bajos. El objetivo era combatir presuntos fraudes en la asignación de beneficios sociales. De más está decir que los resultados fueron desastrosos. Este sistema automatizado vinculó 17 categorías distintas de datos distribuidos en las múltiples agencias del gobierno holandés para generar un índice de riesgo que permitiera detectar fraude. Ni bien fue anunciado, la agencia de protección de datos de Países Bajos manifestó su preocupación por la vinculación de las bases de datos y los peligros de acumular información sensible sobre los ciudadanos.

El funcionamiento del sistema se mantuvo en secreto por diseño, argumentando que de esta manera se minimizaba la posibilidad de que fuera engañado. Así fue que, a poco de su implementación, fue llevado a la Justicia por múltiples organizaciones civiles y sociales, hasta que en 2020 se logró un fallo que ordenó al Gobierno dejar de usar el sistema y desestimar los resultados que se obtuvieron por su implementación.

Activistas de los derechos digitales y de la privacidad sostienen que el fallo es ejemplar por el foco que pone en tres áreas fundamentales: la falta de transparencia, un inadecuado resguardo de información sensible (por la naturaleza de los datos recolectados) y el riesgo de ser discriminatorio con ciudadanos de poblaciones vulnerables. Esto último se ha vuelto aún más importante con la implementación de los chatbots y los modelos masivos de lenguaje, debido a la amplificación de sesgos y la codificación de los valores de quienes han diseñado estos sistemas algorítmicos.

Sin embargo, que el Estado busque tener información en tiempo real de lo que sucede en un país no es en sí mismo una idea descabellada. El problema radica en qué información, cómo se obtiene y con qué fines se pretende recolectar. En la década del setenta, el gobierno encabezado por Salvador Allende en Chile desarrolló un proyecto llamado CyberSin, con el objetivo de recabar información en tiempo real sobre la producción industrial de las empresas estatales y asistir así a la toma de decisiones para orientar la economía. Fue una implementación del Modelo del Sistema Viable, desarrollado por el cibernetista Stafford Beer, y entre sus objetivos incluía también la posibilidad de realizar pronósticos estadísticos y predicciones para prevenir potenciales problemas. El sistema tuvo la oportunidad de mostrar su utilidad durante un lockout patronal de los camioneros en 1972, cuando fue utilizado para distribuir bienes esenciales a lo largo de todo el país con solo 200 camiones.

El contraste entre estos dos sistemas pone de manifiesto la diferencia que hay cuando la tecnología funciona a la par o en reemplazo de la política. La implementación de algoritmos opacos para delegar la toma de decisiones parece responder más a una fantasía tecno-solucionista que a una genuina intención de resolver los problemas que subyacen. El argumento de quienes proponen estas soluciones se apalanca en la idea de legitimidad con la premisa de que el cálculo algorítmico no se equivoca y es imparcial.

Si lo que se busca es montar una red que entrecruce datos acerca de los ciudadanos, sus actividades y comportamientos en tiempo real, empezamos a transitar la frontera que nos lleva al espionaje interno y la cibervigilancia. Nos alejamos de la toma de decisiones asistida por datos en tiempo real para adentrarnos en el terreno de la ciencia ficción distópica al estilo «Sentencia Previa»: ser catalogados como potenciales criminales antes de haber infringido una norma.

El Estado debería dedicarse a la recolección de información sobre la situación del país. Un sistema científico financiado, abierto y coordinado forma parte de ese objetivo. Lo que interesa poner en discusión es quiénes recopilan los datos, de qué manera se construyen, con qué objetivos y cómo se desarrollan. Es preocupante que la toma de decisiones y la implementación de las políticas sociales quede a merced de fantasías tecno-solucionistas, de sistemas opacos y privados, donde la ciudadanía no cuenta con la posibilidad de auditar e interpelar la forma en la que nuestra propia información es usada.

El avance del uso de sistemas algorítmicos para la implementación de políticas sociales es el avance de la unilateralidad corporativa en la toma de decisiones. Defender nuestra soberanía tecnológica se incorpora, entonces, en las agendas de ese futuro que ya llegó.

 La tinta.