La IA no necesita tener razón

En enero de 2025, Lina denunció en Benalmádena las amenazas de su expareja. Un agente recogió su testimonio y lo tradujo a un cuestionario de treinta y cinco preguntas: antecedentes, hijos en común, grado de control del agresor, amenazas previas. El sistema procesó esas respuestas y devolvió un veredicto: riesgo medio. Tres semanas después, Lina fue presuntamente asesinada.

El sistema se llama VioGén, y lleva desde 2007 clasificando a las víctimas de violencia de género que denuncian en España. Conviene ser precisos con lo que hace y lo que no hace, porque ahí está el argumento. Nadie sustituye a un agente por una IA que escucha a la víctima y decide sola: el testimonio lo recoge y lo interpreta una persona, marcando casillas sobre lo que ha oído. Pero una vez rellenado el cuestionario, quien pondera esas treinta y cinco variables y produce la clasificación —no apreciado, bajo, medio, alto, extremo— no es el agente. Es un algoritmo cuyo código fuente nunca se ha hecho público. Ni los investigadores que han intentado auditarlo por ingeniería inversa, ni el agente que marcó las casillas, ni la propia víctima, pueden reconstruir por qué esas respuestas dieron riesgo medio y no alto. El algoritmo pasa a ocupar una posición decisiva en la valoración del riesgo, aunque existan márgenes de actuación humana.

Este díptico llevaba dos entregas sosteniendo que el peligro de la inteligencia artificial no depende de que nos odie ni de que despierte a la conciencia. Basta con que el comportamiento produzca los mismos efectos que produciría la malicia o la voluntad, sin que exista ninguna de las dos. VioGén añade una tercera pieza a esa misma estructura, y es la más incómoda de las tres, porque no exige imaginar ningún escenario futuro. Ya está funcionando. Un sistema puede equivocarse —los propios estudios de validación del Ministerio del Interior sitúan su valor predictivo positivo para los casos de violencia grave en torno al 15%, con una especificidad que en algunas versiones del formulario no llega al 30%— y aun así seguir siendo la base sobre la que se decide, todos los días, si una mujer recibe protección o no. No hace falta que el sistema tenga razón. Basta con que sigamos delegando en él aunque siga equivocándose, porque la alternativa —evaluar caso por caso, sin apoyo algorítmico, a la escala de ochocientas mil denuncias— se ha vuelto impensable.

Aquí vamos a detenernos en lo que realmente se pierde, porque no es exactitud. La exactitud, de hecho, nunca ha sido la condición para que una decisión resulte legítima. Perelman lo formuló claramente hace más de setenta años: lo propio de la argumentación no es demostrar una verdad con la certeza de un teorema, sino ofrecer razones capaces de ser examinadas, discutidas y eventualmente rechazadas por un auditorio. Una sentencia puede estar equivocada y seguir siendo una sentencia, precisamente porque cabe recurso: alguien puede señalar dónde falla el razonamiento, porque el razonamiento existe y es públicamente accesible. Habermas añadía la otra mitad de la condición: una pretensión de validez solo tiene fuerza vinculante si puede, en principio, ser redimida discursivamente, sometida a las razones de quien la cuestiona. Lo que hace VioGén no es fallar dentro de ese espacio. Es no pertenecer a él. La clasificación de riesgo no se argumenta ante nadie. No se le pueden pedir razones, porque no hay un lugar donde esas razones estén formuladas en un lenguaje que un humano pueda seguir. Hay un peso interno, no expuesto, actuando sobre variables que sí conocemos.

Por eso el título de este artículo no es una provocación retórica. La inteligencia artificial no necesita tener razón para gobernar una decisión, del mismo modo que no necesitaba odiarnos ni despertar para producir daño. Le basta con ocupar el lugar donde antes había un razonamiento que, acertado o no, podía enunciarse, discutirse, apelarse. Cuando ese lugar se vacía de argumento y se llena de ponderación estadística opaca, la decisión sigue existiendo —sigue teniendo consecuencias, a veces letales—, pero ha dejado de pertenecer a la plaza pública. No porque se haya tomado en secreto, sino porque ya no está hecha del material del que se hacen las cosas discutibles.

Los responsables políticos de VioGén no ocultan sus fallos: los reconocen y siguen defendiendo el sistema con el mismo argumento, «salva vidas», que no es un argumento sobre el caso de Lina sino sobre el conjunto. Es un argumento estadísticamente defendible y, al mismo tiempo, el tipo exacto de razón que Perelman consideraría inadmisible frente a un auditorio particular: nadie, ante la familia de una víctima mal clasificada, puede sustituir la explicación de por qué falló su caso por la cifra agregada de a cuántas ha salvado. Y sin embargo tampoco es evidente que abandonar el sistema —volver a un juicio exclusivamente humano, con sus propios sesgos, su propia fatiga, su propia inconsistencia— produjera menos muertes. Ahí es donde el argumento se queda, deliberadamente, sin cerrar.

Víctor Martínez López (Murcia, 1973) es un abogado vinculado a las industrias creativas, creativo publicitario y especialista en comunicación social.