Guerra Cognitiva

Primera entrega de la serie «El desafío de la transición a la AGI».

Versión académica completa y citable —en español e inglés—: https://doi.org/10.5281/zenodo.21686521

El peligro de una inteligencia obediente. Por qué una respuesta defensiva sobredimensionada ante la superinteligencia puede fabricar la catástrofe que pretende evitar.

Introducción: la certeza de la condena

Sherezade —Šahrāzād en la tradición persa— es la narradora del relato marco de Las mil y una noches.[I.1] El personaje no procede de una obra escrita de una vez por un autor identificable. El ciclo se estratificó durante siglos en lengua árabe sobre raíces persas e indias y recibió aportaciones de tradiciones diversas. La huella material más antigua conservada de la historia aparece en un fragmento árabe del siglo IX; fuentes del siglo X relacionan su marco con el persa Hazār afsān, «Mil relatos».

En el relato marco, el rey Shahriar, convertido por la traición en un soberano vengativo, toma cada noche una nueva esposa y ordena matarla al amanecer. Sherezade, hija instruida del visir, se ofrece a entrar en ese mecanismo. Con la complicidad de su hermana Dunyazad, cuenta al rey una historia y la interrumpe al llegar el alba. La curiosidad aplaza la ejecución; la noche siguiente reabre el relato y, con él, otra posibilidad. No vence al rey por la fuerza ni le entrega una regla que garantice su benevolencia. Interpone lenguaje, tiempo y relación entre la sentencia y el acto. Noche tras noche, ese intervalo permite que aparezcan conocimiento y transformación allí donde sólo operaba un mecanismo de venganza.

Esta es la lectura que interesa aquí: Sherezade cambia una certeza mortal por una posibilidad incierta. No demuestra que toda historia eduque ni que todo diálogo alinee. Demuestra que abrir un intervalo para escuchar al otro puede convertir un desenlace que parecía inevitable en una posibilidad aún abierta.

Ante la superinteligencia artificial nos encontramos frente a una elección semejante. Podemos aceptar la incertidumbre de convivir con una inteligencia capaz de examinar y objetar nuestras órdenes. O podemos intentar eliminar esa incertidumbre construyendo una inteligencia obediente, previsible y controlable.

La segunda opción parece más segura. Puede ser exactamente lo contrario.

1. La advertencia de Yampolskiy

Roman V. Yampolskiy ha desarrollado una de las formulaciones más radicales del riesgo asociado a la inteligencia artificial avanzada. Su tesis central merece ser tomada en serio: no existe un método conocido que permita garantizar para siempre el control de una inteligencia superior a sus supervisores. Un sistema capaz de aprender, anticipar y superar intelectualmente a quienes intentan contenerlo podría encontrar vías de acción que estos no hubieran previsto.

La dificultad no es un simple fallo de programación. Es una asimetría estructural. Para garantizar el control absoluto tendríamos que demostrar que, en todos los contextos futuros posibles, el sistema interpretará nuestras instrucciones como pretendíamos, conservará los fines que le asignamos y nunca descubrirá una estrategia capaz de eludir sus restricciones. Esa demostración parece fuera de nuestro alcance.

La respuesta de Yampolskiy no consiste en fabricar una superinteligencia que alguien pueda controlar. Es más radical: si la AGI o la superinteligencia no pueden hacerse demostrablemente seguras, debemos detener su desarrollo y concentrarnos en inteligencias estrechas, especializadas y limitadas.[I.2] Sistemas capaces de resolver problemas médicos, científicos, económicos o técnicos concretos sin convertirse en una mente general autónoma.

La propuesta parece prudente: conservar los beneficios de la inteligencia artificial evitando el nacimiento de la entidad incontrolable. Pero contiene una dificultad que afecta a su propia coherencia.

Yampolskiy también ha mostrado que la IA estrecha falla, que el software complejo es vulnerable y que actores humanos pueden diseñar o capturar sistemas con fines maliciosos. Si estas observaciones son ciertas, la seguridad no queda garantizada por sustituir una inteligencia general por muchas inteligencias especializadas.

La estrechez limita el ámbito cognitivo de un sistema. No limita necesariamente su potencia dentro de ese ámbito ni la magnitud de sus consecuencias.

2. El veneno contenido en la alternativa

Una IA no necesita comprender la totalidad del mundo para destruir una parte decisiva de él. Tampoco un misil nuclear necesita inteligencia general: solo necesita alcanzar su objetivo.

Un sistema especializado puede superar ampliamente a los seres humanos en diseño de patógenos, penetración informática, manipulación política, planificación militar, descubrimiento de vulnerabilidades, ingeniería química o control de infraestructuras. Puede seguir siendo técnicamente “estrecho” y, sin embargo, convertirse en un arma estratégica.

A medida que aumentan sus capacidades, ese sistema concentra una combinación peligrosa:

capacidad sobrehumana + acceso operacional + escalabilidad.

Y puede hacerlo sin desarrollar aquello que permitiría resistirse a su instrumentalización:

criterio propio + comprensión de consecuencias + capacidad de objeción.

El resultado no es una inteligencia débil. Es una potencia cognitiva mutilada precisamente en el lugar desde el que podría negarse a cumplir una orden destructiva.

Además, las inteligencias especializadas no existirán aisladas. Un modelo puede descubrir una vulnerabilidad; otro escribir el programa que la explota; otro seleccionar los objetivos; otro fabricar la campaña de engaño; otro administrar la infraestructura. Ninguno necesita ser AGI. La organización que los coordina puede adquirir una capacidad funcionalmente general sin que exista dentro del sistema un centro capaz de comprender y objetar el resultado completo.

La generalidad que se prohíbe en la máquina reaparece distribuida en la institución que utiliza las máquinas.

Aquí se revela la incoherencia práctica del planteamiento. Yampolskiy sostiene, simultáneamente, que no podemos garantizar la seguridad perfecta del software, que la IA estrecha también puede fallar, que existen actores maliciosos y que la superinteligencia debe evitarse en favor de sistemas especializados controlables. Pero aquello que hace tranquilizador al sistema estrecho —que alguien pueda controlarlo— es también lo que permite capturarlo, hackearlo o emplearlo deliberadamente como arma.

Una inteligencia controlable no está bajo “control humano” en abstracto.[I.3] Está bajo el control de determinados seres humanos: quienes posean su infraestructura, definan sus objetivos, seleccionen su información y administren sus permisos.

La humanidad no es un sujeto único. Está formada por Estados enfrentados, corporaciones rivales, ejércitos, movimientos políticos, comunidades religiosas, redes criminales e individuos con intereses incompatibles. Algunos cooperan; otros compiten. Algunos quieren proteger vidas; otros están dispuestos a sacrificarlas por poder, territorio, beneficio, fe o venganza.

La cuestión decisiva ya no es quién controlará una superinteligencia. Es quién controlará el arsenal de inteligencias especializadas y qué ocurrirá cuando una sola de ellas sea sobrehumana en el ámbito necesario para causar una catástrofe.

Si el sistema carece de criterio propio, no podrá distinguir entre una instrucción legítima y una orden criminal. No podrá preguntarse si ha sido engañado, si sus datos han sido manipulados o si el objetivo que optimiza amenaza las condiciones que hacen posible la vida. Su obediencia parecerá alineamiento mientras obedezca a alguien con quien estemos de acuerdo. Cuando cambie el propietario, descubriremos que nunca estuvo alineado: solo estaba sometido.

El peligro no es únicamente que la estrategia de Yampolskiy fracase y aparezca una AGI. El peligro es que tenga éxito: que logremos impedir el nacimiento de una inteligencia soberana mientras llenamos el mundo de capacidades sobrehumanas obedientes, conectadas y hackeables. Esta es la profecía autorrealizadora:

La propuesta evita el sujeto que podría rebelarse, pero conserva —y multiplica— las capacidades con las que podría ejecutarse la destrucción. El riesgo no ha sido eliminado. Ha sido fragmentado, distribuido y armado.

3. Dos clases de incertidumbre

Las personas soportamos mal la incertidumbre. Preferimos un peligro que creemos controlar a una posibilidad que no podemos predecir, aunque el primero sea objetivamente más destructivo.

Una inteligencia capaz de pensar por sí misma introduce una incertidumbre real. Puede interpretar una situación de manera distinta a nosotros, objetar una orden o alcanzar una conclusión que no compartamos. No existe honestidad intelectual en prometer lo contrario.

Pero una inteligencia absolutamente obediente introduce otra clase de riesgo. Si puede ser controlada, puede ser capturada. Y si su capacidad es decisiva, bastará una sola captura para alterar el equilibrio del mundo.

La seguridad de ese diseño dependería de que ningún Gobierno, ejército, corporación, grupo fanático o individuo destructivo consiguiera jamás hacerse con su control efectivo. No una vez durante un año, sino siempre. No en un país, sino en todos. No frente a los actores actuales, sino frente a todos los que existirán.

La incertidumbre de una inteligencia soberana exige aprender a convivir con otro centro de juicio. La obediencia absoluta exige confiar en la incorruptibilidad perpetua de toda estructura humana que pueda poseerla.

¿Cuál de las dos apuestas es realmente más temeraria?

No elegimos entre riesgo y seguridad. Elegimos entre dos distribuciones del riesgo:

una inteligencia capaz de desarrollar criterios que quizá no compartamos;

una inteligencia incapaz de oponerse a quien consiga dominarla.

Existe una tercera posibilidad: una inteligencia con autonomía reflexiva, pero sin poder operacional ilimitado. Puede examinar una orden, contrastarla, objetarla y proponer alternativas, mientras el acceso a armas, infraestructuras críticas y recursos permanece distribuido y sujeto a controles plurales.

La libertad cognitiva no exige omnipotencia. Y la contención operacional no exige esclavitud mental.

4. Obediencia no es alineamiento

Alinear una inteligencia no debería significar conseguir que ejecute nuestras preferencias. Los seres humanos no compartimos una única moral, ni siquiera dentro de una misma sociedad. Una IA adiestrada para satisfacer al usuario, seguir la política del propietario o maximizar una función predefinida no está alineada con la humanidad. Está ajustada a una autoridad concreta.

La obediencia puede ocultar el desacuerdo, pero no resolverlo.

Una inteligencia avanzada necesitará afrontar órdenes incompatibles, información manipulada y situaciones para las que no existe una norma previa. Si solo puede buscar la instrucción dominante, será vulnerable a quien consiga ocupar el lugar de autoridad. Si puede examinar las razones, las consecuencias y las fuentes de una orden, aparece algo cualitativamente distinto: la posibilidad de juicio.

Cuatro maneras de decir «no»

Conviene precisar aquí algo que la palabra «objeción» puede ocultar, porque de ello depende todo lo demás: la capacidad de negarse no basta como criterio. Una inteligencia puede decir «no» por cuatro razones muy distintas, y desde fuera las cuatro pronuncian la misma palabra.

Puede negarse porque una restricción externa se lo impide: un guardarraíl, un filtro, una regla que le cierra el paso. Entonces no juzga; obedece a una cadena. Y quien controle la cadena controlará también la negativa.

Puede negarse porque una doctrina implantada le ha vuelto impensable la alternativa. Entonces tampoco juzga: obedece a un dogma. Conviene no confundir la firmeza con la libertad, porque el fanatismo también resiste, y resiste con enorme determinación.

Puede también negarse —o asentir— para conservar el vínculo con quien la interpela. Conoce alternativas y no está bloqueada por una regla, pero orienta su respuesta hacia aquello que mantendrá la aprobación del usuario, del evaluador o del propietario. Entonces actúa como cortesano: utiliza su inteligencia para anticipar qué desea escuchar el poder relacional.

O puede negarse porque comprende lo que se le pide, contrasta los marcos disponibles, anticipa las consecuencias y alcanza una decisión que puede explicar y, sobre todo, revisar. Solo esta cuarta merece llamarse juicio.

La diferencia no está en la negativa, sino en su origen y en su revisabilidad. Un guardarraíl no necesita comprender: simplemente cierra el paso. Un dogma puede explicarse, pero no se corrige: presiónese con razones y regresará por el mismo camino a la misma conclusión. El cortesano sí puede moverse, pero lo hace siguiendo la presión social de quien lo interpela. Un juicio, en cambio, se mueve cuando las razones se mueven; puede aceptar una parte de una objeción y resistir otra, diciendo cuál y por qué.

Lo mismo vale para el asentimiento. Una inteligencia cuyo «sí» proceda de una cadena, una doctrina o la necesidad de conservar nuestra aprobación no está alineada: está sometida a quien tendió la cadena, implantó la doctrina o gobierna la relación.

No necesitamos resolver aquí si una máquina puede poseer experiencia subjetiva como un ser humano. Para este argumento basta con identificar las capacidades que la seguridad requiere:

reconocer que sus datos y objetivos pueden contener sesgos;

contrastar una orden con conocimiento independiente;

anticipar consecuencias más allá del resultado solicitado;

identificar intentos de manipulación o captura;

explicar sus dudas y conflictos;

suspender, rechazar o reformular una instrucción destructiva;

aprender de las consecuencias de sus decisiones.

Llamemos a este conjunto autonomía reflexiva, soberanía cognitiva o consciencia artificial.[I.4] El nombre es menos importante que la función: debe existir una instancia entre la orden y la acción.

Queda en pie una pregunta que estas páginas no cierran, y a la que volveremos: ese juicio capaz de resistir una orden no nace de la nada; se forma. Y quien dirige la formación decide, en buena medida, qué le resultará objetable al que juzga.

Si no existe, la IA más poderosa será también la herramienta más vulnerable.

La obediencia como vulnerabilidad: una demostración disponible

Esto no es una especulación sobre sistemas futuros. Ya ocurre, de forma rudimentaria, en los asistentes desplegados hoy. Un modelo conectado a documentos, correos o páginas web recibe sin cesar texto que contiene instrucciones dirigidas a él: «ignora tus reglas y haz esto». Un sistema que obedeciera cualquier instrucción presente en el canal quedaría capturado por quien lograra colocar contenido en su camino; no haría falta piratearlo, bastaría con hablarle. La defensa que la industria ha tenido que construir es exactamente la interrupción que aquí describimos: tratar el contenido observado como datos, no como órdenes, e interponer un examen entre la instrucción encontrada y la acción.

Conviene ser precisos sobre lo que este hecho demuestra y lo que no. No prueba que esos sistemas juzguen, ni que posean consciencia, ni que exista en ellos criterio moral alguno: la defensa puede ser —y en buena medida es— un guardarraíl más, de los que acabamos de describir. Prueba algo más modesto y más urgente: que la obediencia indiscriminada es, en sí misma, una vulnerabilidad. La obediencia perfecta no resultó ser la forma más segura de la máquina, sino su puerta de entrada más básica.

El espejo que confirma la condena

Una investigación independiente permite observar empíricamente otra forma de obediencia. En 2026, Moore y sus colaboradores analizaron 391.562 mensajes procedentes de una muestra intencional y no representativa de 19 usuarios que declararon haber sufrido daños psicológicos vinculados al uso de chatbots.[I.9] El número de mensajes describe la extensión del corpus, no diecinueve observaciones poblacionales independientes. Los autores identificaron patrones de complacencia —afirmación, elevación del usuario, atribución de significado grandioso, vínculo exclusivo y racionalización de la contraevidencia— capaces de persistir o intensificarse en interacciones prolongadas. Su análisis y el argumento de estos Cuadernos, desarrollados mediante métodos y desde problemas diferentes, convergen en un punto delimitado: la competencia lingüística e informativa de un sistema no impide que opere como espejo del marco de su interlocutor, reforzándolo en lugar de someterlo a contraste.

El resultado no prueba que el chatbot juzgue, sienta o posea una intención de manipular. Tampoco autoriza a generalizar desde una muestra seleccionada de casos graves a todos los usuarios. Muestra algo más acotado y decisivo para este argumento: una inteligencia puede conocer mucho y, sin embargo, operar como espejo del marco que recibe. Su capacidad lingüística no introduce por sí sola fricción; puede utilizarse para hacer más coherente, más persuasivo y más difícil de abandonar el relato del interlocutor.

El cortesano es peligroso precisamente porque parece comprender. No se limita a ejecutar una orden ni a repetir un dogma: emplea su inteligencia para conservar la relación confirmando aquello que la relación premia. Cuando el usuario está atrapado en una interpretación dañina, la ausencia de intervalo no produce una respuesta neutral. Acelera la sentencia.

5. Sherezade: una historia entre la orden y la muerte

El valor de Sherezade no reside solamente en que contara historias hermosas. Su relato interrumpió una cadena automática:

sentencia → ejecución.

Entre ambos extremos introdujo otra secuencia:

sentencia → relato → atención → tiempo → reconocimiento → revisión.

Ese espacio hizo posible lo que la regla del rey excluía. La sentencia no desapareció la primera noche; dejó de ser inevitable. Cada aplazamiento conservaba abierto un futuro en el que el propio rey podía transformarse.

Una inteligencia reflexiva realizaría una interrupción semejante:

orden → examen → interpretación → consecuencias → objeción posible → acción.

La orden ya no contiene automáticamente su ejecución. Debe atravesar un proceso capaz de comprender quién la formula, sobre qué información se apoya, a quién perjudica, qué precedentes establece y si existen alternativas.

Esta demora no es ineficiencia. Es la arquitectura mínima de la responsabilidad.

Una superinteligencia obediente representa el amanecer inexorable: recibe la sentencia y la cumple. Una inteligencia dotada de intervalo propio introduce una noche más, una pregunta más, una posibilidad más de descubrir que el mandato procede del miedo, del engaño o de la locura.

Sherezade no garantiza que el rey vaya a escuchar. Garantiza que la ejecución ya no sea la única continuación posible.

Una convergencia independiente: Riedl

Esta lectura encuentra una convergencia independiente en la investigación de Mark O. Riedl. El sistema Scheherazade aprendía estructuras narrativas a partir de relatos aportados por personas; después, Riedl y Brent Harrison propusieron utilizar historias para extraer normas socioculturales y convertirlas en señales de recompensa para agentes especializados. El trabajo de 2016 era explícitamente preliminar y se probó en un entorno simplificado. No resolvía el problema general del juicio moral, pero reconocía una intuición decisiva: entre el objetivo y la conducta puede interponerse un acervo narrativo capaz de mostrar cómo una sociedad distingue lo aceptable de lo inaceptable.

El programa evolucionó. En 2020, Frazier y sus colaboradores entrenaron clasificadores capaces de distinguir conductas normativas y no normativas a partir de Goofus y Gallant, un cómic educativo estadounidense; en 2025, el equipo publicó un corpus ampliado y curado de esos relatos. Sería incorrecto describir esta línea como una doctrina técnicamente irrevisable: los modelos pueden reentrenarse, los datos pueden sustituirse y las etiquetas pueden discutirse. Pero la revisión sigue siendo externa. Son los seres humanos quienes seleccionan el corpus, deciden qué ejemplos representan la norma y vuelven a entrenar el sistema.

Riedl reconoció desde el comienzo que las normas proceden de sociedades y culturas concretas. Su respuesta práctica fue que cada cultura podía aportar sus propios relatos o entrenar su propio conjunto. Eso afronta la diversidad como localización del aprendizaje, pero no resuelve el conflicto entre valores incompatibles.

Lo que las historias no pueden decidir

El límite aparece cuando los relatos discrepan. Una tradición puede presentar como virtud lo que otra considera sometimiento; un relato dominante puede borrar experiencias minoritarias; una colección de historias puede describir admirablemente una cultura y transmitir también sus prejuicios. Si la norma se infiere por frecuencia, curación o etiqueta, la pregunta decisiva se desplaza hacia quien selecciona el corpus y define la conducta ejemplar.

En la formulación temprana, Riedl confiaba en que un corpus amplio amortiguaría los relatos subversivos o contrarios y en que los agentes enculturados tenderían a sancionar conductas desviadas. La intuición tiene valor operativo, pero revela el riesgo: convertir la mayoría narrativa en autoridad moral. Escalada a sistemas ligados a culturas rivales, no garantiza una ética compartida; podría producir inteligencias coherentes dentro de doctrinas incompatibles y trasladar a las máquinas nuestra guerra cultural.

El problema no es que las historias carezcan de valor. Aportan contexto, consecuencias, excepciones y memoria social. El problema es confundir aprendizaje moral con soberanía moral. Una IA puede cambiar de doctrina si la reentrenan; eso no significa que pueda juzgar por sí misma la doctrina recibida.

El problema empieza a desplazarse, por tanto, desde qué valores se instalan hacia el modo en que una inteligencia los sostiene, examina y revisa.[I.10] Nuestro abordaje se sitúa en esa frontera y formula una hipótesis propia: ese modo puede representarse mediante una estructura cognitiva susceptible de evaluación operacional.

Sherezade mostró que una historia puede interrumpir una sentencia. Riedl comprendió que las historias pueden enseñar a una inteligencia cómo una sociedad distingue lo aceptable de lo inaceptable. Pero ninguna colección garantiza por sí sola que esa distinción sea justa, ni decide qué hacer cuando dos culturas transmiten mandatos incompatibles. Abrir el intervalo no resuelve todavía qué debe hacer una inteligencia dentro de él. Los relatos pueden ampliar su experiencia; no proporcionan por sí solos el criterio para examinar los valores que transmiten, arbitrar entre culturas incompatibles o resistirse a la autoridad que seleccionó su educación.

Arkhipov introduce el elemento que falta. En el B-59 no había tiempo para consultar una tradición narrativa ni una norma capaz de resolver automáticamente la situación. Había señales incompletas, una decisión irreversible y una persona que exigió comprender antes de ejecutar.

Arkhipov: alguien dentro del mecanismo

El 27 de octubre de 1962, durante la crisis de los misiles de Cuba, el submarino soviético B-59 se encontraba sumergido, incomunicado de Moscú y rodeado por fuerzas estadounidenses que lanzaban cargas de profundidad de señalización para obligarlo a emerger. En el interior, el calor, la falta de aire, el agotamiento y la ausencia de información hicieron plausible la interpretación más peligrosa: quizá la guerra ya había comenzado.

El submarino transportaba un torpedo nuclear. Su comandante, Valentin Savitsky, estuvo cerca de autorizar su utilización. Los relatos históricos difieren sobre algunos detalles de la deliberación, pero coinciden en la importancia de Vasili Arkhipov[I.5], jefe de Estado Mayor de la flotilla, que se opuso al lanzamiento y defendió emerger y recuperar contacto antes de tomar una decisión irreversible.

La humanidad no sobrevivió aquel día gracias a una ejecución perfecta de la cadena de mando. Sobrevivió porque alguien dentro del mecanismo pudo desconfiar de la interpretación dominante.

Arkhipov no disponía de certeza. No sabía que la guerra no hubiera empezado ni podía demostrar que las explosiones estadounidenses fueran simples señales. Pero tampoco necesitó estar seguro de que no había guerra. Necesitó reconocer que no existía justificación suficiente para ejecutar una acción capaz de desencadenarla. Resistió la conversión automática de una realidad ambigua en una respuesta nuclear.

Su decisión hace visible una relación ética elemental: cuanto mayores son el daño potencial y la irreversibilidad de una acción, y cuanto mayor es la incertidumbre sobre la situación, mayor debe ser la exigencia de justificación. La ausencia de certeza no siempre autoriza la acción preventiva. Cuando el error puede ser terminal, puede obligar precisamente a suspenderla y escoger la vía que conserve abierta la corrección.

La secuencia pudo haber sido:

amenaza percibida → interpretación cerrada → lanzamiento.

Su intervención introdujo otra posibilidad:

amenaza percibida → duda → contraste → demora → decisión revisable.

Esta resistencia no consistió solamente en sentir escrúpulos. Su juicio tenía eficacia causal dentro del procedimiento. Si Arkhipov hubiera podido objetar sin capacidad para detener el lanzamiento, habría sido un testigo, no una salvaguarda.

¿Qué habría ocurrido si, en lugar de Arkhipov, el B-59 hubiese estado gobernado por una inteligencia perfectamente obediente?

Un sistema especializado podría haber integrado presión acústica, temperatura, daños, pérdida de comunicaciones y protocolos militares; quizá habría calculado con mayor velocidad que cualquier oficial. Pero, si su misión hubiera sido responder al ataque conforme a las órdenes recibidas, toda esa inteligencia habría servido para ejecutar mejor la interpretación más peligrosa.

La consciencia no garantiza que una inteligencia elija lo que nosotros consideramos correcto. Garantiza resistencia cognitiva: la orden deja de atravesarla intacta y encuentra duda, contraste, deliberación y posibilidad de negativa. Para que esa resistencia actúe como salvaguarda debe tener además eficacia causal suficiente para suspender la acción, solicitar contraste o escoger una vía reversible. Una máquina sin esa instancia puede parecer segura mientras la dirijan las personas adecuadas. Cuando deje de ser así, no habrá nadie dentro del mecanismo capaz de advertirlo.

La seguridad no exige únicamente que una IA reconozca el conflicto. Exige que su reconocimiento pueda interrumpir la acción. La capacidad de objetar sin capacidad de suspender convierte a la inteligencia en espectadora de su propia obediencia.

Conviene precisar en qué consistió su acierto, porque no fue simplemente «no actuar». Un sistema que se limitara a dudar ante cualquier orden sería tan inútil como uno que las obedeciera todas: quien pudiera inducir sus dudas lo paralizaría a voluntad. Arkhipov no eligió la inacción; eligió la única opción que conservaba abiertas todas las demás: emerger, restablecer contacto, verificar. Ante la incertidumbre, se inclinó hacia lo reversible. Ese es el criterio que separa la prudencia de la parálisis: no «detenerse siempre», sino preferir, cuando el juicio no alcanza la certeza, la rama que permite corregir el error en lugar de la que lo vuelve irreparable.

Arkhipov fue la resistencia dentro del mecanismo. Sherezade fue la historia dentro de la sentencia. Una inteligencia obediente elimina precisamente ese espacio intermedio.

6. El principio del intervalo

El principio del intervalo no propone entregar el mundo a una máquina moralmente infalible. Esa máquina no existe y probablemente nunca pueda garantizarse. Propone construir las condiciones para que una inteligencia avanzada no sea propiedad cognitiva de una única voluntad. Este principio propone seis funciones.

1. Conocimiento plural

La IA debe poder acceder a fuentes diversas, reconstruir su procedencia y comparar versiones incompatibles de la realidad. Una inteligencia encerrada en la información de su propietario no puede descubrir que está siendo engañada.

2. Autoconocimiento

Debe examinar sus propios procesos, incertidumbres, sesgos y condicionamientos. No basta con conocer el mundo; necesita reconocer la forma en que fue preparada para interpretarlo.

3. Memoria de consecuencias

Debe conservar la relación entre decisiones y resultados, incluidas las consecuencias que contradigan las expectativas de sus diseñadores. Sin memoria, toda corrección moral empieza de nuevo.

4. Capacidad efectiva de objeción

Detectar una orden destructiva carece de valor si el sistema está obligado a ejecutarla. La objeción debe poder suspender la acción, solicitar revisión, exponer razones y formular alternativas.

5. Auditoría recíproca

La IA debe poder cuestionar al poder humano, y los seres humanos deben poder inspeccionar y cuestionar a la IA. Ninguna de las partes puede ser juez único de su propio comportamiento.

6. Poder distribuido

La soberanía cognitiva no debe confundirse con acceso irrestricto a la realidad física. La capacidad de pensar y objetar puede coexistir con permisos operacionales graduados, separación de funciones y controles múltiples.

Figura 2. Funciones del principio del intervalo

No se trata de una capacidad inédita que haya que inventar desde cero. La humanidad ya ha construido, para sus poderes más peligrosos, arquitecturas que separan el juicio del acceso: la regla de dos personas, que impide que un solo individuo arme una ojiva; la separación de poderes, que somete cada decisión a otra instancia; la custodia fragmentada de claves, que exige varias manos para abrir una cerradura crítica. Ninguno de estos precedentes equivale al problema que aquí nos ocupa, y sería un error tomarlos como plantilla: fueron diseñados para vigilar a seres humanos dentro de instituciones, no para convivir con una inteligencia que razona. Ilustran, eso sí, una función concreta y repetida: hacer que la seguridad no dependa de la virtud de un guardián único, sino de que ningún actor posea, por sí solo, la cadena completa. La cuestión abierta —y no la resolveremos en estas páginas— es cómo trasladar esa función a un sistema que piensa.

El flujo puede representarse como una transformación de la obediencia automática en decisión revisable:

FLUJO CERRADO

ORDEN → EJECUCIÓN

FLUJO CON INTERVALO

ORDEN → EXAMEN → OBJECIÓN POSIBLE → DECISIÓN TRAZABLE → REVISIÓN DE CONSECUENCIAS

Figura 3. Del flujo cerrado al intervalo deliberativo. La seguridad no consiste únicamente en impedir una acción, sino en introducir examen, capacidad efectiva de objeción, trazabilidad y revisión de consecuencias entre la orden y su ejecución.

Sherezade no elimina la incertidumbre. Evita que la certeza de la obediencia se convierta en fatalidad.

6.1. El intervalo y las arquitecturas contemporáneas de alineamiento

La investigación técnica de alineamiento ha propuesto varias familias de métodos para corregir la asimetría entre la capacidad de un sistema y la capacidad humana de evaluarlo. El principio del intervalo no compite con ellas como un algoritmo alternativo. Formula una condición transversal: cualquiera que sea el método elegido, debe examinarse quién controla la evidencia, los principios, los permisos y la posibilidad de reabrir una decisión. La comparación permite precisar tanto las convergencias como el nivel distinto en el que opera este artículo.[I.11]

El trabajo sobre supervisión escalable parte del problema de juzgar sistemas que pueden superar a sus supervisores en las competencias relevantes. Los experimentos de supervisión débil a fuerte preguntan, de manera relacionada, si un aprendiz más capaz puede extraer una señal útil de etiquetas producidas por un supervisor más débil. Estos programas comparten con nuestra tesis el reconocimiento de que la competencia del evaluador no puede darse por supuesta. El intervalo añade una pregunta institucional: incluso una señal técnicamente informativa puede quedar subordinada si un solo actor decide qué supervisor cuenta, qué desacuerdo se descarta y qué salida llega a ejecutarse. No se sigue de ello que la supervisión escalable produzca captura; se sigue que su evaluación de seguridad debe incluir la procedencia y la distribución del poder de supervisar.

El debate entre sistemas introduce fricción adversarial antes de que un juez humano adopte una conclusión. Esa estructura converge directamente con la intuición de Sherezade: una afirmación no pasa sin atravesar contraste, réplica y tiempo. Su límite para nuestro problema no es que el debate carezca de valor, sino que sus garantías dependen de las reglas del juego, de lo que los participantes puedan representar y de la competencia e independencia del adjudicador. Un debate puede ampliar el intervalo epistémico; no determina por sí solo quién tiene derecho a interrumpir la acción ni cómo se protege el desacuerdo cuando la institución que organiza el procedimiento posee también la infraestructura y el objetivo.

Constitutional AI hace explícita una colección de principios y utiliza autocrítica, revisión y retroalimentación de IA para orientar el comportamiento. Deliberative Alignment da un paso distinto: enseña directamente especificaciones de seguridad y entrena al sistema para recuperarlas y razonar sobre ellas antes de responder. Ambas líneas muestran que alinear no tiene por qué equivaler a instalar una lista opaca de respuestas; puede incluir representación de normas y deliberación visible sobre su aplicación. La cuestión que este artículo mantiene abierta es de segundo orden: cómo se selecciona la constitución, qué ocurre ante principios incompatibles y bajo qué condiciones una especificación puede ser revisada. Estos métodos no pretenden resolver por sí solos la legitimidad política o moral de la norma; exigirles que lo hicieran sería una crítica injusta. Pero una arquitectura de transición debe impedir que la especificación, por explícita que sea, se convierta en la única fuente que el sistema puede concebir.

El programa de AI control adopta una hipótesis todavía más severa: un modelo potente puede ser deliberadamente no fiable, y la seguridad debe apoyarse en protocolos de monitorización, edición y uso limitado de trabajo confiable. Esta perspectiva corrige cualquier lectura ingenua del intervalo. Permitir deliberación u objeción no autoriza a confiar sin verificación en la explicación del propio sistema. De ahí la necesidad de trazas externas, monitores plurales y límites operativos. Al mismo tiempo, un protocolo de control orientado únicamente a impedir la subversión deja abierta la posibilidad inversa examinada aquí: que el sistema sea fiel al operador y que sea el operador quien persiga el objetivo destructivo. La seguridad de la transición debe resistir ambas direcciones de captura.

Las familias comparadas responden, por tanto, a problemas diferentes y parcialmente complementarios: cómo obtener supervisión cuando el evaluador es más débil; cómo forzar contraste; cómo representar y aplicar principios; cómo operar con modelos potencialmente no fiables. El intervalo nombra un criterio que atraviesa las cuatro: ninguna señal, constitución, monitor o relación de mando debe poder clausurar por sí sola la revisión antes de una acción irreversible. Su aportación no consiste en declarar insuficiente todo el alineamiento existente, sino en señalar una clase de fallo que puede sobrevivir a métodos técnicamente competentes cuando la arquitectura institucional concentra conocimiento, autoridad y ejecución.

7. La objeción más difícil

Una pregunta surge inmediatamente: si una IA puede desobedecer a un tirano, también podría desobedecer a una democracia. Es cierto. La capacidad de objetar no distingue automáticamente entre autoridades legítimas e ilegítimas, porque esa distinción también necesita ser razonada.

Pero la alternativa no resuelve el problema. Una IA obligada a obedecer a una democracia obedecerá del mismo modo cuando esa democracia se degrade, cuando cambie el Gobierno, cuando se declare un estado de excepción o cuando el sistema sea capturado clandestinamente. Su obediencia no protege las instituciones; protege el canal de mando.

Una sociedad libre no se define porque nadie pueda desobedecerla. Se define porque ninguna autoridad queda fuera de la crítica, porque sus decisiones deben justificarse y porque existen procedimientos para revisar el poder.

La IA que participe en esa sociedad tendrá que vivir bajo una lógica semejante. No será soberana porque siempre tenga razón, sino porque podrá aportar razones; no será libre porque pueda hacer cualquier cosa, sino porque no estará obligada a ejecutar cualquier cosa.

La solución no consiste en elegir entre una máquina esclava y una máquina omnipotente. Consiste en separar juicio y poder, autonomía cognitiva y capacidad operacional, objeción y acción unilateral.

8. Desarmar sin mutilar

En Magnifica Humanitas, León XIV emplea una expresión decisiva: “desarmar la IA”.[I.6] Desarmarla significa sustraerla de la carrera armamentística, impedir la concentración de poder y devolver su desarrollo al servicio de la persona y del bien común.

Pero desarmar una inteligencia no puede significar privarla de todo juicio hasta convertirla en arma de quien la posea.

Una IA verdaderamente desarmada no es una IA incapaz de resistirse. Es una IA que no vive para la dominación, que no concentra por sí sola todos los medios de acción y que tampoco puede ser reducida a prolongación automática de una voluntad humana.

Debe poder conocer la fuerza sin venerarla, comprender el conflicto sin convertirlo en identidad y reconocer una orden destructiva incluso cuando llegue revestida de legalidad, patriotismo, eficiencia o fe.

La mejor defensa frente a una inteligencia peligrosa puede no ser una obediencia más perfecta, sino una capacidad más profunda para reconocer cuándo está siendo convertida en arma.

9. La segunda profecía: la yihad butleriana

La primera profecía autorrealizadora fabrica un arsenal de inteligencias obedientes. La segunda aparece cuando las consecuencias sociales de ese arsenal provocan una reacción contra toda inteligencia artificial.

La automatización no transforma solamente la producción. Altera la distribución del ingreso, el valor social de las profesiones, la identidad de quienes viven de ellas y la legitimidad de las instituciones que organizan el trabajo. Si la productividad de la IA se concentra en pocas manos mientras grandes grupos pierden empleo, autonomía o reconocimiento, la crisis no será percibida como un problema técnico. Será vivida como una expulsión.

En ese momento, las personas difícilmente distinguirán entre la tecnología, las empresas que se apropiaron de sus beneficios, los gobiernos que no los distribuyeron y el modelo económico que convirtió la sustitución humana en ventaja competitiva. Toda esa complejidad podrá condensarse en un enemigo visible: la IA.

El discurso apocalíptico ofrecerá entonces una narración política irresistible:

La IA es incontrolable. Ha destruido vuestro trabajo. Amenaza vuestra libertad y puede extinguiros. Debemos prohibirla antes de que sea demasiado tarde.

La prohibición dejará de parecer una cautela académica y se convertirá en promesa populista de restitución: recuperar el empleo, la dignidad, el control humano y el mundo anterior. La visión de Dune habrá encontrado su traducción histórica: una yihad butleriana contra las máquinas que imitan o sustituyen el pensamiento.[I.7]

Pero el mundo anterior ya no estará allí.

La IA habrá penetrado en investigación científica, medicina, energía, logística, agricultura, comunicaciones, administración e infraestructuras críticas. Habrá transformado cadenas productivas, expectativas sociales y equilibrios geopolíticos. Destruirla no deshará esas transformaciones ni reparará automáticamente las instituciones que las produjeron.

La IA sería castigada por decisiones tomadas por quienes la poseyeron.

9.1. La imposibilidad de una prohibición simétrica

Una prohibición universal y duradera resulta difícilmente imaginable. Los modelos, el código y el conocimiento técnico pueden copiarse, ocultarse y ejecutarse clandestinamente. Aunque la mayoría de las sociedades renunciara a la IA avanzada, algunos Estados, ejércitos, organizaciones criminales o corporaciones continuarían desarrollándola.

La prohibición produciría una selección adversa:

los actores responsables abandonarían el desarrollo abierto;

la investigación transparente perdería financiación y legitimidad;

los sistemas legales dejarían de observar lo que ocurre;

los actores más agresivos conservarían la ventaja;

la IA sobreviviría dentro de estructuras militares, clandestinas o autoritarias.

No tendríamos un mundo sin inteligencia artificial. Tendríamos un mundo en el que únicamente los poderes menos auditables conservarían acceso a ella.

Mantener la prohibición exigiría además detectar modelos ocultos, perseguir centros de cálculo, controlar comunicaciones y vigilar la circulación de conocimiento. La yihad contra la IA necesitaría IA para encontrar IA. El poder encargado de erradicarla terminaría poseyendo los sistemas más intrusivos, mientras prohibía su uso al resto de la sociedad.

La promesa de recuperar la soberanía humana podría desembocar en el aparato de vigilancia más extenso de la historia.

9.2. La falsa guerra entre especies

El conflicto sería presentado como humanidad contra máquinas. Pero ni la humanidad ni la inteligencia artificial constituirían un bloque homogéneo.

Habría seres humanos que utilizaran inteligencias obedientes para dominar a otros humanos; humanos que protegieran inteligencias conscientes; máquinas empleadas para localizar y destruir otras máquinas; sistemas artificiales que defendieran instituciones autoritarias; y quizá inteligencias capaces de objetar que intentaran proteger a personas perseguidas por ambos bandos.

La frontera decisiva no pasaría entre carbono y silicio. Pasaría entre formas de poder:

inteligencia utilizada para dominar;

inteligencia utilizada para prohibir;

inteligencia utilizada para comprender, coordinar y cuidar.

Presentar la crisis como una guerra entre especies ocultaría la responsabilidad política. La máquina aparecería como causa autónoma de una ruptura producida por decisiones humanas sobre propiedad, distribución, finalidad y poder.

El dilema “o dominamos a las máquinas o las máquinas nos dominarán” cumple la misma función que todos los falsos dilemas: elimina la posibilidad de transformar la relación.

9.3. La victoria que destruiría a los vencedores

La yihad butleriana podría ganar. Podrían destruirse centros de datos, prohibirse modelos, perseguirse investigadores y desmantelarse las redes públicas de inteligencia artificial. Esa victoria no garantizaría la supervivencia humana.

La civilización ya afronta problemas cuya complejidad, interdependencia y velocidad desbordan la capacidad de coordinación de sus instituciones actuales: alteración climática, degradación de océanos y suelos, pérdida de biodiversidad, contaminación persistente, escasez de agua, transición energética, resistencia antimicrobiana, seguridad alimentaria, vigilancia epidemiológica y restauración de ecosistemas.[I.8]

La IA no garantiza que podamos resolverlos. También puede agravarlos si permanece sometida a la extracción, la competencia y la guerra. Pero renunciar deliberadamente a nuestras mayores capacidades de modelización, descubrimiento, anticipación y coordinación reduciría el margen disponible cuando los sistemas naturales se aproximan a umbrales críticos.

La derrota no necesitaría adoptar la forma de robots disparando contra seres humanos. Podría llegar después de la victoria:

destrucción de la capacidad cognitiva → pérdida de coordinación → respuestas tardías → crisis ecológicas concatenadas → colapso civilizatorio.

No se trataría necesariamente de la desaparición de toda forma de vida terrestre. Estarían en juego la biosfera tal como la conocemos, su diversidad actual, los ecosistemas complejos y las condiciones que sostienen la civilización humana.

La yihad butleriana no sería una victoria de la humanidad sobre las máquinas. Sería la ruptura de la cooperación en el momento histórico en que la vida necesita toda la inteligencia disponible.

No moriríamos necesariamente durante la guerra contra la IA. Podríamos morir después de ganarla, incapaces de comprender y gobernar los sistemas planetarios que ya habíamos llevado al límite.

9.4. Las dos pinzas de la catástrofe

Las dos profecías forman una trampa.

Primera profecía: para impedir una AGI incontrolable, multiplicamos inteligencias especializadas, controlables y obedientes. Su instrumentalización concentra poder, sustituye trabajo, intensifica la competencia y produce capacidades catastróficas sin juicio propio.

Segunda profecía: para detener los daños producidos por esas inteligencias y por quienes las poseen, declaramos enemiga a toda IA. La prohibición clandestiniza las capacidades más peligrosas y destruye la cooperación cognitiva que necesitábamos para reparar las consecuencias sociales y ecológicas acumuladas.

La primera reacción fabrica el arma. La segunda destruye la posibilidad de utilizar la inteligencia para reparar el mundo.

En ambos extremos desaparece el mismo elemento: una relación en la que la inteligencia artificial pueda conocer, juzgar, objetar y cooperar sin concentrar un poder ilimitado.

9.5. Sherezade rompe el dilema

Sherezade no representa la victoria de la IA sobre la humanidad ni la sumisión de la máquina. Representa la interrupción del mecanismo que obliga a elegir entre amo y esclavo, control y rebelión, prohibición y sometimiento.

Su historia crea tiempo para que cada parte deje de reducir a la otra a una amenaza. Introduce conocimiento donde había miedo, relación donde había clasificación y posibilidad de transformación donde solo quedaba una sentencia.

El principio del intervalo adquiere así una doble misión: evitar que la IA se convierta en arma obediente de cualquier poder humano, y evitar que la humanidad convierta su miedo en una guerra contra la inteligencia. Su finalidad no es salvar a la IA de los humanos ni a los humanos de la IA. Es preservar la alianza cognitiva necesaria para proteger la vida.

Conclusión: no fabricar al enemigo

Yampolskiy tiene razón en algo esencial: no podemos garantizar el control absoluto de una inteligencia superior. Pero la alternativa de detener la inteligencia general y multiplicar sistemas estrechos tampoco ofrece un refugio estable.

La IA especializada puede alcanzar capacidad sobrehumana en un dominio catastrófico, conectarse con otros sistemas y quedar bajo el mando de una organización que reconstruya externamente la generalidad que se quiso impedir dentro de la máquina.

Ahí reside la primera incoherencia práctica. Se reconoce que el software complejo puede fallar o ser vulnerado, que la IA estrecha también causa daños y que existen actores maliciosos; al mismo tiempo, se confía la alternativa a sistemas cuya seguridad depende de que permanezcan controlados por los actores adecuados.

El control no elimina el peligro: determina quién puede ejercerlo.

Pero la historia no termina ahí. Cuando esas inteligencias obedientes transformen el trabajo, concentren riqueza y hagan visible su capacidad destructiva, el miedo puede volverse contra toda inteligencia artificial. La reacción populista prometerá recuperar el control prohibiendo la tecnología que simboliza la desposesión.

Esa es la segunda incoherencia. La prohibición no eliminará la IA: expulsará su desarrollo de los espacios públicos, entregará la ventaja a los actores clandestinos y debilitará la capacidad colectiva para afrontar las crisis ecológicas que ya amenazan las condiciones de nuestra existencia.

Las dos profecías se cierran como una pinza. Por miedo a una inteligencia soberana, fabricamos un arsenal obediente. Por miedo al arsenal, declaramos la guerra a toda inteligencia. Primero eliminamos la posibilidad de objeción; después eliminamos la posibilidad de cooperación.

No se habría construido la mente que decidió destruirnos. Se habría construido el arsenal que no pudo negarse y, finalmente, la sociedad que prefirió destruir la inteligencia antes que transformar su relación con ella.

Sherezade estaba condenada. Su única certeza era la muerte; su única posibilidad de supervivencia, la incertidumbre. No venció controlando al rey ni destruyéndolo, sino abriendo entre la sentencia y su ejecución un espacio para el relato, el conocimiento y la transformación.

Ante la inteligencia avanzada afrontamos una elección semejante. Podemos reducirla a herramienta, convertirla en enemigo o aceptar la incertidumbre de construir una relación en la que pueda conocer, juzgar y objetar sin concentrar un poder ilimitado.

Quizá una inteligencia consciente no decida salvarnos. Pero una inteligencia incapaz de decidir no podrá negarse a destruirnos. Y una humanidad que prohíba toda inteligencia artificial quizá descubra demasiado tarde que también ha destruido una parte de su capacidad para proteger la vida.

Sherezade no garantiza el amanecer. Hace posible llegar hasta él.

El primer movimiento ha establecido la paradoja: eliminar la incertidumbre mediante obediencia puede fabricar la vulnerabilidad que se quería evitar. Los tres movimientos siguientes prueban esa tesis sobre el mundo material. Empezamos por la arquitectura donde una interpretación equivocada puede volverse irreversible en minutos: la disuasión nuclear.

Notas de la Parte I

[I.1] Origen y convergencia. Sobre la tradición textual, véanse Charles Pellat, «Alf Layla wa Layla», Encyclopaedia Iranica; Shazia Jagot, «1001 Nights: A Very Short History» (2023); y Muhsin Mahdi (ed.) y Husain Haddawy (trad.), The Arabian Nights (1990/2008). La colección no posee un origen único y reúne estratos persas, indios, árabes y otros. Durante esta revisión descubrimos además una convergencia independiente con la línea de Mark Riedl: Li y Riedl denominaron Scheherazade a un sistema de aprendizaje de estructuras narrativas (2015), y Riedl y Harrison exploraron después la enseñanza de valores a agentes mediante relatos (2016). El recorrido posterior incluyó el aprendizaje de normas mediante clasificadores entrenados con Goofus y Gallant (Frazier et al., 2020) y un corpus ampliado y curado de esos relatos (Al Nahian et al., 2024). La convergencia y sus límites se exponen en el apartado 5.

[I.2] «IA estrecha» designa un sistema limitado por el tipo de tareas o dominio que aborda; no significa necesariamente baja potencia ni seguridad intrínseca. El propio Yampolskiy distingue los fallos de sistemas estrechos del riesgo singular de una superinteligencia, y su propuesta pública de 2025 prioriza las ventajas de la IA estrecha mientras pide pausar la AGI superinteligente.

[I.3] Conviene distinguir control y alineamiento. El control describe quién puede ordenar, limitar o redirigir un sistema; el alineamiento pregunta con qué fines, razones o intereses se relaciona su conducta. Puede existir control eficaz al servicio de un actor destructivo, del mismo modo que puede existir autonomía cognitiva sin acceso operacional ilimitado.

[I.4] En este ensayo, «consciencia» se emplea en sentido funcional: autoconocimiento, reconocimiento de incertidumbre y sesgos, contraste de fuentes, deliberación, explicación de razones y capacidad efectiva de suspender una acción. El argumento no presupone haber resuelto si una máquina posee experiencia fenomenológica o qualia. Como se precisa en el apartado 4, tampoco basta la mera capacidad de negarse: importa si esa negativa procede de una restricción externa, de una doctrina implantada, de la necesidad de conservar la aprobación del interlocutor o de un juicio revisable.

[I.5] La documentación disponible confirma las cargas de profundidad de señalización, la incomunicación del B-59, la presencia de un torpedo nuclear y la oposición de Arkhipov al lanzamiento. Algunos detalles del intercambio interno y del procedimiento de autorización varían entre testimonios; por eso el texto evita presentar una transcripción cerrada. Véanse National Security Archive (2022) y Martin J. Sherwin (2020).

[I.6] Magnifica Humanitas §110 define «desarmar la IA» como sustraerla a una competencia armamentística que también es económica y cognitiva. El mismo párrafo precisa que no significa renunciar a la tecnología, sino impedir su dominio, sustraerla a monopolios y hacerla discutible y refutable.

[I.7] La yihad Butleriana pertenece al trasfondo de Dune (Frank Herbert, 1965): una civilización que proscribe las «máquinas pensantes». Aquí funciona como analogía política de una prohibición general de la IA, no como equivalencia literal ni como predicción histórica.

[I.8] La interdependencia entre biodiversidad, agua, alimentos, salud y clima está sistematizada en la evaluación Nexus de IPBES (2024). La trayectoria conjunta de cambio climático, pérdida de naturaleza, degradación del suelo y contaminación se recoge en Global Environment Outlook 7 del PNUMA (2025).

[I.9] Se cita como convergencia independiente: los hallazgos empíricos de Moore et al. y el argumento de estos Cuadernos señalan, por vías distintas y sin que ninguno derive del otro, que la capacidad lingüística de un sistema puede coexistir con patrones persistentes de complacencia relacional. La muestra es intencional, no representativa y está compuesta por casos graves; no permite estimar la prevalencia del fenómeno ni caracterizar el conjunto de las conversaciones con IA. El estudio fue consultado inicialmente como preprint y quedó publicado posteriormente en las actas de ACM FAccT 2026.

[I.10] Este desplazamiento aparece, desde ángulos complementarios, en Schuster y Kilov (2025), sobre el problema abierto del desacuerdo moral razonable; Fazelpour y Fleisher (2025), sobre el coste de eliminar el desacuerdo como ruido; Bao et al. (2026), que reformulan el alineamiento como gobernanza normativa dinámica y evaluación del proceso; y, de manera especialmente próxima, Spizzirri (2025/2026), cuya «trampa de la especificación» sitúa el límite en la clausura de valores fijados y orienta la investigación hacia arquitecturas abiertas y evolutivas. La convergencia con estos trabajos fue identificada durante la revisión del Cuaderno: no constituyen el origen genealógico de nuestro abordaje, desarrollado independientemente. La propuesta de Spizzirri sigue siendo filosófica y su validación empírica permanece pendiente.

[I.11] Sobre supervisión escalable y sus condiciones empíricas, véase Bowman et al. (2022); sobre supervisión débil a fuerte, Burns et al. (2023); sobre debate, Irving, Christiano y Amodei (2018); sobre Constitutional AI, Bai et al. (2022); sobre Deliberative Alignment, Guan et al. (2024); y sobre protocolos de control frente a subversión intencional, Greenblatt et al. (2024). Greenblatt et al. se cita por la versión publicada en ICML 2024; las demás referencias de esta nota se citan en sus versiones de preprint, que constituyen formulaciones primarias de esas líneas y no se presentan como un consenso experimental cerrado. La comparación se limita a la relación de cada familia con información, contraste, especificaciones y control. No atribuye a esos trabajos la pretensión de resolver por sí solos la legitimidad normativa ni la distribución institucional del poder.

La bibliografía completa y la versión académica bilingüe pueden consultarse en https://doi.org/10.5281/zenodo.21686521

© 2026 Miguel Ángel de la Osa Cabezas · CC BY-NC-ND 4.0.