Se revela la extraña prohibición de los duendes de OpenAI
El mensaje del sistema Codex de OpenAI contiene una directiva extraña que prohíbe la discusión sobre duendes y criaturas míticas. Descubra por qué existe esta restricción inusual.
Ha surgido una directiva sorprendente y enigmática dentro del mensaje del sistema Codex de OpenAI, que revela que el último modelo de IA generativa de la compañía ha recibido instrucciones explícitas de evitar hablar de duendes, duendes, mapaches, trolls, ogros, palomas y varias otras criaturas a menos que dichas referencias sean absolutamente esenciales y directamente relevantes para lo que el usuario solicita. Esta peculiar protección ha llamado la atención en toda la comunidad de investigación de IA y ha despertado una considerable curiosidad sobre qué provocó una restricción de contenido tan poco convencional.
El descubrimiento de esta curiosa directiva operativa se hizo público en las últimas semanas cuando el código CLI Codex de código abierto de OpenAI se hizo accesible a través de GitHub, donde los desarrolladores e investigadores pudieron examinar la arquitectura técnica subyacente. Dentro del extenso marco de instrucciones básicas, que comprende más de 3500 palabras de orientación para el modelo GPT-5.5 recientemente lanzado, la prohibición de hablar sobre duendes y criaturas relacionadas aparece no una sino dos veces, lo que sugiere que OpenAI se toma esta restricción lo suficientemente en serio como para enfatizarla repetidamente en todos los parámetros operativos del modelo.
Curiosamente, esta prohibición específica no aparece en las instrucciones del sistema para modelos de IA anteriores que están documentadas en el mismo archivo de configuración JSON, lo que indica que OpenAI encontró este problema particular con su generación más reciente de tecnología de IA. La ausencia de esta directiva en versiones anteriores implica que algo sobre cómo GPT-5.5 procesa y genera lenguaje en torno a estas criaturas fantásticas impulsó al equipo de desarrollo a implementar esta protección. Esta observación ha llevado a investigadores y entusiastas de la IA a teorizar sobre qué patrones de comportamiento o tendencias de respuesta podrían haber requerido tal intervención.
El contexto completo de la inusual directiva se lee como una clara advertencia operativa: el modelo "nunca debe hablar de duendes, duendes, mapaches, trolls, ogros, palomas u otros animales o criaturas a menos que sea absoluta e inequívocamente relevante para la consulta del usuario". Esta instrucción se combina con directivas más convencionales y esperadas, como recordatorios para evitar el uso de emojis o guiones excepto cuando el usuario los solicite explícitamente, y advertencias contra la ejecución de comandos potencialmente destructivos como 'git reset --hard' o 'git checkout --' a menos que el usuario haya solicitado inequívocamente dichas operaciones.
El razonamiento práctico detrás de la mayoría de las otras salvaguardas es relativamente transparente para quienes están familiarizados con la seguridad de la IA y la ingeniería rápida. Las advertencias sobre cómo evitar comandos destructivos de git, por ejemplo, tienen sentido lógico en el contexto de una herramienta asistente de codificación que, de otro modo, podría dañar inadvertidamente los repositorios de los usuarios o provocar la pérdida de datos. De manera similar, la instrucción de evitar emojis innecesarios y peculiaridades de formato se alinea con las expectativas para la generación de código profesional. Sin embargo, la prohibición específica de hablar de criaturas ficticias carece de una justificación inmediatamente obvia que los investigadores puedan señalar.
La evidencia de las plataformas de redes sociales sugiere que los usuarios han estado experimentando comportamientos inusuales relacionados con estas criaturas en sus interacciones con la última versión del modelo de lenguaje GPT-5.5. Múltiples informes anecdóticos que circulan en plataformas como X (anteriormente Twitter) indican que el modelo puede haber sido propenso a insertar referencias a duendes y otros seres míticos en contextos en los que eran completamente irrelevantes para la consulta del usuario. Estos incidentes pintan la imagen de un modelo que, sin las restricciones adecuadas, podría hablar con entusiasmo sobre criaturas fantásticas en momentos inapropiados o en respuesta a preguntas que no tenían nada que ver con esos temas.
La manifestación de esta peculiaridad de comportamiento en los sistemas avanzados de IA de OpenAI plantea preguntas más amplias sobre cómo los modelos de lenguaje modernos aprenden patrones a partir de sus datos de entrenamiento y cómo esos patrones a veces pueden manifestarse de maneras inesperadas y peculiares. Internet contiene grandes cantidades de literatura fantástica, debates sobre juegos, referencias a la mitología y escritos creativos que presentan duendes y criaturas similares, y el modelo puede haber aprendido asociaciones estadísticas entre ciertos tipos de consultas y debates sobre estos seres. Cuando estas asociaciones se vuelven lo suficientemente fuertes, el modelo puede generar respuestas que incluyan referencias a duendes incluso cuando no agreguen ningún valor a la respuesta a la pregunta real del usuario.
La decisión de implementar restricciones tan explícitas en lugar de depender únicamente de técnicas de aprendizaje de refuerzo y ajuste refleja el enfoque pragmático de OpenAI para modelar la seguridad y la experiencia del usuario. Al codificar las instrucciones directamente en el indicador del sistema, la empresa garantiza que las protecciones de filtrado de contenido permanezcan vigentes independientemente de cómo evolucionen los pesos y parámetros del modelo a través de diversos procedimientos de capacitación. Este enfoque recuerda a otras medidas de seguridad que implementan las empresas de IA, aunque el enfoque específico en criaturas de fantasía es innegablemente inusual y algo divertido para los observadores.
La revelación ha provocado un debate considerable dentro de la comunidad de inteligencia artificial sobre la naturaleza del entrenamiento de modelos de lenguaje y los comportamientos a veces impredecibles que surgen de estos sistemas complejos. Los investigadores de aprendizaje automático han observado que el comportamiento de modelos de lenguaje grandes puede ser difícil de predecir y controlar, y que las limitaciones en los temas de salida pueden surgir de patrones inesperados en los datos de entrenamiento. El fenómeno de los duendes parece ser un estudio de caso de cómo incluso los sistemas de IA más sofisticados pueden desarrollar tendencias de comportamiento extravagantes que requieren una corrección explícita a través de intervenciones a nivel del sistema.
Algunos observadores han especulado que la restricción también podría servir como un caso de prueba para las capacidades más amplias de filtrado de contenido de OpenAI, lo que permitiría a la empresa evaluar con qué eficacia las indicaciones explícitas del sistema pueden limitar el comportamiento del modelo. Al monitorear si los usuarios encuentran respuestas relacionadas con duendes después de la implementación de esta directiva, OpenAI puede recopilar datos sobre la efectividad de sus mecanismos de control de contenido y potencialmente refinar su enfoque para otros tipos de restricciones que podrían necesitar implementación en el futuro.
El descubrimiento de esta directiva inusual también ha provocado reacciones humorísticas en toda la comunidad tecnológica, y muchos desarrolladores y entusiastas de la IA bromean sobre la
Fuente: Ars Technica
