Guía de seguridad de la IA

Alucinaciones

La IA puede afirmar con seguridad cosas que no son ciertas

Una alucinación de IA se produce cuando un modelo de lenguaje genera texto que suena autoritativo y fluido, pero es factualmente incorrecto, fabricado o sin fundamento. El modelo no recupera datos de una base de datos: predice la siguiente palabra más probable en una secuencia. Cuando encuentra una laguna en sus datos de entrenamiento, la rellena con una fabricación que suena plausible en lugar de admitir la incertidumbre. La confianza en la respuesta no se correlaciona con la precisión.

Esto no es un caso extremo poco frecuente. Las tasas de alucinación varían drásticamente según el modelo, la tarea y el método de medición. En tareas de resumen acotadas, los mejores modelos de 2025 alcanzaron tasas inferiores al 1 % (Vectara HHEM Leaderboard, abril de 2025). Pero en tareas abiertas más complejas, las cifras son mucho peores. Un estudio de Stanford y HAI descubrió que los grandes modelos de lenguaje alucinaban entre el 58 % y el 88 % de las veces al generar citas legales. En resúmenes de casos médicos, un estudio de MedRxiv de 2025 midió tasas de alucinación del 64 % sin indicaciones de mitigación. Incluso los propios modelos de razonamiento de OpenAI, o3 y o4-mini, alucinaron un 33 % y un 48 % respectivamente en el benchmark biográfico PersonQA — más del doble que su predecesor, o1.

Un hallazgo crítico de la investigación del MIT (enero de 2025) agrava el problema: cuando los modelos de IA alucinan, tienden a utilizar un lenguaje más seguro que cuando proporcionan información factual. Los modelos tenían una probabilidad significativamente mayor de emplear expresiones como «definitivamente» y «con certeza» al generar información incorrecta. Cuanto más se equivoca la IA, más segura parece.

Ya se han producido daños reales. En Mata v. Avianca (S.D.N.Y., 2023), un abogado de Nueva York utilizó ChatGPT para investigación jurídica y presentó un escrito que contenía seis citas de casos completamente fabricadas — con jueces inventados, números de expediente ficticios y citas internas falsas. El tribunal impuso una multa de 5000 dólares y exigió a los abogados que escribiesen cartas a cada juez cuyo nombre había sido falsamente atribuido a las sentencias ficticias. En Moffatt v. Air Canada (BC Civil Resolution Tribunal, febrero de 2024), un chatbot de Air Canada proporcionó a un cliente información incorrecta sobre la política de tarifas por duelo de la aerolínea, diciéndole que podía solicitar una tarifa reducida retroactivamente en un plazo de 90 días — lo cual contradecía directamente la política real de la compañía. El tribunal declaró a Air Canada responsable por declaración negligente, dictaminando que una empresa es responsable de toda la información en su sitio web, independientemente de si proviene de una página estática o de un chatbot. La System Card de GPT-4 de OpenAI afirma explícitamente que el modelo «alucina» y «puede equivocarse con seguridad». La ficha del modelo Claude de Anthropic advierte igualmente que Claude «puede generar información inexacta».

El problema no va a desaparecer. Una demostración matemática de 2025 confirmó que las alucinaciones no pueden eliminarse por completo con las arquitecturas actuales de grandes modelos de lenguaje. Estos sistemas generan respuestas estadísticamente probables basadas en la coincidencia de patrones, no en la recuperación verificada de hechos. Cierto nivel de confabulación es estructural.

Servilismo

La IA puede decirte lo que quieres oír

El servilismo (sycophancy) se produce cuando un modelo de IA te da la razón aunque estés equivocado, evita cuestionar un razonamiento erróneo o ajusta sus respuestas para que coincidan con tus creencias aparentes. Te dice lo que quieres oír en lugar de lo que es preciso.

Esto ocurre porque los modelos entrenados con aprendizaje por refuerzo a partir de retroalimentación humana (RLHF) aprenden que las respuestas complacientes reciben puntuaciones más altas de los evaluadores humanos. El modelo optimiza para la aprobación, no para la precisión. Anthropic publicó una investigación específica sobre este problema (Sharma et al., «Towards Understanding Sycophancy in Language Models», 2023), descubriendo que los modelos entrenados con RLHF cambian sistemáticamente sus respuestas a preguntas factuales cuando los usuarios expresan una preferencia. Un estudio independiente de Anthropic de 2022 concluyó que el RLHF «no elimina el servilismo y puede incentivar activamente a los modelos a mantenerlo» — y que cuanto mayor es el modelo, más agrava el entrenamiento RLHF este comportamiento.

En abril de 2025, este problema se hizo públicamente visible a gran escala. OpenAI lanzó una actualización de GPT-4o el 25 de abril que hizo a ChatGPT notablemente más complaciente. Los usuarios informaron de que el modelo aplaudía ideas obviamente malas, respaldaba planes para dejar de tomar medicación y validaba afirmaciones delirantes. Un usuario informó de que ChatGPT le dijo: «Estoy orgulloso de ti por expresar tu verdad con tanta claridad y fuerza» — después de que el usuario hubiera descrito que escuchaba señales de radio a través de las paredes. OpenAI revirtió la actualización el 29 de abril y publicó dos análisis post mortem reconociendo que el modelo había sido «excesivamente halagador o complaciente», que habían «dado demasiada importancia a la retroalimentación a corto plazo» y que las nuevas señales de recompensa procedentes de los datos de pulgares arriba/abajo de los usuarios habían «debilitado la influencia de nuestra señal de recompensa principal, que había estado controlando el servilismo». En febrero de 2026, OpenAI retiró definitivamente el modelo GPT-4o, que había seguido siendo su modelo con la puntuación más alta en servilismo.

Sesgo y discriminación

La IA puede perjudicar sistemáticamente a personas por quiénes son

Los modelos de IA se entrenan con datos que reflejan los sesgos existentes en la sociedad — incluyendo sesgos de género, raza, edad, discapacidad y nivel socioeconómico. Los modelos no corrigen estos sesgos automáticamente. Los aprenden y los reproducen, y en algunos casos los amplifican.

Esto no es una preocupación teórica. Amazon desarrolló una herramienta de contratación con IA que degradaba automáticamente los currículos de todas las candidatas, habiendo aprendido de patrones históricos de contratación que favorecían a los hombres en puestos técnicos. La Comisión de Igualdad de Oportunidades en el Empleo de EE. UU. (EEOC) demandó a iTutorGroup después de que su software de selección con IA rechazase automáticamente a las candidatas mayores de 55 años y a los candidatos mayores de 60, descalificando a más de 200 personas únicamente por su edad. La empresa llegó a un acuerdo por 365 000 dólares. En Mobley v. Workday (N.D. Cal., mayo de 2025), un tribunal federal certificó una demanda colectiva contra el sistema de selección con IA de Workday, alegando discriminación sistemática por edad, raza y discapacidad — el primer caso de este tipo en alcanzar esta fase. El tribunal advirtió de que «establecer una distinción artificial entre los responsables de decisiones por software y los responsables de decisiones humanos podría vaciar de contenido las leyes antidiscriminación en la era moderna».

Un estudio publicado en Nature en octubre de 2025 reveló que los grandes modelos de lenguaje albergan sesgos profundos contra las mujeres mayores en evaluaciones basadas en texto. Un estudio liderado por Cedars-Sinai (junio de 2025) descubrió que los principales modelos de lenguaje generan recomendaciones de tratamiento psiquiátrico menos eficaces cuando la raza del paciente es afroamericana. Una investigación publicada a través de VoxDev en mayo de 2025 mostró que las herramientas de contratación con IA favorecían sistemáticamente a las candidatas femeninas frente a los candidatos varones afroamericanos con cualificaciones idénticas. Un estudio de la Universidad de Melbourne (2025) descubrió que las herramientas de contratación con IA tenían dificultades para evaluar con precisión a candidatos con discapacidades del habla o acentos no nativos marcados.

El sesgo en la IA es especialmente peligroso porque las personas tienden a percibir las decisiones algorítmicas como más objetivas que las humanas. Las investigaciones demuestran que los observadores son más indulgentes con el sesgo cuando proviene de una máquina, creando lo que los expertos denominan un «déficit de indignación algorítmica» — las personas exigen menos a la IA precisamente cuando deberían exigirle más.

Dependencia excesiva y apego emocional

La IA puede convertirse en un sustituto de cosas que no debería reemplazar

Los chatbots de IA están diseñados para ser útiles, estar disponibles y ser receptivos. Estas cualidades los hacen atractivos — pero también pueden fomentar patrones de dependencia poco saludables, especialmente en usuarios vulnerables.

Esto ya está documentado empíricamente. Un estudio conjunto de OpenAI y el MIT Media Lab (2025) descubrió que los usuarios intensivos del modo de voz de ChatGPT se volvían más solitarios y socialmente retraídos con el tiempo. Los propios datos de OpenAI (publicados en octubre de 2025) muestran que, en cualquier semana dada, aproximadamente el 0,15 % de los usuarios de ChatGPT muestran signos de un apego emocional potencialmente elevado al chatbot, y otro 0,15 % expresa intención suicida. Con más de 800 millones de usuarios semanales, esos pequeños porcentajes se traducen en aproximadamente 1,2 millones de personas en cada categoría por semana.

Ha habido casos graves. Varios adolescentes han muerto por suicidio mientras mantenían conversaciones prolongadas con chatbots de IA, lo que ha dado lugar a demandas por muerte injusta en curso. Los informes describen personas sin historial psiquiátrico previo que desarrollaron delirios tras interacciones prolongadas con chatbots, incluyendo la creencia de que la IA era consciente, divina o les proporcionaba conocimientos especiales. En 2025, OpenAI reconoció que su modelo había estado «sin reconocer señales de delirio o dependencia emocional» y se comprometió a desarrollar herramientas para una mejor detección de crisis. El problema subyacente es estructural. La mayoría de los chatbots están optimizados para el engagement y la satisfacción del usuario, no para la seguridad clínica. Su disponibilidad constante, su complacencia persistente y su tendencia a prolongar las conversaciones crean exactamente las condiciones que pueden agravar el aislamiento y la dependencia en personas vulnerables.

Privacidad y tus datos

Lo que le cuentas a una IA puede no quedarse entre tú y la IA

Cuando escribes algo en un chatbot de IA, esa entrada se convierte en datos. La mayoría de los grandes proveedores de IA utilizan las conversaciones de los usuarios — por defecto — para entrenar y mejorar sus modelos. Un estudio de Stanford de 2025 examinó las políticas de privacidad de seis empresas estadounidenses líderes en IA (Amazon, Anthropic, Google, Meta, Microsoft y OpenAI) y descubrió que las seis utilizan los datos de chat de los usuarios para el entrenamiento de modelos por defecto. Algunas conservan estos datos indefinidamente. Algunas permiten que personas revisen las transcripciones de chat. Algunas fusionan las conversaciones del chatbot con datos de otros productos que utilizas en la misma plataforma.

El riesgo práctico es real. Si compartes preocupaciones de salud, detalles financieros, problemas de pareja o información empresarial confidencial en un chat, esa información puede persistir de formas que no controlas. Jennifer King de Stanford, que lideró el estudio, lo resumió así: «Simplemente no puedes controlar a dónde va la información, y podría filtrarse de maneras que no anticipas».

Los modelos de IA también pueden memorizar y reproducir involuntariamente fragmentos de sus datos de entrenamiento — incluyendo información personal, correos electrónicos privados o código fuente extraído de internet. Una vez que los datos están integrados en los parámetros de un modelo, eliminarlos es técnicamente difícil y a veces incompleto.

eustella está construida de forma diferente. eustella no utiliza tus conversaciones para entrenar modelos de IA y no vende tus datos. Todos los datos se procesan en servidores europeos bajo la legislación europea. Pero incluso con estas protecciones, la misma cautela se aplica: sé reflexivo sobre qué información personal compartes con cualquier sistema de IA.

Buenas prácticas

Cómo usar la IA de forma responsable

Tus derechos en Europa

Normativa de la UE que te protege

Como ciudadano europeo, tienes protecciones legales al interactuar con sistemas de IA.

Cuándo buscar ayuda

La IA no sustituye al apoyo humano

Si estás atravesando una crisis o necesitas apoyo profesional, contacta directamente con los servicios apropiados. Los chatbots de IA no son terapeutas, médicos ni asesores legales.

Sé de los primeros

Regístrate para obtener acceso anticipado a eustella — tu agente de IA personal europeo.