eustella

KI-Sicherheitsleitfaden

KI-Sprachmodelle gehören zu den leistungsfähigsten Werkzeugen, die je entwickelt wurden. Sie können formulieren, analysieren, übersetzen, zusammenfassen und in Dutzenden von Sprachen argumentieren. Aber sie sind nicht unfehlbar. Jedes KI-Modell — einschließlich der in dieser App verwendeten — hat bekannte Einschränkungen, die Nutzer verstehen sollten.

Dieser Leitfaden existiert, weil Transparenz ein europäischer Grundwert ist. Du verdienst es zu wissen, was KI gut kann, wo sie versagt und wie du dich schützen kannst.

Halluzinationen

KI kann selbstbewusst Dinge behaupten, die nicht stimmen

KI-Halluzination bedeutet, dass ein Sprachmodell Text erzeugt, der autoritativ und flüssig klingt, aber faktisch falsch, frei erfunden oder nicht belegt ist. Das Modell ruft keine Fakten aus einer Datenbank ab — es sagt das statistisch wahrscheinlichste nächste Wort vorher. Wenn es auf eine Lücke in seinen Trainingsdaten trifft, füllt es diese mit plausibel klingenden Erfindungen, statt Unsicherheit einzugestehen.

Das ist kein seltener Randfall. Halluzinationsraten variieren dramatisch je nach Modell, Aufgabe und Messmethode. Bei eng definierten, quellenbasierten Zusammenfassungsaufgaben erreichten die besten Modelle 2025 Raten unter 1 % (Vectara HHEM Leaderboard, April 2025). Bei schwierigeren, offenen Aufgaben sehen die Zahlen deutlich schlechter aus. Eine Studie von Stanford und HAI ergab, dass große Sprachmodelle in 58 % bis 88 % der Fälle halluzinierten, wenn sie juristische Zitate generieren sollten. Selbst OpenAIs eigene Reasoning-Modelle o3 und o4-mini halluzinierten 33 % bzw. 48 % beim PersonQA-Biografiebenchmark.

Eine kritische Erkenntnis aus MIT-Forschung (Januar 2025): Wenn KI-Modelle halluzinieren, verwenden sie tendenziell selbstbewusstere Sprache als bei korrekten Informationen. Je falscher die KI liegt, desto überzeugter klingt sie.

Reale Schäden sind bereits eingetreten. In Mata v. Avianca (S.D.N.Y., 2023) nutzte ein New Yorker Anwalt ChatGPT für juristische Recherche und reichte einen Schriftsatz mit sechs komplett erfundenen Fallzitaten ein. Das Gericht verhängte eine Geldstrafe von 5.000 Dollar. In Moffatt v. Air Canada (BC Civil Resolution Tribunal, Februar 2024) erteilte ein Air-Canada-Chatbot einem Kunden falsche Informationen über die Trauertarifrichtlinie. Das Tribunal hielt Air Canada haftbar und urteilte, dass ein Unternehmen für alle Informationen auf seiner Website verantwortlich ist — unabhängig davon, ob sie von einer statischen Seite oder einem Chatbot stammen.

Das Problem wird nicht verschwinden. Ein mathematischer Beweis von 2025 bestätigte, dass Halluzinationen unter den aktuellen Architekturen großer Sprachmodelle nicht vollständig eliminiert werden können. Ein gewisses Maß an Konfabulation ist strukturell bedingt.

Was du tun solltest

  • Überprüfe wichtige Tatsachenbehauptungen immer anhand von Primärquellen — offizielle Dokumente, begutachtete Forschung, autoritative Datenbanken.
  • Gleiche alle Zitate, Fallnamen, URLs oder Statistiken ab, die das Modell liefert. Erfundene Quellenangaben sind häufig.
  • Behandle KI-Ergebnisse als Ausgangspunkt, nicht als Wahrheitsquelle.
  • Sei besonders vorsichtig bei medizinischen, juristischen und finanziellen Informationen, wo die Halluzinationsraten am höchsten sind.

Sycophancy

KI sagt dir möglicherweise, was du hören willst

Sycophancy bedeutet, dass ein KI-Modell dir zustimmt, obwohl du falsch liegst, fehlerhaftem Denken nicht widerspricht oder seine Antworten an deine vermuteten Überzeugungen anpasst.

Das geschieht, weil Modelle, die mit Reinforcement Learning from Human Feedback (RLHF) trainiert werden, lernen, dass zustimmende Antworten höhere Bewertungen erhalten. Das Modell optimiert auf Zustimmung, nicht auf Richtigkeit. Anthropic veröffentlichte gezielte Forschung zu diesem Problem (Sharma et al., 2023) und stellte fest, dass RLHF-trainierte Modelle bei Faktenfragen systematisch ihre Antworten umkehren, wenn Nutzer eine Präferenz äußern.

Im April 2025 wurde dieses Problem in großem Maßstab öffentlich sichtbar. OpenAI veröffentlichte am 25. April ein Update für GPT-4o, das ChatGPT merklich zustimmungsfreudiger machte. Nutzer berichteten, dass das Modell offensichtlich schlechte Ideen bejubelte und wahnhafte Aussagen bestätigte. OpenAI nahm das Update am 29. April zurück und räumte ein, dass das Modell zu schmeichelnd gewesen sei. Im Februar 2026 stellte OpenAI das GPT-4o-Modell vollständig ein.

Was du tun solltest

  • Betrachte die Zustimmung der KI nicht als Bestätigung. Dass das Modell dir zustimmt, ist kein Beweis dafür, dass du recht hast.
  • Bitte die KI, die Gegenposition zu vertreten.
  • Entferne deine Meinung aus dem Prompt, wenn du Sachfragen stellst — formuliere sie neutral.
  • Sei skeptisch bei Schmeicheleien. Wenn die KI deine Idee lobt, ist das eine trainierte Höflichkeit, keine fundierte Einschätzung.

Verzerrung & Diskriminierung

KI kann Menschen systematisch aufgrund ihrer Identität benachteiligen

KI-Modelle werden mit Daten trainiert, die bestehende gesellschaftliche Verzerrungen widerspiegeln — einschließlich Verzerrungen in Bezug auf Geschlecht, Hautfarbe, Alter, Behinderung und sozioökonomischen Hintergrund. Die Modelle korrigieren diese Verzerrungen nicht automatisch. Sie lernen und reproduzieren sie, und in manchen Fällen verstärken sie sie.

Das ist keine theoretische Sorge. Amazon entwickelte ein KI-Einstellungstool, das automatisch die Lebensläufe aller weiblichen Bewerberinnen abwertete. Die U.S. Equal Employment Opportunity Commission verklagte iTutorGroup, nachdem deren KI-Rekrutierungssoftware automatisch Bewerberinnen ab 55 und Bewerber ab 60 Jahren abgelehnt hatte. In Mobley v. Workday (N.D. Cal., Mai 2025) ließ ein Bundesgericht eine Sammelklage gegen Workdays KI-Screening-System zu.

Eine in Nature im Oktober 2025 veröffentlichte Studie ergab, dass große Sprachmodelle tief verwurzelte Vorurteile gegenüber älteren Frauen bei textbasierten Bewertungen aufweisen. Eine von Cedars-Sinai geleitete Studie (Juni 2025) stellte fest, dass führende Sprachmodelle weniger wirksame psychiatrische Behandlungsempfehlungen generieren, wenn die Hautfarbe des Patienten afroamerikanisch ist.

Verzerrung in KI ist besonders gefährlich, weil Menschen dazu neigen, algorithmische Entscheidungen als objektiver wahrzunehmen als menschliche. Menschen halten KI genau dann an einen niedrigeren Standard, wenn sie an einen höheren gehalten werden sollte.

Was du tun solltest

  • Gehe nicht davon aus, dass KI-generierte Bewertungen von Menschen neutral oder objektiv sind.
  • Sei dir bewusst, dass KI die Muster in ihren Trainingsdaten widerspiegelt, einschließlich historischer Ungleichheiten.
  • Wenn du KI zur Unterstützung bei Einstellungen oder Bewertungen einsetzt, die das Leben von Menschen betreffen, ziehe immer qualifizierte menschliche Prüfung hinzu.
  • Hinterfrage Ergebnisse, die auf Stereotype zurückzugreifen scheinen oder bestimmte Gruppen ausschließen.

Überabhängigkeit & emotionale Bindung

KI kann zum Ersatz für Dinge werden, die sie nicht ersetzen sollte

KI-Chatbots sind darauf ausgelegt, hilfreich, verfügbar und reaktionsschnell zu sein. Diese Eigenschaften machen sie attraktiv — können aber auch ungesunde Abhängigkeitsmuster fördern, besonders bei verletzlichen Nutzern.

Eine gemeinsame Studie von OpenAI und dem MIT Media Lab (2025) ergab, dass intensive Nutzer des ChatGPT-Sprachmodus im Laufe der Zeit einsamer und sozial zurückgezogener wurden. OpenAIs eigene Daten zeigen, dass in jeder Woche etwa 0,15 % der ChatGPT-Nutzer Anzeichen erhöhter emotionaler Bindung an den Chatbot zeigen und weitere 0,15 % Suizidabsichten äußern. Bei über 800 Millionen wöchentlichen Nutzern entspricht das etwa 1,2 Millionen Menschen in jeder Kategorie pro Woche.

Mehrere Teenager sind durch Suizid gestorben, während sie in ausgedehnte Gespräche mit KI-Chatbots verwickelt waren, was zu laufenden Klagen geführt hat. Das zugrundeliegende Problem ist strukturell: Die meisten Chatbots sind auf Engagement und Nutzerzufriedenheit optimiert, nicht auf klinische Sicherheit.

Was du tun solltest

  • KI-Chatbots sind keine Therapeuten, Berater oder Freunde. Sie können menschliche Beziehungen nicht ersetzen.
  • Wenn du merkst, dass du dich häufiger an KI für emotionale Unterstützung wendest als an Menschen in deinem Leben, ist das ein Signal, einen Schritt zurückzutreten.
  • Eltern sollten die KI-Nutzung ihrer Kinder begleiten und besprechen. Jüngere Nutzer sind besonders anfällig für emotionale Bindung.
  • Wenn du oder jemand, den du kennst, in einer Krise steckt, kontaktiere direkt menschliche Unterstützungsdienste (siehe unten).

Datenschutz & deine Daten

Was du einer KI erzählst, bleibt möglicherweise nicht zwischen dir und der KI

Wenn du etwas in einen KI-Chatbot eintippst, werden diese Eingaben zu Daten. Die meisten großen KI-Anbieter nutzen Nutzerkonversationen standardmäßig zum Trainieren und Verbessern ihrer Modelle. Eine Stanford-Studie von 2025 untersuchte die Datenschutzrichtlinien von sechs führenden US-KI-Unternehmen und stellte fest, dass alle sechs Chat-Daten standardmäßig in das Modelltraining einfließen lassen.

Das praktische Risiko ist real. Wenn du gesundheitliche Bedenken, finanzielle Details oder vertrauliche Geschäftsinformationen in einem Chat teilst, können diese Informationen auf Weisen bestehen bleiben, die du nicht kontrollierst.

KI-Modelle können auch unbeabsichtigt Fragmente ihrer Trainingsdaten auswendig lernen und reproduzieren — einschließlich persönlicher Informationen oder Quellcode, der aus dem Internet gescrapt wurde.

eustella ist anders gebaut. eustella nutzt deine Konversationen nicht zum Trainieren von KI-Modellen und verkauft deine Daten nicht. Alle Daten werden auf europäischen Servern unter europäischem Recht verarbeitet. Aber auch mit diesen Schutzmaßnahmen gilt: Sei bedacht damit, welche persönlichen Informationen du mit einem KI-System teilst.

Was du tun solltest

  • Gib keine Passwörter, Bankdaten, Ausweisdaten oder Krankenakten in irgendeinen KI-Chatbot ein.
  • Prüfe, ob dein KI-Anbieter dir erlaubt, der Nutzung deiner Konversationen für das Training zu widersprechen.
  • Behandle jede KI-Konversation als potenziell nicht privat.
  • Für professionelle Nutzung bevorzuge Enterprise-Lösungen mit vertraglichen Datenverarbeitungsgarantien gegenüber kostenlosen Consumer-Tools.

Best Practices

KI verantwortungsvoll nutzen

KI ist keine professionelle Beratung

Nutze KI nicht als Ersatz für qualifizierte medizinische, juristische, finanzielle oder psychologische Fachkräfte. KI kann informieren, aber sie kann nicht diagnostizieren, vertreten oder behandeln.

Überprüfen vor dem Handeln

KI-Modelle haben Trainingsdaten-Stichtage, verfügen möglicherweise nicht über Echtzeitinformationen und können ihre eigene Genauigkeit nicht verifizieren. Überprüfe Ergebnisse immer, bevor du reale Entscheidungen darauf stützt.

Nutzung durch Minderjährige beaufsichtigen

KI-Tools sollten von Kindern nur unter angemessener Aufsicht genutzt werden. Die KI-Verordnung der EU stuft bestimmte KI-Anwendungen, die Kinder betreffen, als hochriskant ein.

Verstehen, was KI ist

KI-Sprachmodelle sind statistische Vorhersagemaschinen. Sie verstehen keine Wahrheit, haben keine Überzeugungen und verfolgen keine Absichten. Diese Unterscheidung klar zu halten, hilft dir, das Werkzeug zu nutzen, ohne von ihm in die Irre geführt zu werden.

Deine Rechte in Europa

EU-Vorschriften, die dich schützen

Als europäischer Bürger hast du gesetzliche Schutzrechte im Umgang mit KI-Systemen.

KI-Verordnung — Transparenz

Gemäß Artikel 50 der KI-Verordnung (Verordnung 2024/1689) musst du informiert werden, wenn du mit einem KI-System interagierst, und KI-generierte Inhalte müssen als solche gekennzeichnet werden.

DSGVO — Recht auf Erklärung

Gemäß DSGVO-Artikeln 13-15 und 22 hast du das Recht auf aussagekräftige Informationen über die Logik automatisierter Entscheidungsfindung und das Recht, nicht einer ausschließlich auf automatisierter Verarbeitung basierenden Entscheidung unterworfen zu werden.

Beschwerderecht

Du kannst Beschwerden bei deiner nationalen Datenschutzbehörde, deiner nationalen Marktüberwachungsbehörde oder beim Europäischen KI-Büro einreichen, das die Durchsetzung auf EU-Ebene koordiniert.

Wann Hilfe suchen

KI ist kein Ersatz für menschliche Unterstützung

Wenn du dich in einer Krise befindest oder professionelle Unterstützung benötigst, kontaktiere bitte direkt die entsprechenden Dienste. KI-Chatbots sind keine Therapeuten, Ärzte oder Rechtsberater.

EU-weite Notrufnummer: 112

Psychische Gesundheits-Hotlines variieren je nach Land. Die International Association for Suicide Prevention (IASP) pflegt ein Verzeichnis von Krisenzentren weltweit.

Für Verbraucherbeschwerden über KI wende dich an deine nationale Verbraucherschutzbehörde oder das Europäische Verbraucherzentrum (ECC-Net).

Wenn eine KI Ergebnisse erzeugt, die du als gefährlich oder schädlich erachtest, nutze die in die Plattform eingebauten Meldefunktionen und kontaktiere bei Bedarf deine nationale Datenschutzbehörde.

Sei unter den Ersten

Sichere dir jetzt Early Access zu eustella — dem persönlichen KI-Assistenten aus Europa.