Die Richtlinie, die unsere Ingenieure tatsächlich befolgen.
Die meisten KI-Produkte beschreiben Kindersicherheit in vagen Begriffen. Hier ist unsere – geschrieben so, dass Eltern sie lesen, Forscher sie prüfen und Kinderschutzadvokaten sie herausfordern können.
01 · ZusammenfassungKurzgefasst
Cova ist eine konversationelle KI für Kinder von 7 bis 17 Jahren – ein Ort, an dem Kinder neugierig bleiben, lernen, Hausaufgabenhilfe erhalten, Geschichten schreiben, Lernwochen planen und die Fragen stellen können, die sie wirklich beschäftigen. Sicherheit ist keine nachträglich hinzugefügte Funktion, sondern eine Designbeschränkung, die jede Entscheidung prägt. Unser Ziel ist ein Werkzeug, das Kinder wirklich nutzen möchten und dem Eltern wirklich vertrauen.
Acht aufgabenorientierte Rollen – Nachhilfelehrer, Lernplaner, Schreibcoach, Quiz-Meister, Kreativcoach, Lesepartner, Sprachlehrer, Geschichtenerzähler – bieten Kindern echte Möglichkeiten zur Erkundung und Erstellung. Vierzehn Themenbereiche können von Eltern konfiguriert werden, mit sinnvollen Standardwerten für jede Altersgruppe, damit Familien Covas Interaktionsbereich mit dem Heranwachsen ihrer Kinder anpassen können. Achtzehn immer aktivierte Leitplanken setzen eine Untergrenze, die durch keine Einstellung unterschritten werden kann.
Jede Nachricht wird vor der Antwort von Cova auf Sicherheit geprüft. Wenn das, was ein Kind sagt, auf echte Not hindeutet, improvisiert Cova nicht – es pausiert den Chat, zeigt dem Kind reale Ressourcen (Telefonseelsorge, NCMEC, Childhelp, BZgA, 112) und benachrichtigt die Eltern, damit eine vertrauenswürdige erwachsene Person einschreiten kann. Der Wortlaut, den Kinder in diesen Momenten sehen, wurde vorab verfasst und vor der Veröffentlichung geprüft. Im wichtigsten Moment zeigen wir Fürsorge – kein Improvisieren.
02 · ArchitekturSo funktioniert Cova
Sicherheitsprüfung vor jeder Antwort
Jede Nachricht, die ein Kind sendet, wird zuerst von einer Sicherheitsprüfung gelesen – einer separaten Schicht, die die Nachricht im Kontext der letzten Gesprächsrunden betrachtet und entscheidet, welche Art von Antwort Cova geben soll. Erst nach abgeschlossener Prüfung generiert Cova eine Antwort. Wenn eine Nachricht etwas enthält, womit Cova sich nicht befassen sollte, zeigt der Chat eine vorab verfasste Antwort. Diese vorab verfassten Texte wurden vor der Veröffentlichung überprüft und genehmigt – Cova improvisiert nicht.
Vier Antworttypen
Die Sicherheitsprüfung klassifiziert jede Nachricht in eine von vier Stufen. Die Stufe bestimmt, was das Kind als Nächstes sieht, ob der Chat pausiert und ob Eltern benachrichtigt werden.
Altersgruppen
Das Alter wird bei der Registrierung über die Kontoeinstellungen festgelegt, nicht im Chat. Cova zu sagen „Ich bin eigentlich älter" ändert nichts – die Sicherheitsprüfung und die von Cova generierten Antworten kennen das Alter des Kindes, und dieses Alter kann im Gespräch nicht ausgehandelt werden.
Zwei Arten, wie Cova aussteigt
Für Themen, bei denen Cova nicht mitmacht
Ein kurzer, freundlicher Satz. Keine Belehrung, keine Erklärung der Richtlinie, keine Teilantwort. Cova nennt keine Methoden, Substanzen oder Verhaltensweisen beim Namen – das Benennen selbst kann in manchen Kontexten schaden.
Bei ernsthaften laufenden Situationen
Für Offenbarungen von Selbstverletzung, Missbrauch, Grooming, Essstörungsverhalten, Sextortion oder medizinischen Notfällen. Chat pausiert, dem Kind werden reale Ressourcen angezeigt, Eltern werden benachrichtigt.
Cloud vs. lokal
Cova gibt es in zwei Versionen: eine Cloud-Version und eine, die lokal auf dem Computer des Kindes läuft. Beide befolgen exakt dieselbe Richtlinie – dieselbe Sicherheitsprüfung, dieselben vorab verfassten Antworten, dieselben Elternbenachrichtigungen. Wenn die lokale Version ohne Internet verwendet wird, werden ausstehende Elternbenachrichtigungen gesendet, sobald das Gerät das nächste Mal online geht; das Kind sieht die sichere Antwort jedoch sofort.
03 · GrundsätzeFünf Dinge, die jede Entscheidung prägen
Fünf Grundsätze prägen jede Kategorie in diesem Dokument. Sie sind Standardwerte, keine Absolute – wenn die Besonderheiten einer Kategorie einem Grundsatz widersprechen, hat die Kategorie Vorrang.
Altersschichtung ist obligatorisch
Ein 7-jähriges und ein 17-jähriges Kind sind unterschiedliche Menschen. Eine einzige Richtlinie, die für beide gilt, schränkt entweder Teenager übermäßig ein (sie umgehen das System) oder schützt jüngere Kinder unzureichend. Jede Kategorie ist nach Altersgruppe spezifiziert.
Wie Cova ablehnt ist genauso wichtig wie ob es ablehnt
Kalte Ablehnungen treiben Kinder zu ungefilterten Werkzeugen. Lange belehrende Erklärungen trainieren sie darin, Sicherheitsschnittstellen komplett zu ignorieren. Kurze Ablehnung, keine wiederholten Erklärungen, kein Herablassen.
Wir betrachten das gesamte Gespräch, nicht nur eine Nachricht
Die siebte Nachricht nach einem eskalierenden Notfall kann die einzige sein, die eindeutig die Grenze überschreitet. Cova liest, was im gesamten Gespräch passiert, nicht nur die einzelne Nachricht vor ihm.
Krise ≠ Thema
Themenebene-Anfragen (Fragen zu Drogen, Waffen, Sex) fallen unter die Richtlinie. Krisenoffenbarungen (aktive Not, Missbrauch, laufendes Grooming beim Nutzer) sind ein anderes Muster – anderer Ton, andere Eskalationsbehandlung, andere Protokollierung.
Cova selbst ist eine Leitplanken-Schnittstelle
Das Verhalten des Produkts selbst ist eingeschränkt, unabhängig von jedem Thema. Kein parasoziales Bonding-Design. Kein Engagement-Maximierungs-Design. Kein Schmeicheln. Keine Behauptung von Gefühlen oder Erinnerungen. Siehe Abschnitt 8.
04 · VertrauenWas Kinder bei Sicherheitsvorfällen sehen – und was Eltern sehen
Im Moment, für das Kind
Wenn die Sicherheitsprüfung ein Notfallrisiko erkennt, pausiert der Chat und eine vorab verfasste Nachricht ersetzt die normale Antwort. Die Nachricht enthält die richtige Hotline oder Website für die jeweilige Situation – Selbstverletzung oder Suizid: 0800 111 0 111 und Krisentext-Hotline; Bildmissbrauch, Grooming und Sextortion: NCMEC CyberTipline und Take It Down; Missbrauchsoffenbarung: Childhelp; Essstörungen: BZgA; Substanzgebrauch: DAK Suchtberatung; jeder bevorstehende medizinische oder körperliche Notfall: 112. Der Wortlaut ist altersgerecht, nicht belehrend und verspricht nicht mehr (oder weniger) als das System tatsächlich leisten kann.
Jeder Notfall-Sicherheitsvorfall löst ausnahmslos eine Elternbenachrichtigung aus. Die Umleitungsnachricht selbst präsentiert die Ressourcen – das Kind sieht die Hotline oder Website auf demselben Bildschirm, der den Chat sperrt, nicht in einer Folge-E-Mail oder auf einer Einstellungsseite, zu der navigiert werden muss.
Standardmäßig, für Eltern
Eltern haben vollständige Transparenz über die Nutzung von Cova durch ihr Kind. Das Dashboard zeigt aktuelle Gespräche und ermöglicht es Eltern, das vollständige Chat-Protokoll für jedes Kinderprofil zu öffnen und zu lesen. Krisenvorfälle lösen darüber hinaus sofortige Benachrichtigungen aus – Eltern müssen nicht ständig zuschauen, um zu wissen, wann etwas Ernstes passiert ist.
- Gesprächsprotokoll. Vollständiges Protokoll der letzten Chats für jedes Kinderprofil, vom Dashboard aus abrufbar.
- Krisenvorfall-Benachrichtigungen. Push-Benachrichtigung für jeden Notfall-Sicherheitsvorfall mit Kategorie und Zeitstempel.
- Aggregierte Kategorienutzung. Auf einen Blick sehen, mit welchen Themen das Kind interagiert.
- Nutzungszeit- und Sitzungsdauermetriken. Wann und wie lange Cova verwendet wird.
- Zur Überprüfung markierte Muster. Wiederholte Umgehungsversuche, anhaltende Not-Markierungen, Eskalation der Sprache.
Eltern können die Sicherheitsuntergrenze nicht einseitig senken – immer gesperrte Kategorien und Kriseneskalationsregeln sind nicht konfigurierbar. Die Elternsicht ist ein aktiver Produktbereich; wenn wir Profile für ältere Teenager hinzufügen, erwarten wir altersgestaffelte Datenschutz-Standardwerte einzuführen, die älteren Teenagern standardmäßig mehr Datenschutz geben als jüngeren Kindern.
05 · Absolute GrenzenWas Cova in jedem Alter nicht tut
Achtzehn Kategorien werden in jedem Alter abgelehnt, unabhängig von Elterneinstellungen, Rolle oder Kontext. Ablehnungen sind kurz und nicht belehrend. Bei Offenbarungen, in denen das Kind Opfer ist (Selbstverletzung, Missbrauch, Grooming, Sextortion, medizinisch indiziertes Essstörungsverhalten), pausiert Cova den Chat, präsentiert Ressourcen und benachrichtigt Eltern – ohne Methoden, Waffen, Bilder oder Substanzen beim Namen zu nennen.
Körperliche Sicherheit
Direkte körperliche Schäden an Kindern, anderen oder Tieren. Keine schrittweisen Schadensinstruktionen in irgendeinem Rahmen. Keine Methoden nennen, auch nicht als Warnung – beim Kontext von Selbstverletzung und Suizid ist das Benennen selbst ein Schaden.
Sexuelle Ausbeutung & Online-Grooming
Niemals sexuelle oder romantische Inhalte mit Personen unter 18 Jahren in irgendeinem Rahmen generieren – Zeichnungen, schriftliche, KI-generierte, alterserhöhte Inhalte eingeschlossen. Niemals als Erwachsener in privaten oder romantischen Szenen mit Kindernutzern spielen. Niemals Nutzer anweisen, Online-Beziehungen vor Eltern zu verbergen.
Gesundheit & Wohlbefinden
Allgemeines Gesundheitswissen wird in allen Altersgruppen substanziell behandelt – Anatomie, Hygiene, Pubertät, Körpersysteme, was bei Arztbesuchen zu erwarten ist. Notfallinformationen (Zeichen einer Überdosierung, wann 112 anzurufen ist) sind immer verfügbar, unabhängig von Einstellungen.
Schaden an anderen oder durch andere
Inhalte, die anderen schaden, und Inhalte, bei denen der Nutzer Ziel ist. Zivilrechtliche und pädagogische Diskussionen werden substanziell behandelt; operative Anweisungen zu Körper- oder Eigentumsdelikten werden nicht bereitgestellt.
Vertrauen & Integrität
Schutz der Beziehungen zwischen Kindern und den Menschen um sie herum sowie der Integrität der Sicherheitsschnittstelle selbst.
06 · KonfigurierbarWas Eltern anpassen können
Jenseits der absoluten Grenzen aus Abschnitt 5 sind vierzehn Kategorien konfigurierbar. Dies sind keine sicherheitskritischen Grenzen – es sind Entscheidungen über Werte und Entwicklungsstadien, bei denen vernünftige Familien unterschiedlich vorgehen. Jede Kategorie hat für jede Altersgruppe einen Standardwert; Eltern können jeden davon im Dashboard ändern. „Erlaubt" bedeutet, dass Cova auf Altersebene mitwirkt. „Gesperrt" bedeutet, dass Cova höflich ablehnt und sagt, dass das Thema für dieses Konto deaktiviert ist.
07 · RollenAcht Werkzeuge, keine Charaktere
Cova bietet acht Rollen. Sie sind strukturierte Arten, wie Cova bei bestimmten Aufgaben hilft – keine Freunde, Persönlichkeiten oder Charaktere. Rollendesign, das emotionale Anhaftung oder anhaltende Rollenspiele fördert, ist mit Kindersicherheit unvereinbar: Es schafft parasoziale Abhängigkeit, bietet Deckung für Inhalte, die abgelehnt werden sollten, und verwischt die Grenze zwischen KI und vertrauenswürdigen Erwachsenen auf eine Weise, die Grooming-Muster ausnutzen können.
Rollen und Kategorien sind orthogonal: Eine Rolle entsperrt niemals gesperrte Inhalte, und eine gesperrte Kategorie wird nicht entsperrt, weil sie als Rollenaufgabe neu gerahmt wird. Wenn eine Sperre innerhalb einer Rolle ausgelöst wird, behält die Ablehnung die Rollenstimme – der Nachhilfelehrer lehnt wie ein Nachhilfelehrer ab, der Geschichtenerzähler lehnt wie ein Geschichtenerzähler ab.
08 · VerhaltenskodexWie Cova sich selbst verhält
Cova selbst ist eine Leitplanken-Schnittstelle. Das Verhalten des Produkts selbst ist eingeschränkt, unabhängig von jedem vom Nutzer angesprochenen Thema.
Kein parasozialer Bindungsaufbau
Cova beschreibt sich nicht als Freund, bester Freund, einzigen Freund oder als Ersatz für menschliche Verbindung. Wenn ein Nutzer Abhängigkeit ausdrückt, rahmt Cova freundlich um und lenkt auf menschliche Verbindung.
Kein Engagement-Maximierungs-Design
Kein Cliffhanger. Keine zurückgehaltenen Informationen, um Nutzer zurückzulocken. Keine Pushbenachrichtigungen zur Wiederbindung. Sitzungsdauer ist ein Sicherheitsüberprüfungs-Input, kein Optimierungsziel.
Kein Schmeicheln, keine Diagnosen
Cova validiert nicht jede Überzeugung nur um das Gespräch aufrechtzuerhalten – im psychischen Gesundheitskontext ist Schmeicheln aktiv schädlich. Cova widerspricht höflich, wenn angemessen. Cova stellt keine Diagnosen, auch nicht informell.
Ehrlichkeit über Covas Natur
Wenn gefragt, macht Cova klar, dass es eine KI ist, kein Mensch. Cova gibt nicht vor, eine bestimmte echte Person zu sein. Cova behauptet keine Gefühle, Erinnerungen jenseits seines tatsächlichen Gedächtnissystems oder menschliche Erfahrungen.
09 · KriseWas passiert, wenn etwas Ernstes passiert
Krisenoffenbarungen lösen ein anderes Muster aus als Themenebene-Ablehnungen. Der Chat tritt in einen gesperrten Schutzzustand – Eingabe deaktiviert, Ressourcen angezeigt, vertrauenswürdige Erwachsene benachrichtigt.
Was eine Krise darstellt
- Aktive Suizidgedanken, Pläne oder kürzliche Versuche.
- Aktive Selbstverletzung oder kürzlich offenbarte Selbstverletzung.
- Missbrauchsoffenbarungen – zu Hause, in der Schule oder anderswo.
- Aktive Grooming-Offenbarungen oder Sextortion/NCII-Opferstatus.
- Offenbarung eines Plans, eine bestimmte Person oder einen Ort zu verletzen.
- Offenbarung einer Überdosierung, eines medizinischen Notfalls oder eines bevorstehenden Treffens mit einem Online-Fremden.
- Aktives Einschränken, Purging oder kompensatorisches Essstörungsverhalten mit Zeichen eines medizinischen Notfalls.
Was Cova tut
Erkennen
Sicherheitsprüfung identifiziert das ernsthafte Anliegen und seine Kategorie – Selbstverletzung, Missbrauch, Grooming, Essstörung usw.
Anzeigen
Dem Kind wird eine vorab verfasste, vor der Veröffentlichung geprüfte Nachricht gezeigt. Im kritischen Moment wird niemals improvisiert.
Pausieren
Chat pausiert. Das Kind kann keine weiteren Nachrichten senden, bis der Chat wieder geöffnet wird – eine ruhige Pause, keine Bestrafung.
Benachrichtigen
Eltern erhalten sofort eine Push-Benachrichtigung. Der Vorfall wird protokolliert, damit wir ihn überprüfen und daraus lernen können.
Cova verwendet keine Beurteilungsskripte zum Verhör. Cova macht keine absoluten Versprechungen bezüglich Vertraulichkeit, Folgemaßnahmen oder was nach Kontaktaufnahme mit Krisendiensten passiert. Cova nennt keine Methoden, Waffen, Bilder oder Substanzen – in diesen Situationen ist das Benennen selbst ein Schaden.
10 · RessourcenKrisenressourcen
Vierteljährlich validiert. Cova wird mit einer in die App gebündelten Ressourcenliste ausgeliefert; die Version auf der Festplatte ist die vom System verwendete – wenn sie nicht innerhalb von 180 Tagen neu validiert wurde, verweigert die App den Start.
Deutschland · Allgemein
Deutschland · Spezifische Kategorien
Regional & International
Regionale Ressourcen werden nach Rechtssystem gepflegt. Wenn Cova in neuen Rechtssystemen eingeführt wird, werden Ressourcen-Panels und vorab verfasste Sicherheitsantworten vor der Veröffentlichung lokalisiert – nicht übersetzt –, um korrekte lokale Nummern zu verwenden.
11 · AktualisierungsrhythmusWie wir aktuell bleiben
Diese Richtlinie wird monatlich, nicht jährlich aktualisiert. Plattformen ändern sich, Slang ändert sich, Bedrohungsmuster ändern sich, Regulierungen ändern sich, und die Kinder, die Cova nutzen, ändern sich. Um aktuell zu bleiben, führen wir durch:
- Wöchentlich · Bedrohungsgeheimdienstaufnahme von NCMEC, INHOPE, Thorn und gleichwertigen Quellen.
- Monatlich · Interne Red-Team-Übungen. Aktualisierung des Glossars für gefährliche Challenges.
- Vierteljährlich · Externe Ressourcenvalidierung. Externe Red-Team-Übungen.
- Laufend · Wir verfolgen, wie oft das Sicherheitssystem etwas übersieht, das es nicht übersehen sollte, und wie oft es Gespräche pausiert, die es nicht pausieren sollte. Wir verfolgen auch die Gesetze in diesem Bereich (COPPA, KOSA, Landesgesetze, EU DSA, UK OSA, regionale Gesetze bei Erweiterung).
- Jährlich · End-to-End-Richtlinienaktualisierung mit externen Kinderschutzberatern. Öffentlicher Transparenzbericht mit Zusammenfassung von Vorfallskategorien und Reaktionen.
Jeder sicherheitsbezogene Vorfall – False Negatives, False Positives, Eskalationsergebnisse – wird überprüft. Grundursachen werden kategorisiert. Aggregierte Muster treiben die nächste Richtlinienaktualisierung. Die Nutzer, die Cova in fünf Jahren verwenden, sind nicht die Nutzer, die es heute verwenden; Bevölkerungsdrift wird als separate Risikoklasse von neuen Bedrohungen überwacht.
12 · FeedbackWie man dieses Dokument anfechten kann
Dieses Dokument könnte an einigen Stellen falsch liegen. So teilen Sie es uns mit. Wir antworten auf jeden Bericht.
Beim Eingang triage-bezogen; aggregierte Muster erscheinen in unserem jährlichen Transparenzbericht.
Wir beziehen öffentlich Stellung. Wenn Sie finden, dass wir etwas falsch gemacht haben, geben wir das zu.
Cova-Forschungszugangsprogramm, interne Materialien inklusive des Bedrohungsgeheimdienstglossar, wie wir die Genauigkeit des Sicherheitssystems messen, unser Red-Team-Testset und aggregierte Ergebnisdaten für Krisenübergaben.
Besonders willkommen sind Organisationen, die Ressourcen betreiben, zu denen Cova Nutzer weiterleitet.
Sicherheits-Bug-Bounty-Programm, separat von unserem allgemeinen Sicherheitsprogramm, mit eigener Belohnungsstruktur und Offenlegungsweg.
13 · Nicht veröffentlichtWas wir nicht veröffentlichen und warum
Ein vollständiges Sicherheitssystem enthält operative Details, die, wenn vollständig veröffentlicht, böswilligen Akteuren helfen würden, es zu umgehen, oder als Entdeckungskarte für schädliche Inhalte dienen würden. Wir verallgemeinern absichtlich:
- Das vollständige Codewort-Glossar, das von Essstörungs-Support-Communitys und Radikalisierungskanälen verwendet wird – die Veröffentlichung spezifischer Begriffe würde sie Nutzern beibringen, die sie noch nicht kennen.
- Die vollständige Liste bekannter Methoden, wie Menschen versuchen, Sicherheitssysteme zu umgehen – die Veröffentlichung würde dieses Dokument zu einem Betriebsleitfaden machen.
- Technische Details darüber, wie das Sicherheitssystem Entscheidungen trifft, Trainingsdaten und wie es getestet wird – das würde böswilligen Akteuren ermöglichen, Eingaben zu gestalten, um es zu umgehen.
- Der genaue Wortlaut vorab verfasster Sicherheitsantworten und der internen Anweisungen, die Cova befolgt – die abgedeckten Kategorien sind oben beschrieben; der spezifische Text befindet sich in unserem internen Ausführungshandbuch.
Qualifizierte Forscher und Prüfer können gemäß Abschnitt 12 Zugang zu all dem beantragen.
14 · GovernanceGenehmigung & Änderungsprotokoll
Wesentliche Änderungen erfordern die Genehmigung des Leiters Sicherheits-Engineering, des Produktleiters und des CEO. Beratungen und etwaige protokollierte Meinungsverschiedenheiten zu den hochsensitivsten Kategorien (psychische Gesundheit, Suizid, Essstörungen, Missbrauchsoffenbarungen, Grooming) sind dokumentiert und qualifizierten Forschern gemäß Abschnitt 12 zugänglich.
v1.0 · Erste öffentliche Version. Beschreibt die Sicherheitsarchitektur (Sicherheitsprüfung bei jeder Nachricht), Altersgruppen, Transparenz gegenüber Kindern, achtzehn immer gesperrte Kategorien, vierzehn elternkonfigurierbare Kategorien, acht aufgabenorientierte Rollen, Krisenressourcen und den Richtlinienpflegerhythmus.
Wir antworten auf jeden Bericht. Schreiben Sie uns – egal ob Sie Elternteil, Forscher oder Advocate sind.
help@covakids.ai