AngeboteZertifizierungenAutomatisierte Bewertungssysteme (ABS)

Zertifizierung von automatisierten und KI-gestützten Bewertungssystemen

Im Rahmen eines Modellversuchs haben die Freiwillige Selbstkontrolle Fernsehen (FSF) und die Freiwillige Selbstkontrolle Multimedia-Diensteanbieter (FSM) unter Begleitung der Kommission für Jugendmedienschutz (KJM) Qualitätsstandards für automatisierte und KI-gestützte Bewertungssysteme (ABS) entwickelt. Hintergrund ist, dass verschiedene Systeme auf den Markt kommen und zunehmend auch bei der Altersbewertung und Einordnung audiovisueller Inhalte Verwendung finden. 

Um zu gewährleisten, dass ihre Anwendung fachlich fundiert, nach anerkannten Kriterien und transparent erfolgt, wurde ein eigenes Zertifizierungsverfahren aufgesetzt. Getestet wurden dabei nicht nur die Systeme selbst, sondern auch ihre Nutzung in Unternehmen oder Selbstkontrolleinrichtungen. Im Ergebnis lassen sich Maßnahmen zur Qualitätssicherung der Systeme und Qualifizierung der Jugendschutzbeauftragten ableiten. 

Mithilfe des Modellversuchs konnten verbindliche Maßstäbe für den Einsatz von automatisierten Systemen und Prüfverfahren bei der jugendschutzrechtlichen Bewertung von Medieninhalten gesetzt werden, mit dem Ziel, Unternehmen, die automatisierte Systeme einsetzen, Rechtssicherheit zu bieten. 

 

Modellversuch zur Integration und Qualitätssicherung von ABS 


Der gemeinsame Modellversuch sollte sicherstellen, dass der Einsatz von automatisierten Systemen verantwortungsvoll und im Sinne des Kinder- und Jugendmedienschutzes erfolgt. So kann gewährleistet werden, dass nur Systeme Verwendung finden, die nach den definierten Qualitätsmaßstäben verlässlich sind. 

Die zentralen Ziele waren:  

  1. die Entwicklung eines strukturierten, wiederholbaren und rechtssicheren Verfahrens zur Anerkennung und Zertifizierung von ABS für audiovisuelle Medieninhalte,
  2. die Sicherstellung der jugendschutzrechtlichen Qualität und Zielorientierung automatisierter oder teilautomatisierter Bewertungen sowie
  3. die Unterstützung von Anbietern beim verantwortungsvollen Einsatz automatisierter Systeme sowie von Jugendschutzbeauftragten im Hinblick auf ihre Qualifizierung nach § 7 Abs. 5 JMStV und ihre Zertifizierung nach § 14a Abs.  1 Nr. 2 JuSchG.

Eckpunkte des Modellversuchs


Der Modellversuch gliederte sich in drei Phasen: 
Nach dem Projektauftakt wurden Prüf- und Anerkennungskriterien für ABS abgestimmt und erprobt. 
Auf Basis der Ergebnisse wurden die Kriterien weiterentwickelt und finalisiert. 
Den Abschluss bildeten Empfehlungen zu Verfahren und Qualitätsmanagement, die in einem Abschlussbericht zusammengefasst wurden. 

  • Projektbeginn: 05. Januar 2026
  • Projektende: 31. Juli 2026 

Pilotprüfung und Kriterienentwicklung  

Die Kriterien für die Prüfung und Anerkennung von automatisierten Systemen wurden von einer Gruppe von Expertinnen und Experten aus den Bereichen KI-Technik, KI-Recht, KI-Governance in Unternehmen und FSF-Prüfpraxis entwickelt. Gegenstand des Pilotverfahrens war eine vorgelegte KI-Anwendung, die bereits bei der Identifizierung und Klassifizierung von AV-Inhalten unter Jugendschutzgesichtspunkten zum Einsatz kommt. Das System wurde zum einen auf seine Eignung und damit Anerkennungsfähigkeit für die Bewertung audiovisueller Inhalte geprüft; zum anderen wurde seine Einbindung in unternehmens­interne Governance- und Prüfprozesse in den Blick genommen. 
 

KI-Expert:innen im Pilotverfahren waren:

Prof. Dr. Oksana Arnold (FH Erfurt)

Prof. Dr. Oksana Arnold ist Professorin für Theoretische Informatik und Künstliche Intelligenz an der Fachhochschule Erfurt. Ihr Forschungsinteresse gilt der Konzeption, Analyse und Gestaltung intelligenter IT-Systeme, insbesondere regelbasierter und lernender Systeme. In ihrer wissenschaftlichen Arbeit befasst sie sich unter anderem mit Dialogsystemen, Planungsverfahren, induktiver Inferenz sowie neurosymbolischen Ansätzen der Künstlichen Intelligenz und Fragen des IT-Systemdesigns. In Lehre und Forschung verbindet sie theoretische Grundlagen der Informatik mit anwendungsorientierten Perspektiven der KI. Ein besonderer Schwerpunkt ihrer aktuellen Tätigkeit liegt auf der Initiierung und Leitung von Projekten im Bereich des explorativen Forschens mit Kindern. In Formaten wie der Zukunftswerkstatt Digitalisierung, der Kinderuni oder AI4Kids-Workshops entwickelt sie Konzepte zur frühzeitigen und partizipativen Auseinandersetzung mit digitalen Technologien und KI.


Dr. Stephan Dreyer (HBI)

Dr. Stephan Dreyer ist Senior Researcher für Medienrecht und Media Governance am Leibniz-Institut für Medienforschung | Hans-Bredow-Institut (HBI). Einer seiner Tätigkeitsschwerpunkte ist die interdisziplinäre Begleitung und Erforschung der rechtlichen Rahmung des Aufwachsens von Kindern in digitalen Medienumgebungen. Als Experte in den Schnittbereichen von Kinder- und Jugendmedienschutz, technischen und KI-basierten Ansätzen für Sicherheit, Befähigung und Teilhabe sowie Aspekten des Kinderdatenschutzes untersucht er medienregulatorische und kinderrechtliche Fragestellungen im Angesicht neuer Technologien, Angebotsstrukturen und Nutzungspraktiken. Stephan Dreyer ist juristischer Sprecher des Beschwerdeausschusses und der Gutachterkommission der FSM, Kuratoriumsvorsitzender der FSF und Beiratsmitglied von klicksafe.de. Er prüft zudem als Jugendschutzsachverständiger bei der USK.online, ist Vorsitzender des USK-Appellationsausschusses und ist als juristischer Sachverständiger im USK-Beirat benannt.


Prof. Dr. Judith Simon (Uni Hamburg)

Prof. Dr. Judith Simon ist Professorin für Ethik in der Informationstechnologie an der Universität Hamburg. In ihrer Forschung befasst sie sich mit normativen, erkenntnistheoretischen und gesellschaftlichen Fragen digitaler Technologien. Ihre Schwerpunkte liegen in der Computerethik, der Philosophie des Computing sowie in kritischen Big-Data-Studien. Ein zentrales Anliegen ihrer Arbeit ist die Analyse soziotechnischer Wissenspraktiken, der Rolle von Werten im Design sowie verantwortungsvoller Forschung und Innovation (Responsible Research and Innovation). Daneben ist Judith Simon in nationalen und internationalen politisch-wissenschaftlichen Beratungskontexten aktiv. Seit 2024 ist sie Vize-Vorsitzende des Deutschen Ethikrats; zuvor war sie dort Sprecherin der Arbeitsgruppe „Menschen und Maschinen – Herausforderungen der Künstlichen Intelligenz“. Neben ihrer Forschung ist Judith Simon editorisch und verlegerisch engagiert, unter anderem als Herausgeberin des Routledge Handbook of Trust and Philosophy (2020) sowie als Mitglied mehrerer Editorial Boards internationaler Fachzeitschriften.


Prüf- und Anerkennungskriterien für automatisierte Bewertungssysteme (ABS)

Das Prüfverfahren umfasst 16 Kriterien in drei Säulen: technische Eignung und Leistungsfähigkeit, Qualität der Systembewertungen sowie organisatorische Einbettung und Qualitätssicherung. Ihre Gewichtung richtet sich nach dem Grad der Automatisierung: Je selbstständiger ein System entscheidet, desto höher sind die Anforderungen an Technik und Nachvollziehbarkeit; je stärker die menschliche Letztentscheidung, desto wichtiger werden Fachkunde, Kontrolle und verlässliche Unternehmensprozesse.

 

Säule 1 – Technische Eignung und Performance

Systemüberblick
Angemessenheit und Nachvollziehbarkeit der Gesamtarchitektur als Pipeline verbundener Komponenten

Grundsätzliche Eignung
Geeignetheit des Gesamtsystems zur Analyse bewegter Bild-, Ton- und Sprachinhalte einschließlich des Szenenkontexts

JMStV-Zielorientierung
Ausrichtung der Systemlogik an den Schutzzielen des Jugendmedienschutz-Staatsvertrags (JMStV) und Abbildung der fünf Wirkungsdimensionen in den Modellen

Datenbasis und Modelltraining
Qualität, Herkunft und Jugendschutzbezug der Trainings-, Kalibrierungs- und Validierungsdaten

Genauigkeit
Zuverlässigkeit der Erkennung jugendschutzrelevanter Inhalte; Benchmarks bzw. Metriken

Konsistenz und Fairness
Gleichbehandlung gleicher und vergleichbarer Inhalte über Zeit und Nutzung hinweg; keine sachfremden Differenzierungen; Maßnahmen gegen Drift

Robustheit
Widerstandsfähigkeit gegen Fehlbedienung und bewusste Täuschung

Nachvollziehbarkeit und Transparenz
Protokollierung und Nachvollziehbarkeit der Systembewertungen

Adaptivität und Change-Management
Fähigkeit zur kontrollierten Anpassung an neue Modelle, Inhaltsformen und eine sich wandelnde Spruchpraxis; Erkennung und Korrektur fehlerhafter Bewertungen im laufenden Betrieb


Säule 2 – Kohärenz der Systembewertungen mit der jugendschutzrechtlichen Spruchpraxis

Methodik des Stichprobenabgleichs
Sachgerechte Anlage und Durchführung des qualitativen Abgleichs; Stichprobe und Sichtungsverfahren

Übereinstimmungs- und Abweichungsanalyse
Systematisierung von Abweichungen nach Richtung, Genre und Darstellungsform; besonderes Gewicht auf ABS-Abweichungen nach unten und mögliche „blinde Flecken“

Umsetzung von Transparenz und Nachvollziehbarkeit für Fachkräfte
Erkennbarkeit der Bewertungsgründe des ABS und ihre Anschlussfähigkeit an die Maßstäbe der JMStV-Spruchpraxis


Säule 3 – Einbettung in Verfahren, Governance und Qualitätsmanagement

Entscheidungsarchitektur
Zusammenspiel von ABS und fachkundigen Personen; Letztentscheidung entlang der gesetzlichen Altersstufen

Fachliche Qualifikation und Ressourcen
Jugendschutzfachliche Bewertungskompetenz, technische Betriebskompetenz und ausreichende Ressourcen

Qualitätsmanagement
Einbindung des ABS-Einsatzes in ein anerkanntes oder gleichwertig gelebtes Qualitätsmanagementsystem

Anpassung an die JMStV-Spruchpraxis
Verstetigter Abgleich mit der sich verändernden JMStV-Spruchpraxis und verstetigter Austausch mit einer Selbstkontrolleinrichtung



Jugendschutzrechtliche Qualitätssicherung 

Ziel war es, die bestehende Qualität der Prüfungen und der Spruchpraxis in automatisierte Systeme zu übertragen. Im Rahmen der Pilotierung und der begleitenden Evaluierung war hierzu ein enger und kontinuierlicher Austausch zwischen FSF und FSM sowie der KJM und der Bundeszentrale für Kinder- und Jugendmedienschutz (BzKJ) fest verankert. Der Austausch zu grundlegenden Kriterien und Prüfstandards erfolgte in Zusammenarbeit mit der Expert:innengruppe Jugendmedienschutz (JMS) und fand in Form regelmäßiger Werkstattgespräche statt.
 

Mitglieder der Expert:innengruppe Jugendmedienschutz waren:
 

Dr. Annika Baumann (KJM)

Dr. Annika Baumann ist Wirtschaftsinformatikerin und leitet am Weizenbaum Institut die Forschungsgruppe „Wohlbefinden in der digitalen Welt“, die sich mit prosozialem und antisozialem Verhalten in digitalen Räumen, dem Einfluss algorithmischer Systeme auf die Wahrnehmung und das Verhalten von Individuen sowie den Auswirkungen sozialer Medien auf das Wohlbefinden beschäftigt. Ihre Arbeiten wurden in führenden Journals veröffentlicht. Seit 2025 ist Dr. Annika Baumann technische Sachverständige bei der KJM.


Henning Mellage (LFM NRW/KJM)

Henning Mellage studierte Rechtswissenschaften in Köln. Seit 2010 ist er Referent für Aufsicht in der Rechtsabteilung der Landesanstalt für Medien NRW; darüber hinaus ist er Leiter der AG „Technischer Jugendmedienschutz“ der KJM. Sein inhaltlicher Schwerpunkt ist der Jugendmedienschutz und insbesondere der technische Jugendmedienschutz. Dazu gehört u. a. die Bewertung von Altersverifikationssystemen.


Lukas Neuerburg (BzKJ)

Lukas Neuerburg ist Kommunikationswissenschaftler und Medienpädagoge und als Referent für die Bundeszentrale für Kinder- und Jugendmedienschutz (BzKJ) tätig. Einen Schwerpunkt seiner Arbeit bilden die Chancen und Risiken von KI und digitalen Medien für Kinder und Jugendliche. Bis 2022 war er bei der Unterhaltungssoftware Selbstkontrolle (USK) tätig und betreute die Weiterentwicklung sowie das Monitoring des automatisierten Alterskennzeichnungssystems IARC für Apps und Onlinespiele.


Katharina Uharek (mabb/KJM)

Katharina Uharek Langhanke ist juristische Referentin bei der Medienanstalt Berlin-Brandenburg (mabb). Im Mittelpunkt ihrer Arbeit stehen die praktische Bearbeitung und Bewertung konkreter Aufsichtsfälle nach dem JMStV sowie die rechtliche Einordnung und Umsetzung europäischer Regelwerke wie des Digital Services Act. Darüber hinaus begleitet sie die fortlaufenden Entwicklungen im Jugendmedienschutz und deren praktische Auswirkungen auf Anbieter digitaler Dienste.



Prüfverfahren 

Die Bewertung erfolgte auf der Grundlage mehrerer aufeinander abgestimmter Verfahrensbestandteile. Dazu zählten:

  • eine schriftliche Dokumentation des antragstellenden Unternehmens, in der Aufbau, Funktionsweise und Prüflogik des Systems dargelegt wurden,
  • eine Präsentation des Systems vor der KI-Pilotgruppe, die eine Live-Vorführung der Anwendung einschloss sowie
  • Vergleichstests mit regulären Prüfverfahren. Diese Prüfungen wurden von FSF-Prüfgruppen vorgenommen. Die Ergebnisse wurden systematisch an die Projektbeteiligten zurückgespielt, um eine belastbare Gegenüberstellung mit den automatisierten Verfahren zu ermöglichen. 

Im Rahmen des gesamten Verfahrens galt für alle Beteiligten ein strenger Vertraulichkeitsgrundsatz. Dieser diente insbesondere dem Schutz der Geschäfts- und Betriebsgeheimnisse der antragstellenden Unternehmen. 

Ergebnisse und Ausblick 
 

„Der Modellversuch hat sein zentrales Ziel erreicht: Mit dem Kriterienkatalog in der Version 3.1 liegt ein strukturiertes, wiederholbares und rechtssicher handhabbares Prüfinstrument für die Anerkennung automatisierter Bewertungssysteme im Jugendmedienschutz vor, dessen Praxistauglichkeit in einem vollständigen Anerkennungsverfahren an einem produktiv eingesetzten System (Merm:ai:d) nachgewiesen wurde.“ (Abschlussbericht zum Modellversuch)


Der vollständige Abschlussbericht steht als Download zur Verfügung:

Automatisierte Bewertungssysteme im Jugendmedienschutz. Abschlussbericht zum Modellversuch



Für Unternehmen, die automatisierte Systeme einsetzen und eine Zertifizierung ihres Systems beantragen möchten, werden demnächst die entsprechenden Informationen und Unterlagen bereitgestellt.

Zertifizierungsanfragen werden bereits entgegengenommen:  E-Mail an die FSF 

Erste ABS-Zertifizierung: Merm:ai:d

Als erstes automatisiertes Bewertungssystem (ABS) hat Merm:ai:d das im gemeinsamen Modellversuch von FSF und FSM entwickelte Zertifizierungsverfahren erfolgreich durchlaufen. Das von RTL Deutschland eingesetzte KI-gestützte System analysiert audiovisuelle Inhalte, erkennt und beschreibt potenziell jugendschutzrelevante Szenen und unterstützt so Jugendschutzbeauftragte bei ihrer Bewertung.
 

Gegenstand der Prüfung war, ob Merm:ai:d in seiner dokumentierten Konfiguration und organisatorischen Einbettung die Anforderungen des Kriterienkatalogs an ein aussagekräftiges Entscheidungsunterstützungssystem erfüllt. 

Die Zertifizierung bestätigt, dass das geprüfte System an den Zielen des Jugendmedienschutz-Staatsvertrags (JMStV) ausgerichtet ist, die jeweils aktuelle JMStV-Spruchpraxis der anerkannten Selbstkontrolle abbildet und eine ausreichende Qualität der jugendschutzrechtlichen Bewertung aufweist. 

Zugleich ist durch eine fachkundige menschliche Aufsicht und Letztentscheidung sichergestellt, dass der Anbieter seiner Verantwortung nach dem JMStV nachkommt.

Merm:ai:d erfüllte 15 der 16 Prüfkriterien des Kriterienkatalogs. Das verbleibende Kriterium ist mit der Auflage verbunden, ein verstetigtes Verfahren mit der Selbstkontrolleinrichtung zu etablieren, um zu gewährleisten, dass Veränderungen und Weiterentwicklungen der Prüfpraxis fortlaufend in das System einfließen. 

Die Zertifizierung gilt zunächst für zwei Jahre und bezieht sich ausschließlich auf die geprüfte Systemversion und den festgelegten Anwendungsbereich. Sie bestätigt die Qualität und fachkundige Einbettung des Systems, ersetzt jedoch weder die Verantwortung des Anbieters noch die menschliche Letztentscheidung.