
Anerkennung von automatisierten und KI-gestützten Bewertungssystemen
Im Rahmen eines Modellversuchs entwickeln die Freiwillige Selbstkontrolle Fernsehen (FSF) und die Freiwillige Selbstkontrolle Multimedia-Diensteanbieter (FSM) unter Begleitung der Kommission für Jugendmedienschutz (KJM) Qualitätsstandards für automatisierte und KI-gestützte Bewertungssysteme (ABS). Hintergrund ist, dass verschiedene Systeme auf den Markt kommen und zunehmend auch bei der Altersbewertung und Einordnung audiovisueller Inhalte Verwendung finden. Um zu gewährleisten, dass ihre Anwendung fachlich fundiert, nach anerkannten Kriterien und transparent erfolgt, wird ein eigenes Zertifizierungsverfahren aufgesetzt. Getestet werden dabei nicht nur die Systeme selbst, sondern auch ihre Nutzung in Unternehmen oder Selbstkontrolleinrichtungen. Im Ergebnis sollen sich Maßnahmen zur Qualitätssicherung der Systeme und Qualifizierung der Jugendschutzbeauftragten ableiten lassen.
Der Modellversuch bietet die Chance, verbindliche Maßstäbe für den Einsatz von automatisierten Systemen und Prüfverfahren bei der jugendschutzrechtlichen Bewertung von Medieninhalten zu setzen und Unternehmen, die automatisierte Systeme einsetzen, Rechtssicherheit zu bieten.
Modellversuch zur Integration und Qualitätssicherung von ABS
Der gemeinsame Modellversuch soll sicherstellen, dass der Einsatz von automatisierten Systemen verantwortungsvoll und im Sinne des Kinder- und Jugendmedienschutzes erfolgt. So kann gewährleistet werden, dass nur Systeme Verwendung finden, die nach den definierten Qualitätsmaßstäben verlässlich sind.
Die zentralen Ziele sind:
- die Entwicklung eines strukturierten, wiederholbaren und rechtssicheren Verfahrens zur Anerkennung und Zertifizierung von ABS für audiovisuelle Medieninhalte,
- die Sicherstellung der jugendschutzrechtlichen Qualität und Zielorientierung automatisierter oder teilautomatisierter Bewertungen sowie
- die Unterstützung von Anbietern beim verantwortungsvollen Einsatz automatisierter Systeme sowie von Jugendschutzbeauftragten im Hinblick auf ihre Qualifizierung nach § 7 Abs. 4 JMStV und ihre Zertifizierung nach § 14a Abs. 1 Nr. 2 JuSchG.
Eckpunkte des Modellversuchs
Der Modellversuch gliedert sich in drei Phasen: Nach dem Projektauftakt werden Prüf- und Anerkennungskriterien für ABS abgestimmt und erprobt. Auf Basis der Ergebnisse werden die Kriterien weiterentwickelt und finalisiert. Den Abschluss bilden Empfehlungen zu Verfahren und Qualitätsmanagement, die in einem Abschlussbericht zusammengefasst werden.
Pilotprüfung und Kriterienentwicklung
Die Kriterien für die Prüfung und Anerkennung von automatisierten Systemen werden von einer Gruppe von Expertinnen und Experten aus den Bereichen KI-Technik, KI-Recht, KI-Governance in Unternehmen und FSF-Prüfpraxis entwickelt. Gegenstand des Pilotverfahrens ist eine vorgelegte KI-Anwendung, die bereits bei der Identifizierung und Klassifizierung von AV-Inhalten unter Jugendschutzgesichtspunkten zum Einsatz kommt. Das System wird zum einen auf seine Eignung und damit Anerkennungsfähigkeit für die Bewertung audiovisueller Inhalte geprüft; zum anderen wird seine Einbindung in unternehmensinterne Governance- und Prüfprozesse in den Blick genommen.
KI-Expert:innen im Pilotverfahren sind:
Prof. Dr. Oksana Arnold (FH Erfurt)

Prof. Dr. Oksana Arnold ist Professorin für Theoretische Informatik und Künstliche Intelligenz an der Fachhochschule Erfurt. Ihr Forschungsinteresse gilt der Konzeption, Analyse und Gestaltung intelligenter IT-Systeme, insbesondere regelbasierter und lernender Systeme. In ihrer wissenschaftlichen Arbeit befasst sie sich unter anderem mit Dialogsystemen, Planungsverfahren, induktiver Inferenz sowie neurosymbolischen Ansätzen der Künstlichen Intelligenz und Fragen des IT-Systemdesigns. In Lehre und Forschung verbindet sie theoretische Grundlagen der Informatik mit anwendungsorientierten Perspektiven der KI. Ein besonderer Schwerpunkt ihrer aktuellen Tätigkeit liegt auf der Initiierung und Leitung von Projekten im Bereich des explorativen Forschens mit Kindern. In Formaten wie der Zukunftswerkstatt Digitalisierung, der Kinderuni oder AI4Kids-Workshops entwickelt sie Konzepte zur frühzeitigen und partizipativen Auseinandersetzung mit digitalen Technologien und KI.
Dr. Stephan Dreyer (HBI)

Dr. Stephan Dreyer ist Senior Researcher für Medienrecht und Media Governance am Leibniz-Institut für Medienforschung | Hans-Bredow-Institut (HBI). Einer seiner Tätigkeitsschwerpunkte ist die interdisziplinäre Begleitung und Erforschung der rechtlichen Rahmung des Aufwachsens von Kindern in digitalen Medienumgebungen. Als Experte in den Schnittbereichen von Kinder- und Jugendmedienschutz, technischen und KI-basierten Ansätzen für Sicherheit, Befähigung und Teilhabe sowie Aspekten des Kinderdatenschutzes untersucht er medienregulatorische und kinderrechtliche Fragestellungen im Angesicht neuer Technologien, Angebotsstrukturen und Nutzungspraktiken. Stephan Dreyer ist juristischer Sprecher des Beschwerdeausschusses und der Gutachterkommission der FSM, Kuratoriumsvorsitzender der FSF und Beiratsmitglied von klicksafe.de. Er prüft zudem als Jugendschutzsachverständiger bei der USK.online, ist Vorsitzender des USK-Appellationsausschusses und ist als juristischer Sachverständiger im USK-Beirat benannt.
Prof. Dr. Judith Simon (Uni Hamburg)

Prof. Dr. Judith Simon ist Professorin für Ethik in der Informationstechnologie an der Universität Hamburg. In ihrer Forschung befasst sie sich mit normativen, erkenntnistheoretischen und gesellschaftlichen Fragen digitaler Technologien. Ihre Schwerpunkte liegen in der Computerethik, der Philosophie des Computing sowie in kritischen Big-Data-Studien. Ein zentrales Anliegen ihrer Arbeit ist die Analyse soziotechnischer Wissenspraktiken, der Rolle von Werten im Design sowie verantwortungsvoller Forschung und Innovation (Responsible Research and Innovation). Daneben ist Judith Simon in nationalen und internationalen politisch-wissenschaftlichen Beratungskontexten aktiv. Seit 2024 ist sie Vize-Vorsitzende des Deutschen Ethikrats; zuvor war sie dort Sprecherin der Arbeitsgruppe „Menschen und Maschinen – Herausforderungen der Künstlichen Intelligenz“. Neben ihrer Forschung ist Judith Simon editorisch und verlegerisch engagiert, unter anderem als Herausgeberin des Routledge Handbook of Trust and Philosophy (2020) sowie als Mitglied mehrerer Editorial Boards internationaler Fachzeitschriften.
Jugendschutzrechtliche Qualitätssicherung
Ziel ist es, die bestehende Qualität der Prüfungen und der Spruchpraxis in automatisierte Systeme zu übertragen. Im Rahmen der Pilotierung und der begleitenden Evaluierung ist hierzu ein enger und kontinuierlicher Austausch zwischen FSF und FSM sowie der KJM und der Bundeszentrale für Kinder- und Jugendmedienschutz (BzKJ) fest verankert. Der Austausch zu grundlegenden Kriterien und Prüfstandards erfolgt in Zusammenarbeit mit der Expert:innengruppe Jugendmedienschutz (JMS) und findet in Form regelmäßiger Werkstattgespräche statt.
Mitglieder der Expert:innengruppe Jugendmedienschutz sind:
Dr. Annika Baumann (KJM)

Dr. Annika Baumann ist Wirtschaftsinformatikerin und leitet am Weizenbaum Institut die Forschungsgruppe „Wohlbefinden in der digitalen Welt“, die sich mit prosozialem und antisozialem Verhalten in digitalen Räumen, dem Einfluss algorithmischer Systeme auf die Wahrnehmung und das Verhalten von Individuen sowie den Auswirkungen sozialer Medien auf das Wohlbefinden beschäftigt. Ihre Arbeiten wurden in führenden Journals veröffentlicht. Seit 2025 ist Dr. Annika Baumann technische Sachverständige bei der KJM.
Henning Mellage (LFM NRW)

Henning Mellage studierte Rechtswissenschaften in Köln. Seit 2010 ist er Referent für Aufsicht in der Rechtsabteilung der Landesanstalt für Medien Nordrhein-Westfalen (LfM); darüber hinaus ist er Leiter der AG „Technischer Jugendmedienschutz“ der KJM. Sein inhaltlicher Schwerpunkt ist der Jugendmedienschutz und insbesondere der technische Jugendmedienschutz. Dazu gehört u. a. die Bewertung von Altersverifikationssystemen.
Lukas Neuerburg (BzKJ)

Lukas Neuerburg ist Kommunikationswissenschaftler und Medienpädagoge und als Referent für die Bundeszentrale für Kinder- und Jugendmedienschutz (BzKJ) tätig. Einen Schwerpunkt seiner Arbeit bilden die Chancen und Risiken von KI und digitalen Medien für Kinder und Jugendliche. Bis 2022 war er bei der Unterhaltungssoftware Selbstkontrolle (USK) tätig und betreute die Weiterentwicklung sowie das Monitoring des automatisierten Alterskennzeichnungssystems IARC für Apps und Onlinespiele.
Katharina Uharek (mabb)

Katharina Uharek Langhanke ist juristische Referentin bei der Medienanstalt Berlin-Brandenburg (mabb). Im Mittelpunkt ihrer Arbeit stehen die praktische Bearbeitung und Bewertung konkreter Aufsichtsfälle nach dem JMStV sowie die rechtliche Einordnung und Umsetzung europäischer Regelwerke wie des Digital Services Act. Darüber hinaus begleitet sie die fortlaufenden Entwicklungen im Jugendmedienschutz und deren praktische Auswirkungen auf Anbieter digitaler Dienste.
Prüfverfahren
Die Bewertung erfolgt auf der Grundlage mehrerer aufeinander abgestimmter Verfahrensbestandteile. Dazu zählen
- eine schriftliche Dokumentation des antragstellenden Unternehmens, in der Aufbau, Funktionsweise und Prüflogik des Systems dargelegt werden,
- eine Präsentation des Systems vor der KI-Pilotgruppe, die eine Live-Vorführung der Anwendung einschließt sowie
- Vergleichstests mit regulären Prüfverfahren. Diese Prüfungen werden von FSF-Prüfgruppen vorgenommen. Die Ergebnisse werden systematisch an die Projektbeteiligten zurückgespielt, um eine belastbare Gegenüberstellung mit den automatisierten Verfahren zu ermöglichen.
Im Rahmen des gesamten Verfahrens gilt für alle Beteiligten ein strenger Vertraulichkeitsgrundsatz. Dieser dient insbesondere dem Schutz der Geschäfts- und Betriebsgeheimnisse der antragstellenden Unternehmen.
Zeitplan
- Projektbeginn: 05. Januar 2026
- Projektende: 31. Juli 2026
Ergebnisse und Ausblick
Im Ergebnis lassen sich
- grundlegende Qualitätsstandards für zukünftige Prüfungen von ABS im Bereich des Jugendmedienschutzes ableiten,
- die erforderlichen Maßnahmen zur Qualitätssicherung der Systeme definieren und
- die Qualifizierung der Anwendergruppe sicherstellen.
Für Unternehmen, die automatisierte Systeme einsetzen und eine Zertifizierung ihres Systems beantragen möchten, werden nach Abschluss des Modellversuchs die entsprechenden Informationen und Unterlagen bereitgestellt.

Für weitere Informationen und Fragen zum Modellversuch wenden Sie sich an:
David Assmann
E-Mail

