Was sind „AI Companion“ und „General Conversational Chatbots“?

Bei „AI Companions“ handelt es sich um KI-Systeme, die eine dauerhafte, personalisierte Interaktion oder Begleitung bieten und eine zwischenmenschliche Beziehung zu einem Nutzer simulieren. In der Praxis fallen darunter virtuelle KI-Avatare, wie „Replika“ oder „Mitsuku“.

Bei „General Conversational Chatbots“ handelt es sich um KI-Chatbots, die nicht nur auf bestimmte vordefinierte Funktionen beschränkt sind, sondern eine allgemeine Kommunikationsfunktion aufweisen. Nicht erfasst werden hingegen KI-Systeme, deren Konversationsfunktion auf spezialisierte Dienste beschränkt ist, wie z. B. Kundendienst-, technischer Support- oder reine Informationsabruf-Anwendungen. Derartige allgemeine KI-Chatbots sind bereits weit verbreitet.

Welche Pflichten gelten?

Während für die Anbieter von „AI Companions“ und „General Conversational Chatbots“ zwar keine Altersgrenzen für die Nutzung zu beachten sind, sind weitreichende Vorgaben zum Schutz von Minderjährigen umzusetzen.

a) Safety by Design (Art. 14)

Die Anbieter müssen ihre Companions und Chatbots so gestalten, dass ein hohes Schutzniveau für die Privatsphäre und Sicherheit Minderjähriger gewährleistet ist. Die Systeme sollen insbesondere nicht in einer Art gestaltet sein, die eine zwanghafte oder übermäßige Nutzung fördert (süchtig machendes Design). Es sollen standardmäßig keine Informationen oder Analysen aus früheren Interaktionen Minderjährigen für spätere Interaktionen verwendet werden. Bevor das System auf den Markt gebracht oder in Betrieb genommen wird, sollen Tests nach dem Stand der Technik hinsichtlich der Risiken für Gesundheit, Sicherheit, Grundrechte sowie zum physischen, mentalen und emotionalen Wohlergehen der Minderjährigen durchgeführt werden. Zudem muss ein Monitoring der möglichen Schäden und neu auftretenden Risiken für Minderjährige erfolgen.

b) Transparenz für Minderjährige (Art. 18)

Die Anbieter haben Funktionen, Kommunikation, Informationen, Nutzerkontrollwerkzeuge und Warnhinweise für Minderjährige leicht zugänglich und verständlich zu gestalten und darzustellen. Es sollen zudem Tools vorgehalten werden, die es Minderjährigen ermöglichen, Inhalte und Suchergebnisse, mit denen sie konfrontiert werden, zu steuern und darauf Einfluss zu nehmen.

c) Kinderfreundliche Meldewege (Art. 19)

Anbieter müssen leicht zugängliche und für Minderjährige verständliche Werkzeuge bereitstellen, mit denen diese Inhalte, Konten, Gruppen, Funktionen oder Verhaltensweisen melden können, die sie als schädlich für ihre Privatsphäre oder Sicherheit empfinden.

d) Werkzeuge für die Kontrolle und Aufsicht durch die Erziehungsberechtigten (Art. 20)

Zudem sind nicht nur Funktionen für die Minderjährigen, sondern auch für deren Erziehungsberechtigte aufzunehmen. Die Werkzeuge sollen den Erziehungsberechtigten dabei helfen, die Online-Aktivitäten, die Privatsphäre, die Sicherheit und das Wohlbefinden ihrer minderjährigen Kinder zu begleiten. Insbesondere sollen sie Inhalte im Namen ihres Kindes melden können, Nutzungszeitgrenzen festlegen können oder über Konten informiert werden, mit denen der Minderjährige kommuniziert.

Gibt es Ausnahmen?

Von den Vorgaben kann ein Anbieter unabhängig davon, ob der Companion oder Chatbot für die Nutzung durch Minderjährige vorgesehen ist oder nicht, nur abweichen, wenn er mit einer Altersverifikation nachweisen kann, dass der Nutzer ein Erwachsener ist (Art. 8 Abs. 1). An die Altersverifikation stellt der EU KIDS Act jedoch bestimmte Vorgaben hinsichtlich Genauigkeit, Zuverlässigkeit, Sicherheit, Robustheit, den Datenschutz und die Diskriminierungsfreiheit. Insbesondere sollen reine Selbstauskünfte nicht genügen.

Was ist zu tun?

Zunächst sollte das weitere Gesetzgebungsverfahren abgewartet werden, da es sich bei dem EU KIDS Act bisher nur um einen Entwurf handelt, der noch Änderungen unterliegen wird. Bereits jetzt empfiehlt sich jedoch eine Bestandsaufnahme, ob eigene Systeme als „AI Companion“ oder „General Conversational Chatbot“ im Sinne des Entwurfs einzuordnen sein könnten. Wird dies angenommen, sind entweder die Vorgaben zum Schutz von Minderjährigen umzusetzen oder es ist eine den Vorgaben des EU KIDS Act entsprechende Altersverifikation einzuführen.