"Bei KI-Produkten besondere Sorgfalt walten lassen."
Timo Utermark ist Landesbeauftragter für Datenschutz und Informationsfreiheit der Freien Hansestadt Bremen. Mit dem früheren Referatsleiter Bremischen Senatskanzlei für Medienpolitik und Medienrecht sprachen die BvD-News über gute Standards für Governance und Transparenz in Forschungsprojekten, über Kontrollen der Aufsichtbehörde und die Reformbestrebungen von Bund und Ländern, die Datenschutzaufsicht neu zu strukturieren.
BvD-News: Herr Utermark, KI und der europäische AI Act halten die Datenschutzbeauftragten von Bund und Länder auf Trab. Welche Anforderungen liegen auf Ihrem Schreibtisch?
Timo Utermark: Der neue Regierungsentwurf zum Gesetz zur Durchführung der KI-Verordnung vom 11. Februar 2026 sieht leider gegenwärtig allein die Bundesnetzagentur vor, dass diese zukünftig zumindest ein KI-Reallabor betreiben muss. Daneben ist es aus meiner Sicht gerade für die mittelständisch geprägte Wirtschaft in Städten wie Bremen und Bremerhaven, die insofern nur beispielhaft für viele Orte in Deutschland stehen, wichtig, dass auch auf der Ebene der Länder ein KI-Reallabor betrieben werden kann und der regionalen Wirtschaft offensteht. Hieran mitzuarbeiten ist eine zentrale Anforderung auf meinem Schreibtisch.
BvD-News: Wie sieht es mit der Marktüberwachung bei Einführung von KI-Systemen aus?
Timo Utermark: Dazu sieht der Gesetzentwurf vor, dass die Marktüberwachung bei öffentlichen Stellen der Länder den jeweils nach Landesrecht zuständigen Behörden obliegt. In Bremen setze ich mich dafür ein, dass diese Zuständigkeit bei meiner Behörde angesiedelt wird, um eine effektive und praxisnahe Aufsicht sicherzustellen.
Bereits jetzt beobachte ich, dass sowohl Unternehmen als auch öffentliche Stellen zunehmend KI-Systeme einsetzen, bei denen regelmäßig auch personenbezogene Daten verarbeitet werden. Dementsprechend steigt auch die Anzahl an Prüfungen von und Beratungen zu KI-Systemen bei mir stark an.
BvD-News: Was ist dabei aus Ihrer Sicht die größte Herausforderung?
Timo Utermark: Es ist mir ein besonderes Anliegen, dass der Schutz der Rechte und Freiheiten der Bürgerinnen und Bürger bei der Einführung und Nutzung von KI-Systemen nicht in den Hintergrund gerät. Die Herausforderung besteht daher darin, Innovation und Digitalisierung zu ermöglichen, ohne dabei die hohen Standards des Datenschutzes und der Grundrechte zu vernachlässigen. Daher ist es wichtig, dass ich als Aufsichtsbehörde frühzeitig in die Prozesse eingebunden werde.
BvD-News: Sie leiten die Unterarbeitsgruppe „Forschung und neuere Entwicklung“ im Arbeitskreis Künstliche Intelligenz der Datenschutzkonferenz. Welche Chancen sehen Sie ganz allgemein in der KI?
Timo Utermark: In der Unterarbeitsgruppe „Forschung und neuere Entwicklung“ im Arbeitskreis Künstliche Intelligenz der
Datenschutzkonferenz beschäftigen wir uns intensiv mit den aktuellen Fortschritten im Bereich KI und prüfen dabei insbesondere die damit verbundenen datenschutzrechtlichen Auswirkungen und Risiken. Eine der neueren Entwicklungen, die agentische KI-Systeme, versprechen den Workflow in Unternehmen und Behörden zu vereinfachen und Prozesse zu automatisieren, bieten aber gleichzeitig eine weitere Angriffsfläche personenbezogene Daten aus angebundenen Datenbanken zu extrahieren und große Datenlecks zu verursachen. Gleichzeitig betrachten wir die technische Umsetzung neuerer KI-Modelle und schauen, ob die getroffenen Maßnahmen der Unternehmen auf technischer Ebene Wirkung zeigen können. Dabei werden sowohl proprietäre Entwicklungen als auch Open Source Projekte untersucht. Grundsätzlich kann Künstliche Intelligenz dazu genutzt werden kreative Prozesse zu fördern, beispielsweise indem sie Schreibblockaden löst oder bei der Erstellung von Texten in einfacher Sprache und Übersetzungen unterstützt. Dies erleichtert nicht nur die Kommunikation, sondern trägt auch zur Barrierefreiheit und Inklusion bei, etwa durch die Generierung von Gebärdensprachvideos.
Ein weiterer Vorteil ist die verbesserte Verfügbarkeit und Nutzbarkeit von Dokumenten: KI kann dazu beitragen, Dokumente maschinenlesbar und durchsuchbar zu machen, was die Effizienz und Zugänglichkeit von Informationen deutlich erhöht. Dies kann beispielsweise dazu genutzt werden, um Bürgern leichter und gezielter Zugriff auf für sie relevante Behördeninformationen zu geben. KI-Systeme können auch dazu genutzt werden, um personenbezogene Daten zu pseudo- oder anonymisieren, ohne dass je ein Mensch Zugriff auf die vollständigen personenbeziehbaren Daten hat. Dies kann je nach Ausgestaltung des Systems sogar positive Folgen auf den Schutz der personenbezogenen Daten der Betroffenen haben.
BvD-News: Wie stehen Sie zu synthetischen Daten?
Timo Utermark: Synthetische Daten bewerte ich aus datenschutzrechtlicher Sicht grundsätzlich positiv. Gerade bei Videoanalysen ermöglichen fotorealistische Bild- und Videogeneratoren die Entwicklung und das Training von KI-Systemen, ohne auf echte personenbezogene Daten zurückgreifen zu müssen. Auch im Bereich der Textgenerierung unterstützen generative Modelle und bei tabellarischen Daten bieten synthetische Daten, die beispielsweise durch Zufallsgeneratoren erstellt werden, vielfältige Möglichkeiten.
BvD-News: Welche Mindeststandards erwarten Sie von Unternehmen, wenn diese KI einsetzen (z.B. Risikoanalyse, Transparenz, TOM, Vendor-Management) – und ab wann wird aus „Best Practice“ aus Ihrer Sicht „Pflicht“?
Timo Utermark: Unternehmen, die den Einsatz von KI-Systemen planen oder diese bereits eingeführt haben, sind verpflichtet, die einschlägigen gesetzlichen Vorgaben einzuhalten. Maßgeblich sind hier insbesondere die Anforderungen der KI-Verordnung sowie, sofern personenbezogene Daten verarbeitet werden, die Vorgaben der Datenschutz-Grundverordnung. Die dort festgelegten Pflichten, insbesondere zur Information der betroffenen Personen und zur Transparenz darüber, ob eine Interaktion mit einem KI-System stattfindet oder KI-generierte Inhalte verwendet werden, sind zwingend zu beachten. Ein zentrales Element ist zudem die Durchführung einer Datenschutz-Folgenabschätzung nach Artikel 35 Datenschutz-Grundverordnung, die in den meisten Fällen beim Einsatz von KI-Systemen mit denen personenbezogene Daten verarbeitet werden, erforderlich sein wird. Für Hochrisiko-KI-Systeme sieht die KI-Verordnung darüber hinaus eine Grundrechte-Folgenabschätzung nach Artikel 27 KI-Verordnung vor, um die Auswirkungen auf die Rechte und Freiheiten der Betroffenen umfassend zu bewerten. Die Durchführung solcher Risikoanalysen sollten Unternehmen nicht als lästige Pflicht, sondern als wirksames Mittel zur Selbstkontrolle sehen. Bei sorgfältiger Durchführung können diese nicht nur datenschutzrechtliche Problematiken direkt in der Einführungsphase aufdecken, sondern auch dabei helfen, das eigene System zu optimieren und die mit diesem verfolgen Zwecke besser zu verstehen.
BvD-News: Worauf müssten Unternehmen dabei besonders achten?
Timo Utermark: Um den gesetzlichen Anforderungen gerecht zu werden, ist es für Unternehmen unerlässlich, bei der Auswahl und dem Einsatz von KI-Produkten und -Anbietern besondere Sorgfalt walten zu lassen. Dies gilt insbesondere im Hinblick auf die Einhaltung technischer und organisatorischer Maßnahmen sowie bei möglichen Datenübermittlungen in Drittstaaten. Ein verantwortungsvolles Vendor-Management und die regelmäßige Überprüfung der eingesetzten Systeme sind hierbei ebenso wichtig wie die konsequente Dokumentation aller Prozesse. Im Bereich des KI-Einsatzes entwickeln sich die Erwartungen an Mindeststandards dynamisch weiter. Bestimmte Maßnahmen, wie beispielsweise Transparenzmechanismen, Bias-Tests oder neue Verschlüsselungstechnologien, werden zunächst häufig als Best Practice betrachtet. Mit der zunehmenden Leistungsfähigkeit und Komplexität von KI-Systemen steigen jedoch auch die Anforderungen an technische und organisatorische Maßnahmen kontinuierlich und diese Maßnahmen werden nunmehr als Stand der Technik angesehen und damit verpflichtend. Unternehmen müssen daher stets den aktuellen Stand der Technik beobachten und ihre Schutzmaßnahmen entsprechend anpassen.
Was bei KI-Systemen mit geringem Risiko noch als Best Practice gilt, kann bei Hochrisiko-KI-Systemen bereits zur regulatorischen Pflicht werden. Deshalb ist es für Unternehmen essenziell, ihre eingesetzten KI-Systeme sorgfältig zu klassifizieren und regelmäßig zu überprüfen, ob die getroffenen Maßnahmen noch dem aktuellen Stand der Technik und den rechtlichen Anforderungen entsprechen.
Unternehmen sind gut beraten, frühzeitig klare Leitlinien und Strukturen für den verantwortungsvollen Einsatz von KI zu entwickeln und umzusetzen. Dies dient nicht nur der Einhaltung der rechtlichen Vorgaben, sondern stärkt auch das Vertrauen der Betroffenen und die gesellschaftliche Akzeptanz der von ihnen eingesetzten KI-Technologien.
