Künstliche Intelligenz im Schulalltag: Der EU AI Act und praxisnahe Handlungsempfehlungen

Zielsetzung der Verordnung

Der EU AI Act möchte einerseits Entwicklung und Verwendung von KI-Tools/-Systemen fördern anderseits auch Schutz vor potentiellen Risiken beim Einsatz von KI Systemen bieten. (🔗 AI Act Art. 1) KI-Systeme sollen sicher, transparent und ethisch eingesetzt werden.

Die potentiellen Risiken von KI-Tools/-Systemen werden in die Kategorien „inakzeptabel”, „hoch”, „begrenzt” und „gering” eingeordnet. Es ist aber immer zu beachten, dass beim Arbeiten mit einem KI-Tool/-System die Datenschutzgrundverordnung (DSGVO) und das Urheberrecht gelten.

Wesentlich für Bildungseinrichtungen ist auch die Forderung nach KI-Kompetenz von Lernenden und Lehrkräften.

KI-Kompetenz

„Die Anbieter und Betreiber von KI-Systemen ergreifen Maßnahmen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an KI-Kompetenz verfügen, wobei ihre technischen Kenntnisse, ihre Erfahrung, ihre Ausbildung und Schulung und der Kontext, in dem die KI-Systeme eingesetzt werden sollen, sowie die Personen oder Personengruppen, bei denen die KI-Systeme eingesetzt werden sollen, zu berücksichtigen sind.” (🔗 AI Act Art. 4)

Nach einer Veröffentlichung von Laupichler et al. (2023) 🔗 wurde ein Item-Set zur Bewertung der KI-Kompetenz von Nicht-Experten entwickelt. Diese Items können den folgenden Faktoren zugeordnet werden (Table 1: List of all variables sorted by factors based on the three-factor promax Model):

1. Grundverständnis von KI (Technical Understanding):
   Items, die sich auf das grundlegende Verständnis von KI beziehen, wie z. B. die Fähigkeit, zu beschreiben, was KI ist, oder zu erklären, wie maschinelles Lernen funktioniert.
2. Kritische Einordnung von KI (Critical Appraisal):
   Items, die auf die Fähigkeit zur kritischen Reflexion über die Auswirkungen von KI auf Individuen und die Gesellschaft Bezug nehmen. Dabei sollten die Chancen und Risiken bekannt sein.
3. Praktische Anwendung von KI (Practical Application):
   Items, die sich auf die Fähigkeit beziehen, KI-Anwendungen im Alltag zu erkennen und zu nutzen, wie z. B. die Benennung von Anwendungen, in denen KI-gestützte natürliche Sprachverarbeitung verwendet wird.

    

Diese Faktoren finden sich im Dagstuhl-Dreieck der Gesellschaft für Informatik aus dem Jahr 2016 🔗 mit folgenden drei Perspektiven auf die Bildung in der digitale Welt wieder:

1. Technologische Perspektive: Wie funktioniert das? 
2. Gesellschaftliche und kulturelle Perspektive: Wie wirkt das?
3. Anwendungsbezogene Perspektive: Wie nutze ich das?
   
   

Bildung in der digitalen vernetzen Welt - Erklärung des Dagstuhl-Dreiecks
von Dr. Ira Diethelm auf YouTube (CC-BY) 

Zu den drei Perspektiven des Dagstuhl‑Dreiecks lassen sich Bezüge zu den Digitalen Schlüsselkompetenzen der beruflichen Bildung 🔗 (Informatische Grundkenntnisse, Medienkompetenz, Anwendungs-Know-How) sowie auch zum Medienkompetenzrahmen NRW 🔗 herstellen.

In allen didaktischen Jahresplänen der Berufskollegs sollten die jeweiligen Schlüsselkompetenzen durch eine farbliche Markierung zu finden sein. Die Lehrpläne der Allgemeinbildenden Schulen (Primarstufe und Sekundarstufe I) orientieren sich am Medienkompetenzrahmen NRW. 

Daher sind die Schulleitungen verantwortlich, sich selbst und die Schulgemeinschaft hinsichtlich der KI-Kompetenz fortzubilden. Dies kann über diesen Kurs hinaus auch mit den folgenden kostenfreien Kursen des Hasso-Plattner-Instituts geschehen:

• Chat-GPT: Was bedeutet generative KI für unsere Gesellschaft 🔗
• KI-Biases verstehen und vermeiden 🔗
• KI und Datenqualität - Perspektiven aus Data Science, Ethik, Normung und Recht 🔗

Risikobewertung eines KI-Systems/-Tools

• Inakzeptables Risiko?
  Fällt der Anwendungsfall des Tools/Systems unter die verbotenen KI-Praktiken? (🔗 AI Act Art. 5)
  Beispiele für KI-Tools/-Systeme mit inakzeptablem Risiko:
  • Einsatz von KI zur manipulativen Beeinflussung von Schülerverhalten (z.B. unterschwellige Hinweise, emotionale Ansprache, um Schülerinnen und Schüler politisch zu beeinflussen oder zu einer Kaufentscheidung zu bewegen)
  • Ausnutzung von Vulnerabilitäten (z.B. Ausnutzung der Leichtgläubigkeit/Naivität jüngerer Schülerinnen und Schülern)
  • Fortlaufende soziale Bewertung von Schülerinnen und Schülern (Social Scoring)​
  • Fortlaufende biometrische Fernüberwachung an der Schule (z.B. Emotionserkennung im Klassenzimmer durch Kameras)​
    
    
• Wenn Ja: Risikokategorie = Inakzeptabel ⇒ Einsatz verboten
• Wenn Nein: ⇒ weiter zu Hohes Risiko?
  
  
  
• Hohes Risiko?
  Fällt der Anwendungsfall des Tools/Systems in die Kategorie Hohes Risiko? (🔗 AI Act Art. 6)
  Beispiele für Hochrisiko-KI in Schulen (🔗 AI Act Annex III Nr. 3):
  • KI-System zur Entscheidung über Zugang/Zulassung zu einer Bildungseinrichtung (z.B. automatisierte Auswahl in Bewerbungsverfahren)​
  • KI-System zur Bewertung von Lernleistungen oder zur Notenfindung (z.B. automatisierte Leistungsbeurteilung, die den Lernprozess steuert)​
  • KI-System zur Einstufung des Bildungsniveaus oder zur Zuweisung in Schulformen/Kurse (z.B. automatisierte Bestimmung der Förderung, die eine Schülerin oder ein Schüler erhält)​
  • KI-System zur Überwachung von Prüfungen (automatisierte Aufdeckung von Täuschungsversuchen in Tests/Klausuren)​
    
    
• Wenn Ja: Risikokategorie = Hohes Risiko. ⇒ Der Einsatz ist nur zulässig, wenn strenge Auflagen erfüllt werden:
  • Nutzung gemäß Anleitung: Betreiber müssen das KI-System entsprechend den mitgelieferten Anweisungen und dem bestimmungsgemäßen Zweck einsetzen (Art. 26 Abs. 1).
  • Menschliche Aufsicht sicherstellen: Es muss gewährleistet sein, dass ausreichend qualifizierte Personen die notwendige menschliche Aufsicht ausüben (Art. 26 Abs. 2).
  • Geeignete Dateneingaben: Soweit Betreiber Daten einspeisen, müssen diese für den vorgesehenen Zweck geeignet und qualitätsgesichert sein (Art. 26 Abs. 4).
  • Überwachung und Meldepflicht: Die Nutzung ist zu überwachen und bei schwerwiegenden Vorfällen oder Risiken besteht eine Meldepflicht gegenüber Anbieter/Händler und Marktüberwachungsbehörde – gegebenenfalls Nutzung aussetzen (Art. 26 Abs. 5).
  • Protokollierung und Aufbewahrung: Relevante Protokolldaten, die das System automatisch erzeugt, sind mindestens sechs Monate datenschutzkonform aufzubewahren (Art. 26 Abs. 6).
  • Informationspflicht am Arbeitsplatz: Vor dem Einsatz am Arbeitsplatz oder gegenüber Betroffenen (z. B. Schüler) besteht Informationspflicht (Art. 26 Abs. 7).
  • Datenschutz-Folgenabschätzung (DSFA): Soweit erforderlich, ist eine DSFA gemäß DSGVO durchzuführen (Art. 26 Abs. 9 in Verbindung mit DSGVO). Bei KI-Nutzung auf Ebene einer Einzelschule und der Vorgabe, keine personenbezogene Daten in das KI-Tool einzugeben (s.u.), besteht in der Regel keine Verpflichtung der Schulleitung, eine DSFA durchzuführen. 
  • Auskunfts- und Kooperationspflicht gegenüber Behörden: Betreiber müssen bei Anfragen Auskunft geben und mit Behörden kooperieren (Art. 26 Abs. 12).
  Die Datenschutzgrundverordnung (DSGVO) und das Urheberrecht müssen berücksichtigt werden.
• Wenn Nein: ⇒ weiter zu Begrenztes Risiko?
  
  
  
• Begrenztes Risiko?
  Fällt der Anwendungsfall des Tools/Systems in die Kategorie Begrenztes Risiko? (🔗 AI Act Art. 50)
  Typische Fälle sind Systeme in direkter Interaktion mit Menschen oder KI-Generatoren von Inhalten, bei denen Nutzerinnen und Nutzer informiert sein müssen, dass die generierten Antworten von einer KI stammen​.
  Beispiele:
  • KI-Chatbot oder virtueller Tutor, der Schülerfragen beantwortet oder beim Lernen hilft (muss für Nutzerinnen und Nutzer als KI erkennbar sein)​
  • Generative KI zur Erstellung von Texten/Bildern für den Unterricht (hier ist offenzulegen, dass die Inhalte künstlich erzeugt sind).
    
    
• Wenn Ja: Risikokategorie = Begrenztes Risiko ⇒ System zulässig, aber mit Transparenzauflage.
  Nutzerinnen und Nutzer müssen klar informiert werden, dass sie es mit einer KI zu tun haben​.
  Die DSGVO und das Urheberrecht müssen berücksichtigt werden.
• Wenn Nein ⇒ weiter zu Geringes Risiko.
  
  
  
• Geringes Risiko. Alle übrigen KI-Anwendungen fallen in die Kategorie Geringes Risiko: Solche Systeme haben kein nennenswertes Gefährdungspotential für Grundrechte oder Sicherheit der Betroffenen und unterliegen keinen speziellen Auflagen des AI Acts​. Es wird KI genutzt, ohne dass dies Einfluss auf Bildungserfolg oder Entscheidungsprozesse der Schülerinnen und Schüler hat.
  Beispiele:
  • Spam-Filter in lokalem E-Mail-Client (bspw. Thunderbird) zur E-Mail-Filterung
  • lokale Texterkennungssystemen (OCR) zur Umwandlung handschriftlicher oder gedruckter Inhalte in digitale Texte für Auswertung, Barrierefreiheit oder Archivpflege
    
    
• Risikokategorie = Geringes Risiko. ⇒ Einsatz nach EU AI Act frei zulässig.
  Die DSGVO und das Urheberrecht müssen berücksichtigt werden.

Datenschutzgrundverordnung (DSGVO)

• Verarbeitung personenbezogener Daten
  
  Personenbezogene Daten sind alle Informationen, die sich auf eine identifizierte oder identifizierbare natürliche Person beziehen. Als identifizierbar wird eine natürliche Person angesehen, die direkt oder indirekt identifiziert werden kann. Beispiele für eine direkte Identifizierbarkeit sind der Name oder ein Foto. Eine indirekte Identifizierbarkeit liegt vor, wenn die Information nur mit dem Zusatzwissen eines Dritten für die Identifizierung ausreicht. Beispiele sind die Telefonnummer, aber auch eine IP-Adresse, die mit dem Zusatzwissen des Internetserviceproviders einem Anschlussinhaber zugeordnet werden kann.

  
  Sensible personenbezogenen Daten sind in Art. 9 DSGVO geregelt und umfassen besonders schutzwürdige Daten, aus denen die ethnische Herkunft, politische Meinungen, religiöse oder weltanschauliche Überzeugungen oder die Gewerkschaftszugehörigkeit hervorgehen, sowie genetische Daten, biometrische Daten zur eindeutigen Identifizierung einer natürlichen Person, Gesundheitsdaten oder Daten zum Sexualleben oder der sexuellen Orientierung einer natürlichen Person. Die Verarbeitung sensibler Daten ist grundsätzlich verboten, es sei denn es liegt eine ausdrückliche Einwilligung oder eine Rechtsgrundlage aus Art. 9 DSGVO vor.

  
  Hinsichtlich der Verarbeitung personenbezogener Daten gilt:
  • Keine Eingabe personenbezogener Daten in die KI-Anwendung.
    Personenbezogene Daten könnten allenfalls im Zuge der Einrichtung des Zugangs/Nutzungskontos o.ä. anfallen.
    Um eine Weitergabe personenbezogener Daten zu vermeiden, sollten KI-Tools immer über die schulischen bzw. dienstlichen Endgeräte und über das schulische WLAN genutzt werden. 
  • Verarbeitung: Jede Verarbeitung (inkl. Eingabe, Verarbeitung durch die KI und Weiterverarbeitung der Ausgabe) muss auf einer der in Art.  6 DSGVO 🔗 genannten Rechtsgrundlagen basieren (§§ 120, 121 SchulG; u.U. Einwilligung).
  • Minimierung der Speicherdauer: Die Daten sind nur so lange zu speichern, wie das für den Verarbeitungszweck erforderlich ist.
  • Datensparsamkeit: Es sind nur die Daten zu verarbeiten, die unbedingt erforderlich sind.
  • Rechenschaftspflicht: die Einhaltung der datenschutzrechtlichen Vorgaben ist zu dokumentieren.
    
    
• Datenübermittlung in Drittländer
  • Bei der Nutzung von ChatGPT (OpenAI), Gemini (Google) oder Copilot (Microsoft) kann es zu einer (teilweisen) Datenübermittlung in die USA – einem sogenannten Drittland außerhalb des Europäischen Wirtschaftsraums – kommen. Es muss geprüft werden, ob die datenschutzrechtlichen Bedingungen hierfür erfüllt sind, insbesondere ein angemessenes Datenschutzniveau vorliegt (z. B. durch das EU-U.S. Data Privacy Framework oder Standardvertragsklauseln).
    
    
• Informationspflichten und Transparenz
  • Nutzerinnen und Nutzer (z. B. Lehrkräfte und Lernende) müssen informiert werden, wenn ihre Daten durch eine KI verarbeitet werden – inklusive Zweck, Umfang, Empfänger, Speicherdauer.

Urheberrecht

• Eingabe von urheberrechtlich geschütztem Material
  
  • Texte, Bilder, Codes oder andere Inhalte dürfen nur dann eingeben werden, wenn die erforderlichen Rechte bei der Nutzerin oder dem Nutzer liegen.
  • Die Weitergabe geschützter Inhalte an KI-Systeme kann eine unzulässige Vervielfältigung darstellen (🔗 § 16 UrhG).
    
    
• Ausgaben der KI
  • KI-generierte Inhalte gelten im deutschen Recht grundsätzlich nicht als urheberrechtlich geschützt, da es an der menschlichen Schöpfungshöhe fehlt (🔗 § 7 UrhG).
  • Das bedeutet: Die Werke können nicht als geistiges Eigentum des Nutzers geschützt werden.
  • Umgekehrt kann man fremde KI-generierte Inhalte in der Regel verwenden – sofern keine Rechte Dritter (Marken, Persönlichkeitsrechte etc.) verletzt werden.
    
    

• Plagiatsrisiken und Stilkopien
  
  • Die KI kann stilistisch oder inhaltlich Texte erzeugen, die bestehenden Werken ähneln. Dies kann urheberrechtlich relevant sein, insbesondere bei „engen Stilkopien“ oder paraphrasierenden Abschriften.
    
    
• Lizenz- und Nutzungsbedingungen
  
  • Bei der Nutzung von KI-generierten Inhalten sollte auf die Nutzungsbedingungen des Anbieters geachtet werden. OpenAI räumt z. B. in der Regel ein einfaches, nicht-exklusives Nutzungsrecht an den generierten Inhalten ein.

Selbsttest: EU AI Act