Aufmacherbild: Adobestock.com/ infiniteflow
Sind Sprachmodelle wie ChatGPT potentielle Raubkopierer?
Großen Sprachmodellen wird aktuell vorgeworfen, schriftliche Werke auswendig zu lernen. Tatsächlich deuten wissenschaftliche Untersuchungen darauf hin, dass große Sprachmodelle wie ChatGPT, Gemini oder Claude einen erheblichen Teil ihrer Trainingsdatensätze auswendig lernen. Dadurch wird eine Verletzung des Urheberrechts der Autoren möglich und private Daten könnten öffentlich werden.
Die Penguin Random House Verlagsgruppe geht seit dem Frühjahr 2026 juristisch gegen Urheberrechtsverletzungen durch ChatGPT vor und hat beim Landgericht München Klage gegen die OpenAI Ireland Ltd eingereicht. Die Verlagsgruppe sieht die Urheberrechte ihres Autors und Illustrators Ingo Siegner an den Inhalten seiner Buchreihe „Der kleine Drache Kokosnuss“ verletzt.
Es gibt klare Indizien dafür, dass die Werke von Ingo Siegner zum Training des Sprachmodells genutzt wurden und nun als sogenannte „Memorisierung“ im Modell vorliegen. Dies ist vergleichbar mit einer Speicherung der urheberrechtlich geschützten Inhalte, die das System auf Nutzeranfragen hin wiedergeben kann.
Es gibt verschiedene Möglichkeiten, Memorisierung zu definieren, aber der Einfachheit halber sage ich, dass ein Sprachmodell (technisch: Transformer) ein Werk auswendig gelernt hat, wenn die Genauigkeit der Vorhersage des nächsten Wortes in Bezug auf die Trainingsdaten über 90 Prozent gestiegen ist.
Nachfolgend möchte ich zeigen, wie klein ein Sprachmodell sein kann, ohne diese Fähigkeit zu verlieren. Daraus folgt dann logisch, dass alle größeren Sprachmodelle über diese Fähigkeit verfügen – also mit Vorsicht zu nutzen sind. Diese Passage ist etwas technischer und kann übersprungen werden. Danach gehe ich in allgemein verständlicher Sprache auf die Konsequenzen für die Nutzer von Sprachmodellen ein.
Prof. Frank Lehrbass ist Datenwissenschaftler an der FOM Hochschule und betreut regelmässig KI-Anwendungen in der Wirtschaft. // Foto: privat
Das Eigenversuchsmodell
Technisch gesehen habe ich ChatGPT 2.0 in der Skriptsprache Python (nach-)programmiert. Anschließend habe ich die Architektur Schritt für Schritt reduziert, um das minimale Modell zu finden, das noch ganze Bücher auswendig lernen kann. Ich habe dazu Texte aus dem Projekt Gutenberg verwendet. Sodann habe ich das in ChatGPT verwendete Byte Pair Encoding (BPE) durch einen einfachen Tokenizer ersetzt. Der traditionelle Transformer hat seinen Namen daher, dass er dem Einbettungsvektor eines Tokens einen Positional Encoding (PE)-Vektor und einen Kontextvektor hinzufügt. Ich habe das PE weggelassen und nur den Kontextvektor addiert. Darüber hinaus habe ich die Einbettungsdimension auf 256 reduziert. Alles in allem entstand so ein Modell mit nur 4 Millionen Parametern. Zum Vergleich: ChatGPT 2.0 hat 180 Millionen Parameter. Es zeigte sich, dass die Attention-Schicht, die zum Kontextvektor führt, die entscheidende Stellschraube für das Erreichen hoher Genauigkeiten ist.
Aktuelle Sprachmodelle wie ChatGPT, Gemini und Claude sind weitaus größer als das im vorigen Absatz ermittelte minimale Modell. Sie verfügen über Abermilliarden an Parametern. Sie sind auch deswegen noch leistungsfähiger als das hier beschriebene minimale Sprachmodell, welches ganze Romane memorisieren kann! Folglich verfügen Unternehmen wie OpenAI über die Mittel, alle elektronisch verfügbaren Werke zu memorisieren. Da wir sicher sein können, dass sie auch Nutzereingaben (Prompts, Projekte usw.) speichern, können sie diese in zukünftigen Trainingsdaten verwenden.
Mein Fazit: Unternehmen wie OpenAI haben eindeutig die Fähigkeit und die Möglichkeiten, Daten zu memorisieren. Man sollte sich deshalb fragen, welchen Motiven sie folgen. Sollte es Gewinnmaximierung sein, was naheliegt, so könnte dies zur Ausbeutung privater Inhalte und urheberrechtlich geschützter Werke führen – ohne dafür auch nur einen Cent zu bezahlen.