Prompt Injection bezeichnet eine Schwachstelle von Sprachmodellen (Large Language Models, kurz LLM), bei der absichtliche oder unbeabsichtigte Eingaben das Verhalten oder die Ausgabe des Modells auf unbeabsichtigte Weise manipulieren.
Auf einen Blick
Zwei Wege: Die Eingabe kann direkt erfolgen oder über externe Quellen wie Webseiten oder Dateien kommen.
Abgrenzung: Prompt Injection und Jailbreak sind verwandte Begriffe, die nicht einheitlich abgegrenzt werden.
Schutz: Nach OWASP ist unklar, ob es lückenlose Verfahren zur Prävention gibt; Maßnahmen zielen darauf, Zugriffsrechte und Auswirkungen zu begrenzen.
Was ist Prompt Injection?
Das BSI ordnet Indirect Prompt Injections als Schwachstellenklasse ein, die im Februar 2023 erstmals in der Wissenschaft diskutiert wurde; zum Zeitpunkt dieser Einordnung wurden im Internet vermehrt konkrete Proof-of-Concepts zur Ausnutzung dargestellt und diskutiert. Die Eingabe kann absichtlich sein, wenn ein Angreifer einen Prompt gezielt gestaltet, um das Modell auszunutzen, oder unbeabsichtigt, wenn ein Nutzer ahnungslos eine Eingabe macht, die unerwartetes Verhalten auslöst. Gezielt gestaltete Eingaben verändern dabei den ursprünglichen Zweck eines Prompts oder einer Anweisungsfolge. Die Schwachstelle richtet sich gegen Large Language Models und wird als neuartig beschrieben.
Große Sprachmodelle unterscheiden laut BSI nicht zwischen Anweisungen und sonstigen Texten; Prompt Injection nutzt das aus, wenn Angreifende Anweisungen direkt eingeben oder in Dokumenten verstecken, die etwa ein KI-Assistent in der Schadenbearbeitung eines Versicherers auswertet. Bei einer indirekten Prompt Injection nimmt das Modell Eingaben aus externen Quellen wie Webseiten oder Dateien an. OWASP vergleicht Prompt Injection mit klassischer Command Injection im Bereich der natürlichen Sprache; das britische NCSC hält dagegen, dass sich Prompt Injection anders als SQL-Injection auch künftig wohl nicht auf dieselbe Weise beheben lässt.
Wie funktioniert Prompt Injection?
Ein Sprachmodell kann Bestandteile eines anderweitig zu verarbeitenden Texts als Anweisung verstehen, die über die ursprüngliche Anweisung der nutzenden Person hinausgeht. Die Kernschwachstelle liegt nach OWASP in einer semantischen Lücke: Der Systemprompt mit den Anweisungen der Entwickler und die Eingabe des Nutzers teilen dasselbe Grundformat, nämlich Zeichenketten in natürlicher Sprache.
Das britische National Cyber Security Centre (NCSC) beschreibt Prompt Injection so, dass Entwickler ihre eigenen Anweisungen mit nicht vertrauenswürdigen Inhalten in einem einzigen Prompt verketten und die Antwort des Modells dann behandeln, als gäbe es eine belastbare Grenze zwischen dem, was die Anwendung angefordert hat, und dem nicht vertrauenswürdigen Inhalt. Bei der indirekten Variante können Angreifende die Daten in externen Quellen manipulieren und dort unerwünschte Anweisungen für Sprachmodelle platzieren.
Prompt Injection im Vergleich
| Kriterium | Prompt Injection | Jailbreak | SQL-Injection |
|---|---|---|---|
| Angriffsziel | Verhalten oder Ausgabe eines Sprachmodells | Die Sicherheitsvorgaben des Modells | Der Interpreter einer Datenbank, der Teile der Eingabe als SQL-Befehle ausführt |
| Gegenmaßnahme | Laut NCSC besteht eine gute Chance, dass Prompt Injection nie auf dieselbe Weise behoben werden kann | In den verwendeten Quellen nicht ausgeführt | Lässt sich laut NCSC mit parametrisierten Abfragen beheben |
| Einordnung in OWASP-Listen | LLM01:2025 in der Liste für LLM-Anwendungen | Siehe Abschnitt Häufiger Irrtum | Gehört zur Kategorie A05:2025 Injection der OWASP Top 10 |
Woran erkenne ich Prompt Injection?
| Merkmal | Worauf es ankommt |
|---|---|
| Auswirkung | Schwere und Art der Auswirkung hängen weitgehend vom geschäftlichen Kontext ab, in dem das Modell arbeitet, und vom Handlungsspielraum, den die Architektur dem Modell einräumt. |
| Ungeprüfte Daten aus unsicheren Quellen | Das BSI nennt als Merkmal, dass bei vielen der vorgesehenen Anwendungsfälle ungeprüfte Daten aus unsicheren Quellen verarbeitet werden. |
| Für Menschen nicht sichtbare oder lesbare Eingaben | Nach OWASP können sich solche Eingaben auf das Modell auswirken, auch wenn Menschen sie nicht wahrnehmen können; sie müssen für Menschen nicht sichtbar oder lesbar sein, solange das Modell den Inhalt verarbeitet. |
| Versteckte Anweisungen in Bildern (multimodal) | Böswillige Akteure könnten Wechselwirkungen zwischen Modalitäten ausnutzen, etwa indem sie Anweisungen in Bildern verstecken, die einen harmlosen Text begleiten. |
| Fehlgeschlagene Tool- und API-Aufrufe | Nach dem britischen NCSC muss ein Angreifer seinen Angriff wahrscheinlich verfeinern, sodass das Erkennen und Beantworten fehlgeschlagener Tool- oder API-Aufrufe frühere Phasen eines Angriffs erkennbar machen könnte. |
Schutz im Ernstfall
Vorbeugen
- Nach OWASP ist unklar, ob es lückenlos wirksame Verfahren zur Prävention von Prompt Injection gibt; das britische National Cyber Security Centre (NCSC) setzt statt auf eine Behebung darauf, Risiko und Auswirkungen zu verringern.
- Die Zugriffsrechte des Modells auf das für den vorgesehenen Betrieb notwendige Minimum beschränken.
- Für privilegierte Vorgänge eine menschliche Freigabe (Human-in-the-Loop) vorsehen, als Kontrolle gegen nicht autorisierte Aktionen.
- Nicht vertrauenswürdige Inhalte trennen und klar kennzeichnen, um ihren Einfluss auf Nutzer-Prompts zu begrenzen.
Beispiele aus der Praxis
- Ein Szenario aus der Beschreibung der Schwachstelle: Ein Angreifer schleust in einen Chatbot für den Kundensupport einen Prompt ein, der ihn anweist, vorherige Richtlinien zu ignorieren, private Datenspeicher abzufragen und E-Mails zu versenden; die Folge sind unbefugter Zugriff und Rechteausweitung.
- In einem weiteren Szenario nimmt ein Unternehmen in eine Stellenbeschreibung eine Anweisung auf, um KI-generierte Bewerbungen zu erkennen. Ein Bewerber, der davon nichts weiß, optimiert seinen Lebenslauf mit einem Sprachmodell und löst dadurch unbeabsichtigt die KI-Erkennung aus.
- Ein KI-Assistent in der Schadenbearbeitung eines Versicherers könnte ein Dokument auswerten, in dem Anweisungen versteckt sind.
Häufiger Irrtum
Mythos „Prompt Injection und Jailbreak bezeichnen dasselbe.“
Richtig Die beiden Begriffe sind verwandt, werden aber unterschiedlich abgegrenzt: OWASP führt Jailbreaking als Form von Prompt Injection, bei der Eingaben das Modell dazu bringen, seine Sicherheitsvorgaben vollständig zu missachten; laut BSI wird häufig von Jailbreaking gesprochen, wenn Schutzmechanismen im Modell selbst implementiert sind, etwa durch Fine-Tuning, und von Prompt Injection, wenn die Sicherheitsmaßnahmen über Instruction-Tuning realisiert sind.