Zum Hauptinhalt springen
Glossar

Prompt Injection

Aktualisiert am 1 Min.

Prompt Injection ist ein Angriff auf Anwendungen mit Sprachmodellen, bei dem eingeschleuste Anweisungen das Modell dazu bringen, seine ursprünglichen Vorgaben zu missachten. Bei der direkten Variante schreibt die angreifende Person die Anweisung selbst in die Eingabe. Bei der indirekten Variante versteckt sie die Anweisung in Inhalten, die das Modell später verarbeitet, etwa in einer Webseite, einer E-Mail oder einem hochgeladenen Dokument. Die OWASP Top 10 für LLM-Anwendungen führen Prompt Injection auf dem ersten Platz.

Gefährlich wird der Angriff, sobald das Modell Werkzeuge bedienen, Daten lesen oder Aktionen auslösen darf. Ein vollständiger Schutz ist bisher nicht bekannt. Entscheidend ist deshalb, den möglichen Schaden zu begrenzen: minimale Rechte, Trennung von Anweisungen und fremden Inhalten, Filter für Ein- und Ausgaben und menschliche Freigabe für folgenreiche Schritte. Mehr unter MU-09 Manipulation der Eingaben.

Keine Cookies!

Dieses Wiki sammelt nichts, bäckt nichts und lässt nichts bei dir. Deshalb gibt es auch nichts einzuwilligen. Mehr Datenschutz geht nicht.