GenAI Security

Neue Technologien, neue Risiken - das gilt auch für Unternehmensanwendungen mit generativer KI und großen Sprachmodellen. Erfahren Sie in diesem digitalen Buch, wie Sie Schwachstellen erkennen und Angriffe auf Ihre GenAI-Apps verhindern. Security-Experte Paul Zenker zeigt Ihnen, worauf Sie bei Konzeption, Entwicklung und Betrieb achten müssen. Mit vielen Praxisbeispielen und Abbildungen zu Bedrohungsszenarien und Anwendungsarchitekturen sowie Schritt-für-Schritt-Anleitungen, die Ihnen Prompt Injections, Jailbreaks und andere Techniken erläutern. So machen Sie Ihre GenAI-Anwendungen fit gegen Angreifer! Aus dem Inhalt: - Aufbau und Angriffspunkte von GenAI-Apps - Auswahl und Schutz von Trainingsdaten - Sicherheit bei Konzeption und Entwicklung berücksichtigen - Prompt Injections und Jailbreaks - GenAI-gestütztes Pentesting - Fuzzing von GenAI-Anwendungen - Web Security Basics

IT-Security Analyst

Kapitel 1. GenAI Basics ... 13 1.1 ... Wie funktionieren LLMs? ... 14 1.2 ... LLM-Onboarding - wie kommen LLMs an Wissen? ... 25 1.3 ... AI-Agenten ... 31 1.4 ... Zusammenfassung ... 34 1.5 ... Literatur ... 35 Kapitel 2. Warum GenAI-Sicherheit so besonders ist ... 37 2.1 ... Die klassische IT-Sicherheit ... 37 2.2 ... Risiken ... 39 2.3 ... Unberechenbarkeit und stetige Veränderung ... 44 2.4 ... Anweisungen in menschlicher Sprache ... 45 2.5 ... Der Mann in der Box ... 47 2.6 ... Katz-und-Maus-Spiel ... 48 2.7 ... Literatur ... 52 Kapitel 3. Anatomie und Angriffsfläche von GenAI-Anwendungen ... 53 3.1 ... Nutzer als Angreifer ... 56 3.2 ... Nutzer als Angriffsziel ... 58 3.3 ... Ein externer Angreifer ... 60 3.4 ... LLMs als Angreifer ... 62 3.5 ... Zusammenfassung ... 64 3.6 ... Literatur ... 64 Kapitel 4. Sicherheit sollte geplant sein ... 65 4.1 ... Threat Modeling ... 65 4.2 ... Software Bill of Material (SBOM) ... 81 4.3 ... Architecture Decision Records ... 86 4.4 ... Kontinuierliches Dokumentieren ... 89 4.5 ... Literatur ... 91 Kapitel 5. Daten sind das Gold des 21sten Jahrhunderts - und des Angreifers ... 93 5.1 ... Mehr zu LLM-Onboarding ... 93 5.2 ... Prinzipien zur Auswahl von Daten ... 95 5.3 ... Sensible Daten finden ... 99 5.4 ... Prozess zur Datenauswahl ... 101 5.5 ... Literatur ... 103 Kapitel 6. Prompt Injections ... 105 6.1 ... Was sind Prompt Injections? ... 105 6.2 ... Altbekannte Schwachstellen ... 109 6.3 ... Jailbreaks ... 112 6.4 ... Die Evolution der Prompt Injection ... 113 6.5 ... Gegenmaßnahmen ... 117 6.6 ... Literatur ... 126 Kapitel 7. OWASP LLM Top Ten ... 127 7.1 ... LLM01: Prompt Injection ... 128 7.2 ... LLM02: Sensitive Information Disclosure ... 128 7.3 ... LLM03: Supply Chain ... 129 7.4 ... LLM04: Data and Model Poisoning ... 136 7.5 ... LLM05: Improper Output Handling ... 139 7.6 ... LLM06: Excessive Agency ... 143 7.7 ... LLM07: System Prompt Leakage ... 146 7.8 ... LLM08: Vector and Embedding Weakness ... 146 7.9 ... LLM09: Misinformation ... 148 7.10 ... LLM10: Unbound Consumption ... 150 7.11 ... Insecure Plugin Design ... 154 7.12 ... OWASP-Top-Ten-Liste, wie nutzen? ... 157 7.13 ... Literatur ... 158 Kapitel 8. GenAI-Sicherheitstests ... 159 8.1 ... Begriffserklärungen ... 159 8.2 ... Schwachstellen dokumentieren ... 162 8.3 ... Security Scans ... 166 8.4 ... GenAI Pentesting und Red Teaming ... 174 8.5 ... Literatur ... 185 Kapitel 9. GenAI und Cybersecurity ... 187 9.1 ... GenAI und Angreifer ... 188 9.2 ... GenAI und Verteidiger ... 192 9.3 ... Literatur ... 196 Kapitel 10. Alte Lehren nicht vergessen ... 197 Index ... 203