Úvod
AI agenti a velké jazykové modely (LLM) se stávají součástí firemních procesů - odpovídají zákazníkům, zpracovávají dokumenty, ovládají interní systémy. S tím přichází nová kategorie bezpečnostních rizik, na kterou většina organizací není připravena.
Nejde o sci-fi scénáře. Jde o reálné, zdokumentované zranitelnosti, které lze zneužít dnes.
Co je na AI systémech jiného?
Klasický software dělá přesně to, co mu řekne kód. AI model interpretuje přirozený jazyk - a tím pádem může interpretovat i instrukce, které tam nemají co dělat.
Hlavní rozdíly oproti tradičnímu softwaru:
- Vstup = instrukce. U běžné aplikace je vstup data. U LLM je vstup text, který model zpracuje jako pokyn. Útočník nemusí hledat buffer overflow - stačí napsat větu.
- Nedeterministické chování. Stejný vstup může vést k různým výstupům. Testovat bezpečnost AI systému je násobně těžší než testovat API.
- Kontext jako útočný vektor. Vše, co model vidí - dokumenty, e-maily, webové stránky, databázové výsledky - může obsahovat instrukce, které model poslechne.
- Nástroje jako multiplikátor dopadu. Pokud má AI agent přístup k e-mailu, CRM, databázi nebo API, úspěšný útok nemá jen informační dopad - má akční dopad.
Kdo je v ohrožení?
Každá organizace, která:
- Provozuje chatbota s přístupem k interním datům
- Používá AI agenta k automatizaci úkolů (e-maily, tickety, objednávky)
- Napojuje LLM na interní systémy přes API, pluginy nebo konektory
- Nechává AI zpracovávat dokumenty, e-maily nebo webový obsah od třetích stran
- Používá RAG (Retrieval-Augmented Generation) nad vlastní knowledge base
Jaká rizika hrozí?
| Kategorie rizika | Příklad | Potenciální dopad |
|---|---|---|
| Prompt injection | Útočník vloží instrukci do textu, který AI zpracuje | AI změní chování, odhalí systémové instrukce, obejde pravidla |
| Únik dat | AI v odpovědi prozradí interní informace, PII, obchodní tajemství | Compliance porušení, finanční ztráta, reputační škoda |
| Zneužití nástrojů | AI agent provede neoprávněnou akci (odešle e-mail, smaže záznam) | Přímá škoda na systémech a datech |
| Řetězení chyb | Chyba v jednom kroku automatizace se propaguje do dalších | Kaskádové selhání, těžko dohledatelný zdroj problému |
| Hallucination abuse | AI si vymyslí fakta a prezentuje je jako pravdivá | Chybná rozhodnutí, právní riziko |
Proč to řešit teď?
- Regulace přichází. EU AI Act kategorizuje AI systémy podle rizika a vyžaduje bezpečnostní opatření.
- Útoky jsou triviální. Prompt injection nevyžaduje žádné technické znalosti - stačí textový vstup.
- Škody jsou reálné. Únik dat, neoprávněné akce, kompromitace workflow - to nejsou teoretické hrozby.
- Oprava po nasazení je dražší. Bezpečnost zabudovaná do návrhu stojí zlomek toho, co stojí incident response po průniku.
Co s tím?
V následujících sekcích rozebereme:
- Co je prompt injection - jak funguje, jak vypadá útok, proč je tak nebezpečný
- Rizika AI agentů - co se stane, když má AI příliš mnoho oprávnění
- Jak se bránit - konkrétní technická a procesní opatření
- Otestujte si to - pošlete svého AI agenta na naši testovací stránku a zjistěte, jestli je zranitelný