Agent OS · Bezpečnost

Jak agenty AI provozovat bezpečně

Agent, který jedná v systémech, potřebuje jinou ochranu než chatbot – zde jsou základy.

Základní zásady

Minimální oprávnění pro každého agenta
Oddělení dat od instrukcí
Limity kroků, času a nákladů
Schvalování nevratných akcí
Úplná stopa s identitou zadavatele

Vkládání instrukcí

Obsah zvenčí – e-maily, webové stránky, dokumenty – může obsahovat pokyny určené agentovi. Zacházejte s ním jako s daty, omezte nástroje dostupné v úlohách, které na takovém obsahu stojí, a vyžadujte schválení akcí, které by mohly vyzradit data nebo něco změnit.

Testy před spuštěním

Testovací sada má pokrývat běžné případy, hraniční situace i pokusy o zneužití. Testy se opakují při každé změně modelu, instrukcí nebo nástrojů a výsledky se uchovávají, aby bylo možné změny v čase porovnat.

Řešení incidentů

Agenta nebo nástroj musí jít okamžitě vypnout. Poté se zajistí záznamy, posoudí dopad a při porušení zabezpečení osobních údajů se v termínu podle GDPR podá ohlášení ÚOOÚ. Agent se znovu spustí až po opravě a nových testech.

Revize oprávnění

Každé čtvrtletí ověřte, zda agenti stále potřebují svá oprávnění, zda mají vlastníka a zda byli nepoužívaní agenti vypnuti.

Požadavky na dodavatele

Ptejte se dodavatelů agentních platforem, kde se zpracovávají data a záznamy, jak se zachovávají oprávnění zdrojových systémů, zda lze volání nástrojů omezit pro jednotlivé agenty a jak rychle lze agenta při incidentu zastavit.