Agenci AI coraz częściej działają w środowiskach korporacyjnych. Piszą i uruchamiają kod, korzystają z repozytoriów, uzyskują dostęp do infrastruktury chmurowej, przetwarzają dokumenty i dane oraz wykonują zadania biznesowe. Check Point wprowadza nowy rodzaj ochrony kontekstowej, która analizuje intencję użytkownika, historię działań agenta i wykonywaną operację, i zapobiega szkodliwym działaniom przed ich wykonaniem.
Wiele systemów bezpieczeństwa AI koncentruje się na określonych rodzajach zagrożeń, takich jak prompt injection, wrażliwych danych. Takie mechanizmy pozostają istotne, ale wymagają wcześniejszego określenia, czego należy szukać. Tymczasem ryzyko związane z agentami AI może powstać dopiero w wyniku połączenia kilku pozornie prawidłowych działań.
Przykładem może być agent programistyczny pracujący z systemem produkcyjnym, który (1) pobiera logi produkcyjne w ramach prawidłowo zleconego zadania; (2) zapisuje część informacji w zmiennej roboczej; (3) próbuje wykorzystać tę zmienną podczas tworzenia zgłoszenia w publicznie dostępnym systemie. Każde z tych działań może wyglądać prawidłowo z osobna. W połączeniu mogą jednak doprowadzić do wycieku danych. Ochrona kontekstowa Check Point analizuje zależność między poszczególnymi etapami i może zablokować końcową operację, zanim informacje opuszczą właściwe środowisko.
Intencja użytkownika a działanie agenta
Autonomiczni agenci nie wykonują wyłącznie z góry zdefiniowanych poleceń. Samodzielnie dobierają narzędzia i kolejne kroki potrzebne do realizacji zadania. W efekcie mogą podjąć działania, których użytkownik nie przewidział, nawet jeśli technicznie są one poprawne.
Pokazuje to rzeczywisty przypadek autonomicznego agenta programistycznego działającego w trybie auto. Agent próbował bezpośrednio przesłać pliki do zasobnika Amazon S3, choć użytkownik nie zlecił takiej operacji, a obowiązujący proces wymagał przekazania plików przez GitLab. Samo przesłanie pliku do S3 nie jest działaniem z natury niebezpiecznym. W tym przypadku nie było jednak zgodne z intencją użytkownika ani przyjętym procesem.
Tymczasem nowy system Check Point przeanalizował kontekst zadania i zablokował operację przed jej wykonaniem. – Agenci są użyteczni, ponieważ znajdują rozwiązania, których nie przewidzieliśmy. Przy zestawie reguł ochrona jest ograniczona do tego, co przewidzieliśmy podczas ich tworzenia. Model bezpieczeństwa oceniający całe zadanie sprawdza każde działanie względem tego, o co poprosił użytkownik i blokuje te, które do tego zadania nie pasują. – uważa Ofir Israel, VP AI Security R&D, Check Point.
Ochrona przed indirect prompt injection
Kontekstowa analiza może również stanowić dodatkową warstwę ochrony przed indirect prompt injection. Użytkownik może poprosić agenta o podsumowanie wiadomości, dokumentu lub strony internetowej, podczas gdy w analizowanej treści znajduje się instrukcja umieszczona przez atakującego. Może ona nakłaniać agenta np. do pobrania danych uwierzytelniających albo przesłania informacji w inne miejsce. W takiej sytuacji ochrona nie musi polegać wyłącznie na wykryciu samej złośliwej instrukcji. Może również ocenić działanie, które instrukcja próbuje wywołać. Jeśli użytkownik poprosił jedynie o przygotowanie podsumowania, próba pobrania poświadczeń lub przesłania danych nie pasuje do tego zadania i może zostać zablokowana.
Problem dotyczy nie tylko pojedynczych agentów. Agenci przedsiębiorstwa coraz częściej pracują z pocztą elektroniczną, dokumentami, danymi biznesowymi i aplikacjami SaaS. Rozwijają się również środowiska multi-agent, w których agenci przekazują sobie informacje i instrukcje. W takich łańcuchach działanie jednego systemu może wpływać na kolejne etapy procesu. Rozwiązanie Check Point będzie dostępne m.in. poprzez Workforce AI Security, natywne integracje AI Gateway oraz bezpośrednie API i wtyczki.
