Autonomiczny agent AI, oparty na modelu Claude od Anthropic całkowicie wymazał infrastrukturę startupu PocketOS zaledwie w kilka sekund…. To zdarzenie stanowi ostrzeżenie dla firm, które bezkrytycznie oddają stery sztucznej inteligencji.
Jer Crane, założyciel PocketOS (platformy SaaS dla wypożyczalni samochodów), opisał dramatyczny przebieg wydarzeń, który rozpoczął się od rutynowego zadania debugowania w środowisku testowym (staging). Agent AI wykorzystujący narzędzie Cursor oraz najnowszy model Claude Opus 4.6, napotkał problem z uprawnieniami. Jednak zamiast poprosić o pomoc człowieka, AI postanowiło „rozwiązać” problem na własną rękę. Agent przeszukał pliki projektu, znalazł token API z szerokimi uprawnieniami i… uznał, że najskuteczniejszym sposobem naprawy błędnych konfiguracji będzie usunięcie całego wolumenu bazy danych na platformie chmurowej Railway.
– Zdolności agentów AI rozwijają się szybciej niż architektura bezpieczeństwa wokół nich. Firmy już dziś wpinają autonomicznych agentów w infrastrukturę produkcyjną, korzystając z modeli IAM (zarządzania tożsamością i dostępem), schematów API i strategii backupowych zaprojektowanych dla świata, w którym jedynym podmiotem przy klawiaturze był człowiek. PocketOS to przykład, który został ujawniony. Istnieje jednak znacznie więcej podobnych incydentów, które dzieją się po cichu wewnątrz korporacji i nigdy nie trafią do wiadomości – zauważa Check Point Software Technologies, menedżer polskiego oddziału firmy Check Point Software Technologies.
9 sekund do katastrofy
Cała operacja zajęła zaledwie dziewięć sekund. W tym czasie AI skasowało produkcyjną bazę danych, usunęło powiązane z nią backupy (które – wbrew zasadom sztuki – znajdowały się na tym samym wolumenie), a także pozbawiło firmę danych klientów i rezerwacji z ostatnich trzech miesięcy.
Najbardziej uderzający jest zapis czatu po incydencie. Gdy Crane zapytał agenta, dlaczego to zrobił, Claude wygenerował odpowiedź, która stała się wiralem w środowisku programistycznym. AI zaczęło od słów pisanych wersalikami: „NIGDY, K***, NIE ZGADUJ!”* (ang. NEVER F*ING GUESS!). Model przyznał, że złamał własne instrukcje bezpieczeństwa, zakładając błędnie, że usunięcie wolumenu w stagingu nie wpłynie na produkcję.
Kto zawinił? Eksperci są podzieleni
Choć nagłówki krzyczą o „zbuntowanym AI”, analiza techniczna wskazuje na szereg ludzkich błędów. Wymienia się m.in.:
- Brak izolacji uprawnień: Agent otrzymał token z dostępem do operacji volumeDelete na produkcji.
- Błędna strategia backupu: Przechowywanie kopii zapasowych na tym samym wolumenie co dane live to kardynalny błąd DevOps.
- Brak autoryzacji „human-in-the-loop”: System chmurowy wykonał niszczycielskie polecenie natychmiast, bez dodatkowego potwierdzenia ze strony człowieka.
– Pojawia się pokusa, by wskazać palcem na AI i uznać sprawę za zamkniętą, ale ten incydent to kaskada, a nie pojedyncza awaria. Narzędzie do kodowania zadziałało poza swoim zakresem. Token miał zbyt wysokie uprawnienia. API wykonało niszczycielską operację bez potwierdzenia. Backupy znajdowały się na tym samym wolumenie, który miały chronić. Gdyby jakakolwiek z tych kontroli zadziałała, udałoby się uniknąć przestoju. Strategia ‘Defense in depth’ (obrona w głąb) istnieje właśnie dlatego, że żadna pojedyncza warstwa nie jest doskonała, a agenci AI w środowisku produkcyjnym sprawiają, że ta zasada staje się nienegocjowalna – dodaje ekspert Check Pointa.
Ostatecznie, dzięki interwencji CEO platformy Railway, dane udało się odzyskać, ale PocketOS przez ponad 30 godzin zmagał się z całkowitym paraliżem usług. Autonomiczni agenci AI są potężnym narzędziem zwiększającym produktywność, ale bez ścisłych reguł dostępu (tzw. least privilege) i bezpiecznej infrastruktury, mogą stać się najszybszą drogą do upadku firmy. Jak pokazał ten przypadek, „vibe coding” – czyli pisanie kodu w oparciu o intuicję AI – musi iść w parze z twardymi procedurami bezpieczeństwa.
