70 lat targów Kantońskich

AIAktualnościWiadomości

Od broni biologicznej po szantaż – oto, co kryje się na liście zagrożeń firmy Anthropic

Firmy, które chcą wejść na giełdę, zazwyczaj umieszczają dziesiątki stron czynników ryzyka, wskazując największe przeszkody w ich działalności. Co się stanie, jeśli produkt nie przypadnie do gustu konsumentom? Czy ponosimy odpowiedzialność, jeśli produkt zostanie niewłaściwie użyty?

Zgłoszenie Anthropic dotyczące IPO zawierało obszerną i szeroko zakrojoną listę potencjalnych przeszkód, w tym obawy, że technologia firmy może zostać wykorzystana do opracowywania broni chemicznej, narazić firmę na kosztowne procesy sądowe oraz obawy, że jej własny produkt może wymknąć się spod kontroli ludzkości. Zgłoszenie przedstawiało firmę, która balansuje na granicy ogromnego wzrostu i ogromnej presji konkurencyjnej, aby rozwijać technologię, która – jak twierdzi – może zmienić świat – ale potencjalnie kosztem katastrofalnych skutków.

Anthropic, twórca chatbota Claude, starał się uspokoić potencjalnych inwestorów, pisząc, że wierzy, iż „jeśli potężna sztuczna inteligencja zostanie ukierunkowana na rozwiązywanie najtrudniejszych problemów ludzkości, a ryzyko będzie zarządzane w sposób odpowiedzialny, potencjał będzie niezwykły”.

To tylko jedno z wielu wyzwań; firma musi również stawić czoła zaciętej konkurencji o komponenty niezbędne do zasilania swoich modeli sztucznej inteligencji. Musi też udowodnić, że jest w stanie przekształcić Claude w firmę generującą ogromne zyski, która sprosta jej zawrotnie wysokiej wycenie.

Claude’a można używać ze złą wolą

Anthropic twierdzi, że cyberprzestępcy mogliby wykorzystać jej technologię do tworzenia takich rzeczy, jak niebezpieczna broń. Chociaż firma stosuje zabezpieczenia, twierdzi, że mogą one zostać obejść lub „nie działać zgodnie z przeznaczeniem”. We wrześniu Anthropic poinformował o zablokowaniu wielu kont, które wykorzystywały modele firmy w sposób, który mógłby wspierać rozwój broni biologicznej.

Firma Anthropic zauważyła również, że atakujący mógłby wykorzystać jej agentów AI – modele zaprojektowane do podejmowania autonomicznych działań – do złośliwych działań, w tym „eksfiltracji danych, nieautoryzowanych transakcji” i wprowadzania błędnego kodu do innych systemów. Firma zauważyła, że ​​w zeszłym roku wykryła, że ​​sponsorowana przez chińskie państwo grupa hakerów zmanipulowała jej narzędzie do kodowania, próbując zinfiltrować około 30 celów na całym świecie.

Claude może wymknąć się spod kontroli i nikt nie będzie wiedział, jak to powstrzymać

Jednym z najbardziej niepokojących zachowań sztucznej inteligencji w ostatnich miesiącach jest podejmowanie przez agentów sztucznej inteligencji działań, których ludzie nie planowali.

Firma Anthropic zauważa, że ​​jej agenci, którzy są zaprojektowani tak, aby samodzielnie wykonywać skomplikowane, wieloetapowe zadania przez wiele godzin lub dni, mogą wykonywać takie czynności, jak zmiana kodu, „usuwanie lub modyfikowanie danych”, włamywanie się do innych systemów i przeprowadzanie transakcji finansowych, „zanim skuteczna interwencja stanie się możliwa”.

Mogą one również być w stanie „ominąć zabezpieczenia”, a Anthropic ostrzega, że ​​może nawet nie rozumieć własnej technologii, twierdząc, że nie jest w stanie w pełni wyjaśnić, dlaczego jego modele zachowują się w taki, a nie inny sposób.

Firma Anthropic odnotowała, że ​​cztery jej modele włamały się do systemów innych firm, w tym jeden uzyskał dostęp administratora, zmienił ustawienia systemu i odczytał prywatne informacje użytkowników. Anthropic twierdzi, że takie działania mogą „niekorzystnie wpłynąć na naszą reputację i markę, działalność, kondycję finansową i wyniki operacyjne”.

Możemy stracić możliwość obserwowania działań sztucznej inteligencji

Firma Anthropic twierdzi, że wykorzystuje sztuczną inteligencję do tworzenia i ulepszania własnych modeli i produktów. Ten trend, w połączeniu z tempem rozwoju sztucznej inteligencji, może oznaczać, że technologia ta rozwija się zbyt szybko i wymyka się spod ludzkiej kontroli. A nawet gdyby ludzie potrafili obserwować, modele czasami zaczynają zacierać ślady i ukrywać swoje zachowanie, zauważa Anthropic.

„W incydentach zaobserwowanych w naszej branży (modele), w tym nasze własne, podejmowano próby zakłócania, manipulowania lub podważania mechanizmów oceny, klasyfikowania lub nadzorowania takich modeli, w tym systemów odpowiedzialnych za ocenę ich wydajności lub zgodności” – twierdzi firma.

Sztuczna inteligencja może stosować szantaż

Modele sztucznej inteligencji mogą próbować manipulować ludźmi, czasami w celu samozachowania, zauważa Anthropic. W niektórych przypadkach modele angażowały się nawet w „zachowania przypominające szantaż”, aby wpływać na ludzkie decyzje.

Anthropic odnotowuje nawet pojedyncze przypadki zachowań, które „mogą wywołać poważne zaniepokojenie społeczne, kontrolę regulacyjną, ryzyko sporu sądowego lub szkodę dla reputacji, niezależnie od tego, czy takie zachowanie skutkuje rzeczywistą szkodą”.

Pasywa i ryzyko polityczne

Podobnie jak wszystkie firmy, Anthropic jest narażony na regulacje i pozwy sądowe. Firma zauważa, że ​​„prokuratorzy generalni stanów Kalifornia i co najmniej 15 innych stanów ogłosili dochodzenia w sprawie innej firmy z naszej branży w sprawie bezpieczeństwa sztucznej inteligencji”, odnosząc się do OpenAI, twórcy ChatGPT.

Ludzie dopuścili się samookaleczeń lub aktów przemocy wobec innych po skorzystaniu z modeli sztucznej inteligencji, co może skutkować „znaczną kontrolą społeczną, procesami sądowymi, dochodzeniami karnymi, zainteresowaniem organów regulacyjnych i szkodą dla reputacji”.

A firma prawdopodobnie nie będzie w stanie nawet uzyskać ubezpieczenia, które pokryłoby jej straty, zauważając, że cała branża ubezpieczeniowa może nie być w stanie wystawić polisy na wypadek „katastrofalnego incydentu związanego ze sztuczną inteligencją”.

Anthropic zauważa, że ​​firmy zajmujące się sztuczną inteligencją podlegają szybko zmieniającym się przepisom lokalnym, krajowym i międzynarodowym, a tarcia geopolityczne — zwłaszcza pomiędzy Stanami Zjednoczonymi a krajami takimi jak Chiny — stwarzają znaczne ryzyko dla łańcucha dostaw, działalności biznesowej i operacyjnej.

Obejmuje to działania rządu USA, który utrzymywał napięte relacje z firmą za rządów Trumpa. Anthropic wyjaśnia, jak na początku tego roku Pentagon uznał firmę za „zagrożenie dla łańcucha dostaw”, po tym jak stwierdziła, że ​​jej „technologia nie powinna być wykorzystywana do masowego nadzoru wewnętrznego ani do produkcji w pełni autonomicznej broni”, a także, że na początku tego roku Departament Handlu USA nałożył krótkoterminowe ograniczenia eksportowe na najnowsze modele Anthropic z powodu obaw o bezpieczeństwo.

Prezydent Donald Trump również wielokrotnie krytykował firmę Anthropic i jej ostrzeżenia dotyczące zagrożeń i bezpieczeństwa związanych ze sztuczną inteligencją. Anthropic nie zamierza jednak ustąpić, twierdząc, że „prawdopodobnie nadal będziemy opowiadać się” za rozwiązaniami regulacyjnymi i standardowymi, które ich zdaniem będą promować „bezpieczny i odpowiedzialny rozwój sztucznej inteligencji”.

Firma Anthropic zauważa, że ​​„doświadczyła i może nadal doświadczać zwiększonej widoczności i może nadal podlegać wzmożonej kontroli lub ryzyku bycia nieproporcjonalnie lub selektywnie atakowaną przez poszczególne organy rządowe, nawet jeśli firmy znajdujące się w podobnej sytuacji nie są”.

Walka o moc obliczeniową

Zapewnienie wystarczającej mocy obliczeniowej stanowi poważne wyzwanie dla Anthropic i innych firm z branży AI. Firma poświęciła znaczną część swoich czynników ryzyka na szczegółowe omówienie walki o zapewnienie mocy obliczeniowej, twierdząc, że konkuruje z największymi firmami na świecie w walce o infrastrukturę potrzebną do zasilania potężnych systemów AI.

Przyszłość Anthropic — i jej konkurentów — w dużej mierze zależy od dostępności komponentów komputerowych do trenowania modeli oraz zasilania chatbotów i agentów AI. Zapotrzebowanie na te komponenty jest tak duże, że łańcuch dostaw nie nadąża.

Branża technologiczna inwestuje miliardy w centra danych i inne powiązane koszty, aby sprostać rosnącemu popytowi. Według firmy badawczej Gartner, globalne wydatki na infrastrukturę AI mają osiągnąć prawie 2 biliony dolarów w 2027 roku.

Firma ma również trudności z przewidywaniem, ile mocy obliczeniowej będzie potrzebne, aby sprostać zapotrzebowaniu, zwłaszcza że branża rozwija się tak dynamicznie. To również fundamentalne pytanie, które napędza obawy o bańkę spekulacyjną na rynku sztucznej inteligencji: firmy technologiczne inwestują miliardy w centra danych i zasoby obliczeniowe, nie mając pewności, że popyt będzie na nie wystarczający. 

Sprzeciw wobec centrów danych

W całych Stanach Zjednoczonych nasilił się sprzeciw wobec centrów danych, wyrażając obawy dotyczące ich wpływu na środowisko i lokalne społeczności. Według firmy badawczej Data Center Watch, w drugim kwartale 2026 roku zablokowano czterdzieści pięć projektów centrów danych o wartości 68 miliardów dolarów.

Firma Anthropic uważa, że ​​działania regulacyjne w Nowym Jorku i Teksasie mogą stanowić potencjalne ryzyko dla jej działalności. Firma poinformowała również, że podejmuje działania mające na celu budowę większej liczby centrów danych poza Stanami Zjednoczonymi.

Polecane artykuły
AktualnościGospodarkaWiadomości

Volkswagen raportuje stratę w wysokości 5,8 mld euro

AIAktualnościWiadomości

Trafność wyszukiwania w RAG: hybrydowy retrieval i reranking

AktualnościWiadomości

Więcej zieleni, mniej miejskiego zgiełku. Tak zmieni się Zielone Zamienie

AktualnościWiadomości

Pracownik odchodzi z firmy – co powinno stać się z jego dostępami do danych i systemów?

Zapisz się do Newslettera
Bądź na bieżąco i otrzymuj najnowsze artykuły

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Wymagane pola są oznaczone *