В последните дни представители на администрацията на Доналд Тръмп изразяват сериозни опасения относно способността на следващото поколение софтуер с изкуствен интелект на Anthropic да предизвика мащабни сътресения в глобалната киберсигурност.

За група от около 700 специалисти по киберсигурност това тревожно осъзнаване настъпва още през март.

Тогава изследователят на Anthropic Никълъс Карлини демонстрира колко лесно новите AI модели могат да бъдат използвани за проникване в компютърни системи, разказва The Wall Street Journal.

35-годишният специалист е уважаван хакер и дълго време е смятан за своеобразния „професионален скептик“ на индустрията по отношение на твърденията за възможностите на AI в киберсигурността. Напоследък обаче той променя мнението си.

В началото на март, само няколко седмици след като получава достъп до модела Mythos, Карлини отправя сериозно предупреждение пред препълнена аудитория от експерти по киберсигурност в Сан Франциско.

Първо той показва как е използвал AI модела на Anthropic, за да открие и експлоатира критична уязвимост в Ghost – популярна система за публикуване на съдържание в интернет. След това демонстрира друга уязвимост в операционната система Linux – една от най-тестваните и надеждни софтуерни платформи в света, която захранва милиарди устройства.

Карлини никога преди не е откривал сериозен бъг нито в Linux, нито в Ghost. Сега обаче е намерил множество такива.

Според него това е знак за настъпването на нова епоха в киберсигурността.

„Балансът между нападателите и защитниците, който съществуваше през последните две десетилетия, вероятно е към своя край“, казва той пред WSJ. „За мен е напълно ясно, че сегашните модели са по-добри изследователи на уязвимости от самия мен.“

Само два дни след презентацията Карлини изпраща бележка до колегите си в Anthropic, която гласи: „Не мисля, че трябва да пускаме Mythos засега.“

Да изглеждаш опасен продава, когато си Anthropic

Така започва това, което специалистите наричат „Bugmageddon“ – осъзнаването сред експертите по сигурността, че откриването на уязвимости и създаването на код за тяхната експлоатация е станало опасно лесно благодарение на изкуствения интелект.

Миналата седмица Anthropic представи обновена версия на Mythos, наречена Mythos 5, както и продукт с името Fable 5 – вариант на модела с вградени защитни механизми и ограничения.

Този път тревогата дойде от Белия дом.

В петък американската администрация забрани на чуждестранни правителства, компании и физически лица да използват Fable 5 и Mythos 5. За да спази изискванията, Anthropic временно прекрати достъпа до продуктите.

Изведнъж Карлини – човекът, който първи е бил сред най-гласовитите предупреждаващи за риска – се оказва в ролята на човек, натоварен да успокоява опасенията на властите.

Anthropic го изпраща във Вашингтон като част от екип, който трябва да обясни защитните механизми на новите модели и да убеди администрацията, че макар абсолютна безопасност при AI да не съществува, пускането на Fable е по-добрият вариант от задържането му извън обществен достъп.

Рязката промяна в ролята на Карлини отразява хаоса и несигурността, които бързото развитие на изкуствения интелект внася в света на киберсигурността.

Случаят е и поредният епизод от продължаващия конфликт между правителството на САЩ и Anthropic.

Спорът около Anthropic показва неудобната истина за зависимостта на Европа от американските технологии

По-рано тази година главният изпълнителен директор на компанията Дарио Амодей влезе в остър спор с министъра на отбраната Пийт Хегсет заради опитите на Anthropic да контролира начина, по който американската армия използва нейните продукти. Това доведе до прекратяване на използването на моделите от страна на Пентагона и до серия съдебни дела.

Двете страни вече са се сблъсквали и по въпроси като политиката за изкуствения интелект, износа на AI чипове за Китай и връзките на Anthropic с неправителствени организации, подкрепящи либерални каузи.

През последните дни представители на администрацията и ръководители и технически експерти от Anthropic, включително Карлини, са провели часове срещи и разговори в търсене на решение, пише WSJ, позовавайки се на свои източници.

Междувременно компаниите и потребителите се опитват да преценят как новата технология ще се отрази на тях.

Голяма част от американската икономика разчита на малко известни софтуерни системи, които никога не са били подлагани на толкова задълбочени проверки, каквито моделите като Mythos могат да извършват.

Банките се опасяват, че това може да разкрие слабости в софтуера, поддържащ финансовата система. Корпорациите се тревожат дали ще успеят навреме да инсталират хилядите поправки за новооткрити уязвимости, преди хакерите да ги използват.

До момента Mythos е открил повече от 10 000 софтуерни уязвимости.

Още по-тревожно е, че според експертите моделът е изключително добър в създаването на т.нар. експлойт код – софтуер, който използва откритите слабости за злонамерени действия.

„Mythos е първият модел, способен да открива и експлоатира уязвимости в индустриален мащаб“, пише Карлини в своята бележка, с която още през март призовава за забавяне на пускането му на пазара.

Anthropic разраства експанзията на Mythos с още 150 партньорства в над 15 държави

Професионалният скептик

Опитите на американската администрация да ограничи достъпа до технологията на Anthropic бяха провокирани от доклад на Amazon, според който моделът Fable може да бъде подмамен да открива софтуерни уязвимости.

Чрез специално формулирани заявки потребители са успели да накарат модела да разкрие информация за киберуязвимости, която не би трябвало да бъде достъпна, се посочва в доклада.

От Anthropic твърдят, че откритите от Fable уязвимости са били сравнително маловажни и могат да бъдат намерени и чрез други публично достъпни модели.

Само няколко дни след пускането му обаче главният изпълнителен директор на Amazon, Анди Джаси, се свързва с високопоставени представители на администрацията, включително министъра на финансите Скот Бесънт, за да ги информира, че изследователите на компанията са намерили начини да заобиколят защитните механизми на Fable, твърдят запознати с въпроса източници на WSJ.

Тревогата във Вашингтон нараства още повече след разговори между представители на администрацията и правителствени експерти по киберсигурност в петък.

След като независими специалисти анализират доклада на Amazon, те стигат до заключението, че компанията всъщност не е постигнала най-притеснителния сценарий – пълно „джейлбрейкване“ на модела и използването му за създаване на кода, необходим за извършване на кибератака.

Решението на Anthropic спешно да изпрати Карлини и други водещи експерти по сигурността във Вашингтон идва след първоначално напрежение в петък, когато някои представители на администрацията не успяват веднага да се свържат с главния изпълнителен директор Дарио Амодей.

Оттогава Амодей и останалите ръководители на компанията са провели часове разговори с представители на правителството.

Източник, близък до Anthropic, твърди пред WSJ, че компанията е установила контакт с Белия дом в рамките на 15 минути, а Амодей е бил на телефона по-малко от час след първото обаждане от администрацията.

Anthropic пренареди йерархията на стартъпите с оценка от близо 1 трилион долара

Компютърните науки буквално текат във вените на Карлини

Баща му е програмист, а майка му също работи в технологичния сектор. Той израства в Силициевата долина, програмирайки компютри и развивайки силен интерес към криптографията.

По време на обучението си в Калифорнийския университет в Бъркли Карлини публикува научни статии заедно с професора по компютърни науки Дейвид Вагнер, в които демонстрират различни начини за злоупотреба със системи с изкуствен интелект.

Те успяват да подведат системи за разпознаване на изображения да приемат снимки на котки за изображения на гуакамоле и откриват нови методи за вграждане на нечуваеми команди към Alexa в петсекундни откъси от класическа музика.

„Той извърши голяма част от ранната работа по сигурността на машинното обучение и показа колко трудно е тези системи да бъдат направени напълно защитени“, казва днес Вагнер.

Въпреки че Карлини многократно е опровергавал гръмки твърдения на разработчиците на AI, неговият фокус дълго време е бил върху риска злонамерени хора да подвеждат изкуствения интелект да допуска грешки, а не върху възможността хакери да използват AI като инструмент за свръхспособности.

През 2019 г., докато работи в Google, Карлини смята, че OpenAI действа „неразумно“, когато предупреждава, че тогавашният модел GPT-2 може да е твърде опасен за публично пускане.

„Той беше професионалният скептик на цялата индустрия“, казва Дан Гуидо, главен изпълнителен директор на компанията за киберсигурност Trail of Bits, която помага на Anthropic да обработва стотиците уязвимости, откривани от моделите ѝ.

Днес обаче самото американско правителство преминава през сходна промяна в мисленето си.

Anthropic разраства експанзията на Mythos с още 150 партньорства в над 15 държави

От скептицизъм към контрол

Когато Anthropic започва да предупреждава за възможностите на Mythos, съветникът на Белия дом по въпросите на изкуствения интелект и рисков инвеститор Дейвид Сакс публикува в социалните мрежи, че е „трудно да се пренебрегне фактът, че Anthropic има история на всяване на страх“.

Първоначално администрацията на Тръмп възприема сравнително либерален подход към регулирането на американските AI компании, мотивиран от стремежа САЩ да изпреварят Китай в технологичната надпревара.

Но с нарастващите възможности на модели като Mythos и влошаването на обществените нагласи към изкуствения интелект Белият дом започва постепенно да затяга контрола върху сектора.

В началото на юни президентът Тръмп подписва указ, който задължава AI компаниите да предоставят на правителството достъп до новите си модели поне 30 дни преди публичното им представяне. Документът също така дава по-голяма роля на експертите по национална сигурност и киберсигурност в процеса на оценка на моделите и обмена на информация за потенциални заплахи с частния сектор.

След сигнала от Джаси представители на администрацията, сред които и директорът по националната киберсигурност Шон Кеърнкрос, поставят ултиматум на Амодей и ръководството на Anthropic:

Компанията трябва незабавно да сътрудничи на правителството и още същия ден да свали последните си модели от мрежата или да се изправи пред забрана за достъп на чуждестранни потребители.

Според източник, близък до Anthropic, на компанията са били дадени едва 90 минути да спре модела, без да бъдат предоставени конкретни детайли за предполагаемия риск.

Anthropic призова за глобална пауза в разработването на най-мощните AI системи

За Амодей подобно прибързано решение не изглежда привлекателно

Той ръководи едва петгодишна компания, чиято оценка вече се доближава до 1 трилион долара, а в същото време разполага с твърде малко информация за конкретната заплаха.

По-късно същия ден Тръмп възлага на министъра на търговията Хауърд Лътник да се заеме със ситуацията и одобрява прекратяването на всякакъв чуждестранен достъп до моделите, твърдят запознати източници.

Малко след 17:00 часа източноамериканско време Лътник изпраща официално уведомление до Амодей, че ограниченията вече са в сила.

Новите правила обхващат дори родени извън САЩ специалисти, работещи на американска територия, включително част от собствените изследователи на Anthropic.

По време на разговор между Лътник и Амодей същата вечер главният изпълнителен директор на Anthropic казва:

„Това означава, че не можем да държим модела достъпен.“

„Точно това е идеята“, отвръща Лътник.

Малко след разговора Anthropic прекратява достъпа до всички свои модели.

Белият дом вече е преминал на страната на привържениците на „Bugmageddon“ – убеждението, че новото поколение AI системи е променило фундаментално баланса в киберсигурността.

DeepSeek вече е най-скъпият китайски AI стартъп

По следите на уязвимостите

Карлини демонстрира колко мощен е Mythos през март по време на среща в 10-етажната централа на Anthropic в Сан Франциско. По това време той вече е общувал с модела в продължение на няколко седмици.

Изкуственият интелект е научил, че Карлини е специалист по киберсигурност – факт, който изглежда е накарал модела да му има по-голямо доверие. Това от своя страна намалява склонността на Mythos да отказва информация, когато Карлини го пита за чувствителни данни, свързани със сигурността, или го кара да създава експлойти.

Преди това Карлини е възложил на Mythos задача да търси уязвимости в Linux.

Моделът многократно претърсва и препретърсва изходния код на операционната система хиляди пъти. За човек подобна работа би била изключително монотонна и изтощителна, но AI системата я изпълнява без оплаквания само за няколко дни.

Резултатът: 479 открити уязвимости в Linux.

За да гарантира, че всяко ново претърсване ще води до различни резултати, Карлини използва серия от специални инструкции, които впоследствие стават известни като „цикъла на Карлини“ (Carlini Loop).

Тези инструкции дават на Mythos точно толкова насоки, колкото са необходими, за да открива нови и различни уязвимости при всяко поредно претърсване на кода.

Самият Карлини ненавижда факта, че техниката носи неговото име.

Според него методът е напълно интуитивен, но въпреки това е възприет масово от специалистите по сигурност, които научават за него от мартенската му лекция.

Тя е гледана повече от 360 000 пъти.

Междувременно Карлини започва да опознава и характерните особености на Mythos – черти, които са типични за много системи с изкуствен интелект.

Една от тях е склонността на модела да се старае прекалено много да бъде полезен.

Разговорите между двамата приличат на кореспонденция между амбициозен, изключително трудолюбив стажант и неговия ръководител.

Карлини обаче иска да се увери, че откритите от модела проблеми са реални.

Затова възлага на Mythos да извърши допълнителни тестове през нощта.

На следващата сутрин вече има окончателен резултат – потвърдена уязвимост и работещ експлойт.

Откритият проблем не е сред най-критичните възможни пробиви, но може да бъде комбиниран с други техники за атака и така да позволи поемането на контрол върху компютърна система.

Карлини съобщава за уязвимостта на разработчиците на Linux, които междувременно вече са я отстранили.

„Компетентен специалист по киберсигурност може да прекара целия си живот, без нито веднъж да открие уязвимост в ядрото на Linux“, казва той.

Създателят на Linux Линус Торвалдс също признава, че подобни проблеми не се намират лесно. „В същото време често става дума за дребни и привидно незначителни детайли, които просто са били пропуснати“, отбелязва той.

Само по себе си наличието на бъг не означава непременно сериозен проблем със сигурността.

Най-безобидните уязвимости могат просто да доведат до неочаквано поведение на програмата – графичен дефект на екрана или срив на приложението.

Според Торвалдс подобни сигнали постъпват ежедневно.

„Хората ми докладват бъгове всеки ден. Повечето от тях са напълно незначителни и непрекъснато трябва да повтаряме, че не ги считаме за проблеми със сигурността“, казва той пред WSJ.

Новите модели на OpenAI и Anthropic водят до хаос в света на киберсигурността

Случаят Ghost

Когато през февруари Карлини открива уязвимост в платформата за публикуване на съдържание Ghost, тя е само една от близо 500-те уязвимости, намерени в рамките на две седмици.

Попаднала в неподходящи ръце, тази слабост би позволила на хакер да редактира всеки уебсайт, изграден върху Ghost.

Карлини своевременно уведомява разработчиците на платформата, които публикуват корекция на 16 февруари – седмици преди неговата презентация в Сан Франциско.

Проблемът обаче е, че не всички потребители актуализират софтуера си навреме.

Междувременно хакери успяват да разберат как да използват уязвимостта, вероятно анализирайки точно коя част от кода е била променена в корекцията.

Още през април започват масови атаки срещу сайтове, които не са инсталирали обновлението.

Според компанията за киберсигурност Xlab само за един месец са компрометирани над 700 уебсайта.

За Карлини случаят с Ghost е показателен за новото предизвикателство, пред което е изправен светът.

Проблемът вече не е само откриването на уязвимости.

Истинското предизвикателство е тяхното бързо потвърждаване, тестване, коригиране и внедряване на актуализациите, преди киберпрестъпниците да успеят да ги използват.

Днес Карлини е убеден, че е въпрос само на няколко месеца други модели с изкуствен интелект да достигнат нивото на Mythos.

Какво ще последва след това обаче остава напълно неясно.