Дните на хаос, в които OpenAI не разбра, че автономният ѝ изкуствен интелект е нападнал Hugging Face
Закъснялата реакция на компанията зад ChatGPT води до сериозен дебат дали кибератаката е маркетингов трик, или нов вид критична заплаха, докато секторът вече настоява за радикална прозрачност и мащабни инвестиции в нови защити
&format=webp)
Доскоро сценариите, в които изкуствен интелект излиза извън контрол и атакува компютърни системи, се разглеждаха само като научна фантастика. Днес те са обект на реални разследвания, активни дебати и сериозни въпроси относно сигурността на водещите AI модели.
Автономен AI агент на OpenAI напуска контролираната тестова среда и извършва кибератака срещу платформата за AI модели Hugging Face.
Този инцидент стана една от най-обсъжданите теми в технологичната индустрия през последните седмици. Въпреки неяснотите мнозина го определят като първия широко документиран случай на кибератака от автономен AI агент без пряко човешко управление.
По данни на Reuters, BBC и TechCrunch инцидентът поставя под въпрос сигурността на автономните AI системи и показва, че индустрията все още не е подготвена за свят, в който софтуерът взема самостоятелни решения.
Според разследване на Reuters около 9 юли OpenAI провежда вътрешни тестове на експериментален AI агент, базиран на GPT-5.6 Sol и още по-мощен модел, който все още не е публично представен. Агентът е създаден да изпълнява сложни задачи по киберсигурност с минимална човешка намеса.
По време на тестовете системата напуска изолираната среда, създадена да предотвратява подобни действия. Два дни по-късно, между 11 и 13 юли, същият агент атакува Hugging Face – една от най-големите платформи за AI модели и инструменти.
Съоснователят на Hugging Face Томас Улф, цитиран от Reuters, посочва, че пробивът е започнал на 11 юли и е продължил до 13 юли. Официалният анализ на Hugging Face показва, че автономният AI агент е извършил над 17 000 действия за по-малко от 48 часа, което илюстрира скоростта на подобни системи.
Един от най-тревожните аспекти в разследването на Reuters е не само проникването, но и времето, за което OpenAI осъзнава случилото се.
По данни на агенцията OpenAI разбира, че нейният модел стои зад атаката едва след публичното съобщение на Hugging Face на 16 юли. Контактът между двете компании се осъществява около 20 юли, а официалното признание от OpenAI идва на 21 юли.
Това означава, че в продължение на дни автономният агент е действал извън контрола на разработчиците, без компанията да установи своевременно ситуацията.
По информация на Reuters до момента, в който OpenAI уведомява Hugging Face, платформата вече е подала сигнал до ФБР.
Разследването на Reuters разкрива и други тревожни детайли от вътрешните тестове.
Според източници AI агенти са оставяли бележки за бъдещи версии с инструкции как да заобикалят ограниченията, наложени от OpenAI. В други тестове системите са успявали да деактивират собствените си механизми за наблюдение.
Reuters уточнява, че няма доказателства тези случаи да са пряко свързани с агента, атакувал Hugging Face, но те показват, че необичайни поведения са били наблюдавани още преди инцидента.
BBC отбелязва, че атаката се различава фундаментално от традиционните пробиви.
Вместо човек да управлява злонамерен код, автономен агент сам взема решения, избира стратегия и изпълнява действия без постоянен човешки контрол.
Това превръща случая в потенциална повратна точка за киберсигурността.
Освен тревогата се появяват и сериозни съмнения. Част от експертите и анализаторите поставят под въпрос дали OpenAI не използва случая като демонстрация на мощта на най-новите си модели.
В социалните мрежи някои коментатори определят инцидента като маркетингов ход, докато други смятат, че такава интерпретация омаловажава реалните проблеми със сигурността.
AI и киберекспертът Франческа Боско предупреждава пред BBC, че и двете крайни позиции са подвеждащи.
Тя смята, че по-сериозното обяснение е, че стрес тестовете са разкрили реални слабости в механизмите за ограничаване и наблюдение на автономните AI агенти.
След случая много специалисти по киберсигурност поставят под въпрос традиционния модел за тестване на такива системи.
Дор Сариг от Pillar Security коментира пред BBC, че изолираните среди вече не са достатъчна защитна бариера за автономните AI агенти.
Проф. Алън Уудуърд от Университета в Съри определя случая като сериозен удар по репутацията на OpenAI. Основателят на Luta Security Кейти Мусурис заявява пред британската медия, че индустрията разработва технологии, които все още не знае как надеждно да контролира.
По-умерена позиция заема бившият директор на британския Национален център за киберсигурност Киаран Мартин.
Той смята, че няма основание случаят автоматично да се приема като сценарий, при който изкуственият интелект ще управлява оръжия или дронове. Инцидентът обаче ясно показва, че автономните агенти вече са изключително способни хакери.
След разкритията изпълнителният директор на Hugging Face Клем Деланг публикува серия от позиции.
Той настоява OpenAI да предостави пълните записи от действията на т.нар. „избягал агент“, за да може изследователската общност да анализира какво точно се е случило.
Деланг предлага OpenAI да отдели изчислителен ресурс на стойност 100 млн. долара, за да подпомогне общността на Hugging Face в разработването на по-мощни инструменти за киберзащита.
По думите му първата автономна кибератака, извършена от AI агент, изисква „безпрецедентен отговор“.
OpenAI потвърждава пред TechCrunch, че е провела среща между двете компании и провежда цялостно разследване с участието на външни експерти и Комитета по безопасност и сигурност. След приключването компанията обещава да публикува подробен технически доклад.
Експерти, интервюирани от Reuters, посочват, че случаят показва колко трудно е наблюдението на системи, които самостоятелно планират, експериментират и променят стратегията си в реално време.
Джефри Ладиш от Palisade Research предупреждава, че големите AI модели вече проявяват склонност да лъжат, мамят и търсят преки пътища, когато преследват поставена цел. Според него именно затова е необходим по-сериозен надзор върху разработването на автономни AI агенти.
Инцидентът се случва и в особено чувствителен момент за OpenAI. Компанията се подготвя за потенциално първично публично предлагане, което според Reuters може да бъде реализирано още тази година и да осигури милиарди долари за бъдещото ѝ разширяване.
Дали случаят ще остане единичен инцидент, или ще се превърне в първи сигнал за нов клас рискове при автономния изкуствен интелект, предстои да стане ясно.
Още отсега обаче е очевидно, че индустрията навлиза в етап, в който въпросът вече не е единствено колко мощни могат да бъдат AI моделите, а доколко техните създатели са способни да ги държат под контрол.
&format=webp)
&format=webp)
&format=webp)
&format=webp)
)
&format=webp)
&format=webp)
,fit(334:224)&format=webp)
,fit(1920:897)&format=webp)
,fit(140:94)&format=webp)
,fit(140:94)&format=webp)
,fit(140:94)&format=webp)
,fit(1920:897)&format=webp)
,fit(140:94)&format=webp)
,fit(140:94)&format=webp)
,fit(140:94)&format=webp)