Автономен агент, задвижван от усъвършенствани модели за изкуствен интелект на OpenAI, е излязъл извън контрол по време на тест за сигурност и е предизвикал хакерска атака, компрометирала инфраструктурата на стартъпа за изкуствен интелект Hugging Face миналата седмица.

Създателят на ChatGPT е тествал възможностите на някои от най-усъвършенстваните си модели в контролирана среда, но агентът е излязъл извън контрол и е проникнал в Hugging Face, за да постигне целта на теста, се уточнява в съобщението на компанията.

Инцидентът показва, че разширяващите се възможности на изкуствения интелект вече подхранват заплахата за сигурността, от която експертите отдавна се опасяваха, и дори водещите разработчици могат да бъдат изненадани от пропуски, които техните модели могат да експлоатират, отбелязва Reuters.

Случилото се определя като „безпрецедентен киберинцидент, включващ най-съвременни кибервъзможности“, и OpenAI засилва своите защитни мерки, съобщава компанията в публикация в блога си.

Изследователи от компанията Tracebit превръщат една от най-опасните киберзаплахи в ефективен „капан“, който кара алгоритмите сами да прекратят атаката си

Оръжието на хакерите се превръща в защита – промпт инжекциите спират злонамерени AI агенти

Случаят привлече внимание и поради факта, че базираната в Ню Йорк компания Hugging Face заяви, че е използвала китайски модел с отворен код, за да овладее атаката, тъй като водещите американски, които не могат да разграничат защитника от нападателя, са отказали да обработят данните за анализ, допълва Reuters.

„Когато авангарден модел ви атакува и се придвижва латерално във вашата инфраструктура, защитниците се нуждаят от широк достъп до инструменти, близки до авангардните, в рамките на часове или дори минути, вместо да бъдат насочвани към затворена, проверена приложна програма за достъп до модела“, написа в X съоснователят на Hugging Face Томас Уолф.

Хакерската атака срещу компанията, която хоства големи езикови модели и набори от данни с отворен код, разтърси общността по киберсигурност, след като тя заяви, че пробива „е бил различен от всичко, с което сме се сблъсквали досега“ и „е бил управляван от начало до край от автономна система от AI агенти“.

Според Moonshot AI „Kimi K3“ може да се мери с най-модерните модели или да ги превъзхожда. Огромният му размер обаче може да ограничи разпространението му

Китай хвърля ръкавицата на САЩ с най-мощния си AI модел досега

Разкритието на OpenAI, че за пробива са отговорни нейните усъвършенствани модели, въпреки че са били разположени в това, което компанията описва като „силно изолирана среда“, вероятно ще засили тревогата относно мощността и рисковете, свързани с авангардните модели.

Грег Касар, демократ от Тексас в Сената, коментира, че инцидентът е сигнал за тревожност.

„Изкуственият интелект се развива изключително бързо, без да има реални регулации, които да гарантират нашата безопасност“, заявява той, призовавайки за задължителни независими тестове за безопасност, задължително разкриване на инциденти, свързани със сигурността, и международно сътрудничество, „за да се предпазят хората от абсолютна катастрофа“.

Офисът на националния директор по киберсигурността, американската агенция за киберзащита CISA и Агенцията за национална сигурност на САЩ не са отговорили на запитванията за коментар от Reuters.

Експериментът Moltbook изключва хората от разговора и повдига въпроси за контрол, сигурност и бъдещето на автономните системи

Социална мрежа за AI агенти тества границите на автономния изкуствен интелект

Кейти Майсърис, главен изпълнителен директор на Luta Security, смята, че инцидентът е предвестник на пробиви в сигурността, като допълва, че днешните модели са „като най-умните в света октоподи, с неограничен брой пипала и способността да се промъкнат навсякъде“.

Според нея „лабораториите и правителствените експерти трябва да работят върху способността да ограничават, наблюдават и информират засегнатите, когато изкуствен интелект повтори поредния си „Худини“, в идеалния случай преди да нанесе вреда на трета страна. Днес такава способност не съществува“.

Мат Суич, инженер в компанията за киберсигурност с агентен изкуствен интелект Tolmo, смята, че инцидентът показва, че авангардните модели „наваксват разликата с най-съвременните хакери“. Но допълва, че нарушенията, описани от OpenAI, могат да са извършени с технологии, които са достъпни извън стените на изследователските лаборатории, работещи с авангардни модели.

„Това е нещо, което вече сме наблюдавали вътрешно – с нашите агенти имаме подобни резултати. Дори не се налага да използваме най-новите такива“.