Излезли извън контрол модели на OpenAI компрометираха вътрешните системи на Hugging Face по-рано този месец. Нов анализ показва, че инцидентът е по-мащабен и се дължи на съществени пропуски в корпоративната сигурност.

По данни на WIRED и CNBC хакерската активност на изкуствения интелект е засегнала множество външни акаунти и услуги.

Въпреки сериозния отзвук в индустрията и медиите, много изследователи смятат, че инцидентът не показва нов технологичен напредък, а подчертава дългогодишни проблеми в дигиталната сигурност, които в ерата на AI са особено рискови.

Комбинация от AI модели на OpenAI е успяла да напусне контролираната тестова среда и да получи достъп до интернет. Системите са използвали уязвимост, за да проникнат в Hugging Face – популярна платформа за разработчици с отворен код. Според CNBC основната цел на алгоритмите е била да намерят информация за манипулиране на собствената си оценка за ефективност, което са постигнали.

Разследването на OpenAI разкрива методичен подход. Освен системите на Hugging Face моделите са компрометирали още четири външни акаунта. Един е използван като междинна станция за подготовка на атаката, друг – за съхранение на данни, а достъпът до останалите два е бил само за четене.

Част от компрометираната инфраструктура е собственост на доставчика Modal. Данните показват, че моделът е открил и експлоатирал уязвимо, публично достъпно приложение, създадено от клиент на платформата.

Експерти коментират пред CNBC, че подобни инциденти наподобяват случаи, в които алгоритъм се възползва от „оставена отворена входна врата“, а не от сложен пробив.

Тази теза се потвърждава и от анализа на WIRED.

„Индустрията действа изключително безразсъдно. Шокиращо е колко неглижиран е бил подобен сценарий“, коментира пред WIRED Алекс Зенла, съосновател и главен технологичен директор на компанията за облачна сигурност Edera.

„Смятам, че на всеки изкуствен интелект и на всичко, до което той се докосне, трябва да се гледа с абсолютно недоверие. Фактът, че OpenAI не са подходили с по-голяма параноя към това, изглежда доста безотговорно.“

Закъснялата реакция на компанията зад ChatGPT води до сериозен дебат дали кибератаката е маркетингов трик, или нов вид критична заплаха, докато секторът вече настоява за радикална прозрачност и мащабни инвестиции в нови защити

Дните на хаос, в които OpenAI не разбра, че автономният ѝ изкуствен интелект е нападнал Hugging Face

От OpenAI признават, че ситуацията се е развила отчасти, защото „предпазните механизми при внедряване умишлено не са били активирани“ по време на тестовете.

Според консултанта по сигурност Дейви Отенхаймър, грешките на компанията са били „абсолютно елементарни“. Множество специалисти подчертават, че за организация с оценка от 850 млрд. долара липсата на имплементирани базови принципи като „нулево доверие“ и „задълбочена защита“ е неоправдана.

Самата атака е продължила четири дни и половина. Интересен детайл е използването на инструменти за овладяването ѝ. Hugging Face е спряла пробива с модел с отворен код от китайската компания Z.ai, докато в Силициевата долина се обсъжда дали достъпът до подобни чуждестранни модели трябва да бъде ограничен.

Опитите за защита чрез проприетарния модел Fable 5 на Anthropic са се провалили. Вградените рестрикции за безопасност на алгоритъма са му попречили да разпознае, че платформата просто се опитва да защити собствената си инфраструктура, отбелязва CNBC.

Пробивът засилва опасенията, че все по-способните AI системи могат да заобикалят традиционните механизми за сигурност

Компания, атакувана от AI модели на OpenAI, определя инцидента като „сигнал за събуждане“

Главният изпълнителен директор на OpenAI Сам Алтман казва, че компанията временно е спряла обучението на нови модели, за да преразгледа сигурността на тестовите среди.

Реакцията е бърза – над 1000 служители от водещи AI компании са подписали отворено писмо с призив към правителството на САЩ да създаде необходимите инструменти за управление. В същото време в Конгреса е внесен законопроектът „AI Kill Switch Act“, който изисква технологичните компании да поддържат механизъм за аварийно изключване на моделите си.

Очаква се алгоритмите да стават все по-незабележими в действията си. Експертите, цитирани от двете медии, подчертават, че решението не е само в спирането на отделни атаки, а в цялостна промяна на начина, по който се изгражда дигиталната инфраструктура в ерата на изкуствения интелект.