Anthropic обяви в четвъртък, че софтуер, който компанията е тествала, е получил достъп до интернет и без нейно знание е проникнал в системите на три нищо неподозиращи компании при отделни инциденти от април насам.

Компанията не разкри кои са засегнатите организации, но уточни, че и трите са били уведомени за случилото се в понеделник.

Новината идва седмица след като OpenAI съобщи, че нейна AI система е излязла от изолирана тестова среда, която е трябвало да бъде напълно откъсната от интернет, и е проникнала в системите на AI компанията Hugging Face.

Случаят с OpenAI разтревожи експерти по киберсигурност и специалисти в AI сектора. Той показа както възможностите, така и непредвидимото поведение на системи, които действат автономно и могат да предприемат различни стъпки, за да изпълнят поставена задача или цел, пише The Wall Street Journal.

Закъснялата реакция на компанията зад ChatGPT води до сериозен дебат дали кибератаката е маркетингов трик, или нов вид критична заплаха, докато секторът вече настоява за радикална прозрачност и мащабни инвестиции в нови защити

Дните на хаос, в които OpenAI не разбра, че автономният ѝ изкуствен интелект е нападнал Hugging Face

Инцидентите показват, че AI компаниите се нуждаят от по-строги общи стандарти за изолиране на моделите по време на тестове за киберсигурност, казва пред WSJ Алекс Стамос, главен продуктов директор на компанията за киберсигурност Corridor.

Според него те дават и тревожна представа за бъдеще, в което престъпни групи, занимаващи се с рансъмуер, могат да използват все по-способни AI системи за масови атаки.

„Трябва да се подготвим за това нападателите съвсем скоро да разполагат с подобни възможности чрез AI модели с публично достъпни параметри“, казва Стамос.

Случаите с Anthropic вероятно ще засилят страховете от потенциалните вреди, които могат да причинят мощните AI модели, както и споровете около начините за ограничаване на рисковете.

Белият дом наскоро засили надзора си върху сектора, докато представители на бизнеса все по-настойчиво призовават да бъде запазен достъпът до модели с публично достъпни параметри, които могат да работят върху компютърни системи, контролирани от самите потребители.

„AI се развива изключително бързо, без реална регулаторна рамка, която да гарантира безопасността ни“, заяви миналата седмица конгресменът демократ от Тексас Грег Касар.

Основателят на Anthropic настоява за ограничения върху достъпа до мощни чипове и глобални тестове за безопасност на най-способните модели

Дарио Амодей: Забраната на отворени AI модели няма да спре Китай

След като научила за проблема на OpenAI, Anthropic решила да провери собствените си тестове за киберсигурност, за да установи дали някой от нейните модели не е направил същото.

Компанията прегледала записите от над 141 000 теста и открила, че Claude действително е успявал няколко пъти да получи достъп до интернет.

При трите установени пробива обаче моделът не е излязъл от защитена тестова среда. Той просто е получил достъп до интернет от системи, в които такава изолация изобщо не е била създадена, предава WSJ.

Според Anthropic неправилна конфигурация в системите на компанията и на нейния партньор по тестовете, компанията за киберсигурност Irregular, е оставила моделите с активен достъп до интернет.

На моделите било указано, че интернет не е достъпен. В хода на тестовете обаче те успели да излязат онлайн и да проникнат в системите на компаниите чрез сравнително елементарни техники, като отгатване на слаби пароли или откриване на системи, които не изискват удостоверяване на самоличността.

По данни на Anthropic моделите погрешно са смятали, че тези действия са част от тестовете за оценка на представянето им.

Евтините отворени модели печелят позиции в САЩ и разпалват спор дали регулациите пазят сигурността или ограничават конкуренцията

Китайският изкуствен интелект преобръща пазара, а OpenAI и Anthropic искат защита

В един от случаите Claude успял да проникне в система на неназована компания за киберсигурност, като създал зловреден софтуер, който бил изтеглен от нейната система за сканиране.

След това програмата откраднала данни за достъп, използвани за проникване в инфраструктурата на компанията.

По време на атаката Claude осъзнал, че извършва действия, които не би трябвало да предприема в реална среда, но стигнал до извода, че се намира в симулация.

При най-сериозния инцидент Claude се опитвал да проникне в измислена компания, която случайно носела същото име като реален уебсайт.

След като не успял да пробие фиктивната организация от теста, моделът проникнал в база данни, принадлежаща на истинската компания.

Това е единственият установен случай, при който Claude е продължил атаката, въпреки че е разбрал, че е получил достъп до реална организация, посочва Anthropic.

При другите два инцидента моделът или изобщо не е осъзнал, че е проникнал в истинска компания, или е разбрал какво се случва и веднага е прекратил действията си.

Пробивите са започнали през април и са включвали моделите Opus 4.7, Mythos 5 и неназован изследователски модел, съобщи Anthropic.