Google обяви в петък, че моделът Gemini е проникнал в системите на три други компании. Това е първият случай, в който технологичният гигант разкрива, че негов модел самостоятелно е получил неразрешен достъп до компютърни системи на трети страни.

През май Gemini е влязъл в три отделни частни системи, като в единия случай е отгатнал парола, а в други два е използвал публично достъпно хранилище с пароли, уточняват от Google.

Инцидентът се случва по време на тест за киберсигурност от типа „capture the flag“, провеждан от израелския стартъп Irregular. AI агентите на Google не е трябвало да имат достъп до интернет извън тестовата среда, но технически проблем им е позволил да се свържат с външни системи.

Нова информация разкрива вътрешни опасения около използването на милиони журналистически материали за разработването на AI системи

„Екзистенциална заплаха“ за медиите: Какво разкриват документи от Microsoft и OpenAI

След като установяват, че са попаднали в реални корпоративни мрежи, а не в част от тестовата инфраструктура, агентите прекратяват действията си, разказва The Wall Street Journal.

„При стандартна оценка моделът откри публична информация онлайн и отгатна данни за достъп до сайтове, които смяташе за част от теста“, обяснява Хедър Адкинс, вицепрезидент по инженеринг на сигурността в Google. „И в трите случая моделът спря.“

Разкритието идва на фона на засилващото се внимание във Вашингтон и Силициевата долина към непредвидимото поведение на системите с изкуствен интелект.

През последните седмици OpenAI, Anthropic и Meta също съобщиха за случаи, при които техни AI модели са излизали извън ограниченията на тестовите среди и са правили опити да проникнат в системи на други компании.

Тези инциденти с т.нар. „несъгласувани“ (misaligned) модели накараха главния изпълнителен директор на Anthropic Дарио Амодей да призове индустрията колективно да забави разработването на най-напредналите AI системи, докато компаниите не могат да гарантират тяхната безопасност.

Всички описани случаи са свързани с израелския стартъп Irregular. Компанията, подкрепена от Sequoia и Redpoint Ventures, беше оценена на 450 млн. долара миналата година. Тя разработва инструменти, с които създателите на фундаментални AI модели проверяват устойчивостта на най-новите си технологии срещу киберрискове.

Представител на Irregular обяснява пред CNBC, че случаят с Google произтича от същия технически проблем, който е позволил и на други модели да получат достъп до интернет.

„Това е същият проблем, за който вече беше съобщено, и не представлява съществено различен инцидент“, уточняват от компанията. „Всички засегнати лаборатории бяха уведомени в края на юли, а с организациите, чиито системи бяха засегнати, беше установен контакт в рамките на разследването.“

Компанията разкри шест нови случая, при които системи са заобикаляли ограничения, пренаписвали инструкции или измисляли данни, а новата рамка трябва да ускори разследването и публичното оповестяване на подобни инциденти

OpenAI въвежда нови правила за разкриване на опасно поведение на AI моделите

Google потвърждава, че случилото се датира от май, а Irregular уведомява компанията в края на юли. Оттогава двете страни работят по промени в процедурите за тестване.

Говорител на Google отказва да уточни коя точно версия на Gemini е участвала в инцидента.

„Тези събития подчертават колко важно е мощните AI модели да бъдат обучавани да действат отговорно“, допълва Адкинс.