Главният изпълнителен директор на Anthropic Дарио Амодей публикува в събота есе, в което призова AI компаниите съзнателно да забавят темпото, с което разширяват възможностите на своите модели.

Идеята идва на фона на все повече призиви от изследователи за координирано забавяне на развитието на най-мощните AI системи.

Амодей предлага план от три стъпки, който според него може да ограничи темпото на развитие, без да „жертва търговското предимство или лидерската позиция на САЩ в AI“. Той признава, че някои от мерките ще бъдат по-трудни за прилагане от други.

Anthropic междувременно се подготвя за първично публично предлагане, за което се очаква да бъде сред най-значимите в историята, макар компанията все още да не е обявила официално кога възнамерява да излезе на борсата.

По думите на Амодей Anthropic вече едностранно се е ангажирала с първата стъпка от плана. Тя предвижда независими външни оценители да получат достъп до компанията, сравним с този на служителите, за да могат да проверяват практиките ѝ за безопасност и да докладват за инциденти.

Втората стъпка е водещите AI компании в демократичните държави да координират действията си и да установят общи стандарти за безопасност. Третата предвижда подобна координация и между правителствата на демократични и авторитарни държави.

„За да е ясно, забавянето на темпото не означава спиране на обучението на модели или на техническия прогрес. Става дума за това компаниите да разполагат с достатъчно време, за да направят моделите си по-безопасни и да въведат необходимите защити, а независими оценители да могат да потвърдят това“, пише Амодей.

Докато американският президент поставя победата над Китай над опасенията за екзистенциалните рискове от изкуствения интелект, Брюксел вижда в предупрежденията на изследователи от Anthropic и OpenAI аргумент в полза на AI Act

„Нямам никакви притеснения“: Тръмп отхвърля страхa от AI, Европа отговаря: „Ние вече имаме закон за това“

Есето му идва дни след като изследовател на Anthropic предизвика бурни реакции в социалните мрежи, обявявайки, че напуска компанията.

Джейкъб Коксън, който преди това е работил и в основния конкурент на Anthropic - OpenAI, заяви, че е подал оставка заради опасенията си, че двете компании „залагат живота ни на карта“.

По думите му хората, които разработват AI, „искрено вярват, че той може да убие всички ни до края на десетилетието“.

Предупреждението идва от ръководител в екипа по AI безопасност, след като негов колега напусна компанията с обвинението, че Anthropic и OpenAI „залагат живота ни на карта“ в надпреварата към самоусъвършенстващ се свръхинтелект

Изследовател на Anthropic: Вероятността AI да унищожи човечеството е над 10%

Макар подобно твърдение да звучи крайно, опасенията, че AI може да доведе до изчезване на човечеството или до други катастрофални последствия, отдавна присъстват сред изследователите в областта.

През 2023 г. водещи учени и ръководители в сектора, сред които главният изпълнителен директор на OpenAI Сам Алтман и самият Амодей, подписаха декларация, според която „намаляването на риска от изчезване заради AI трябва да бъде глобален приоритет наред с други мащабни заплахи като пандемиите и ядрената война“.

Амодей посочва, че идеята за пауза или забавяне на развитието на AI се обсъжда още от 2023 г., но тогава според него подобен ход „нямаше особен смисъл“.

Все повече изследователи предупреждават, че изкуственият интелект би могъл да доведе до изчезването на човечеството – дори ако единствената задача на машините е да произвеждат кламери. Ето какво трябва да знаем за дебата около най-мрачния сценарий

Как всъщност AI би могъл да унищожи човечеството?

По онова време моделите все още не са били достатъчно мощни, за да предприемат съществени действия в реалния свят, нито са притежавали значими способности за „измама, манипулация, заобикаляне на правилата или кибератаки“.

„Продължавам да вярвам, че AI може да подобри изключително много качеството на човешкия живот. Желанието ми да постигнем тези ползи изобщо не е намаляло“, пише Амодей.

„Но те ще бъдат постигнати само ако изградим технологията по правилния начин. И докато използваме добре времето, което си осигуряваме, си струва да подходим с необичайна предпазливост, за да го направим както трябва.“