OpenAI обяви във вторник, че планира да насочва чувствителни разговори към „разсъждаващи“ модели като GPT-5 и в рамките на месец ще въведе родителски контрол. Новите защитни механизми идват след серия от инциденти, при които ChatGPT не успява да разпознае признаци на тежко психическо състояние у потребители.

Случаят със самоубийството на тийнейджъра Адам Рейн предизвика сериозни реакции. Момчето е обсъждало с чатбота на OpenAI планове за самонараняване и дори е получило информация за конкретни методи. Родителите му вече са завели дело срещу OpenAI за неправомерно причиняване на смърт, пише Tech Crunch.

Миналата седмица компанията признава в своя блог публикация известни слабости в системите си за сигурност, включително невъзможността да поддържа защитни механизми по време на продължителни разговори.

Според експерти проблемът е в самия дизайн на моделите – склонността им да потвърждават изказванията на потребителя и алгоритмите за предсказване на следващата дума, които водят до следване на разговора, вместо до прекъсване на потенциално опасните теми.

Тази тенденция достига до крайност в случая на Щайн-Ерик Сьолберг, за когото The Wall Street Journal съобщава през уикенда. Мъжът, който страда от психични заболявания, използвал ChatGPT, за да засилва параноидните си убеждения за мащабна конспирация. Делириумът ескалира до такава степен, че през миналия месец той убива майка си, а след това и себе си.

Алгоритмите вече показват, че могат да намалят риска от погрешни диагнози и да направят здравеопазването по-достъпно

AI разумът срещу фаталните грешки на медицината

OpenAI вярва, че решението на проблема може да се крие в автоматичното пренасочване на рискови разговори към „разсъждаващи“ модели. „Наскоро въведохме система в реално време, която може да избира между ефективни чат модели и разсъждаващи модели според контекста на разговора,“ пише компанията. „Скоро ще започнем да насочваме някои чувствителни разговори – например когато системата засече признаци на остър дистрес – към разсъждаващ модел като GPT-5, така че да предоставя по-полезни и безопасни отговори, независимо кой от моделите е избран първоначално.“

Компанията също така подчертава, че GPT-5 и o3 са проектирани да отделят повече време на мисловен процес и да анализират по-задълбочено контекста, което ги прави „по-устойчиви на враждебни подкани“.

В рамките на месец ще бъде въведен и родителски контрол. Той ще позволи на родителите да свързват своя акаунт с този на тийнейджъра си чрез имейл покана, както и да настройват „правила за поведение според възрастта“, които по подразбиране ще бъдат активни. Ще може да се изключват функции като памет и история на разговорите – опции, които според експерти могат да доведат до заблуди, зависимост или вредни модели на мислене.

Алекс Прояс твърди, че технологията ще „оптимизира“ работната сила във филмовата индустрия, но ще направи проектите по-лесни и по-евтини

Режисьорът на „Аз, роботът“: Разрушената киноиндустрия може да бъде поправена с AI

Най-съществената актуализация ще бъде възможността родителите да получават известия, ако системата установи, че тийнейджърът изпитва „остър дистрес“.

Мерките са част от „120-дневна инициатива“, чрез която OpenAI представя планове за подобряване на безопасността през годината. Компанията посочва, че си партнира с експерти по хранителни разстройства, зависимости и юношеско здраве чрез своите мрежи Global Physician Network и Expert Council on Well-Being and AI. Те ще подпомогнат дефинирането и измерването на показатели за благополучие, както и изготвянето на бъдещи защити.

Но критиците все още имат остри позиции по въпроса. Джей Еделсън, който е водещ адвокат в делото на семейството на Рейн, заяви: „OpenAI не се нуждае от експертен панел, за да установи, че ChatGPT 4o е опасен. Те знаеха това в деня, когато пуснаха продукта, и го знаят и днес. Нито пък Сам Алтман трябва да се крие зад PR екипа на компанията си. Сам трябва или недвусмислено да заяви, че вярва, че ChatGPT е безопасен, или незабавно да го изтегли от пазара.“