Изкуственият интелект вече решава сложни математически задачи, пише код и управлява хуманоидни роботи в демонстрации. Но когато трябва да изпълни поредица от прости физически действия без грешка – например да разчисти маса и да премести няколко предмета на правилните места – ограниченията му бързо стават видими.

INSAIT и NVIDIA представиха LADDER – нова публична платформа за оценка на способността на AI моделите да управляват роботи при изпълнение на последователни задачи. Целта е да се измерва не само дали един робот може да извърши отделно действие, а доколко надеждно може да изпълни цяла поредица от действия в правилния ред.

Платформата включва 145 ежедневни задачи с между един и десет обекта. Роботът трябва например да поставя плодове и други предмети в чиния или кош, да ги премества в определен ред или да оставя част от тях на място. Всяка задача се изпълнява в симулация и се отчита като успешна само ако всички предмети се окажат там, където трябва.

Резултатите показват голяма разлика между впечатляващите възможности на съвременните езикови модели и надеждността им във физическия свят.

Най-добрата тествана система изпълнява успешно 63,3% от задачите. При най-дългите задачи, включващи преместването на 8 до 10 предмета, успеваемостта пада до 34,8%.

Сред водещите модели в класацията са GPT-6 Astra, Claude Opus 5.5 и Gemini 4 Argon. Специализираните модели, разработени конкретно за роботика, се представят още по-слабо. Според INSAIT моделът π0.5 например може да премести успешно единичен предмет, но почти не успява да изпълни последователности с пет или повече обекта.

Основателят на INSAIT е сред ограничен кръг изследователи, които тестват детектор за невидим „воден знак“ в AI съдържание

OpenAI избра проф. Мартин Вечев да тества нов начин за разпознаване на AI текстове

Колкото повече стъпки, толкова повече грешки

LADDER е създаден така, че да изолира един от основните проблеми при роботиката – натрупването на грешки.

Да се премести един предмет е сравнително лесна задача. При десет последователни действия обаче всяка грешка може да провали целия процес.

На сайта на платформата това е показано с привидно елементарна задача: роботът трябва последователно да постави банан, два портокала, лимон, лайм, авокадо, лук, личи, тиква и нар в кош.

За човек това е рутинно действие. За робот означава да разпознае всеки обект, да го хване, премести и постави правилно – десет пъти поред, без нито една грешка.

Точно тук резултатите се влошават най-рязко.

„Роботи, които могат надеждно да боравят с ежедневни предмети, остават едно от най-големите нерешени предизвикателства пред изкуствения интелект“, посочват авторите на LADDER.

Технологията може да намали разходите за презаснемане и да даде повече контрол в постпродукцията

INSAIT и Netflix с пробив в обработката на видео с изкуствен интелект

Не само точност, но и цена

Платформата измерва и колко струва успешното изпълнение на дадена задача.

При GPT-6 Astra средната цена на успешно завършена задача е 6,49 долара. Това е около 20 пъти повече от Gemini 3.7 Flash, използван чрез PSP-Agent, който изпълнява 42,8% от задачите.

Пълното тестване на GPT-6 Astra върху приблизително 2000 опита в бенчмарка струва около 8000 долара, посочва INSAIT.

Така LADDER позволява да се сравнява не само кой модел се справя най-добре, но и каква е икономическата цена на тази надеждност – фактор, който ще бъде ключов при реалното внедряване на роботи в индустрията и услугите.

Институтът е класиран и на първо място в Източна Европа

Българският INSAIT e в топ 15 на Европа по компютърни науки и изкуствен интелект

Симулацията съвпада с реалните роботи

Екипът е проверил резултатите и върху два реални робота. Подреждането на моделите се запазва същото като в симулацията, което според авторите показва, че платформата може да служи като надежден ориентир за реалните им способности.

В един от тестовете реален робот Franka, управляван от Gemini 3.7 Flash чрез PSP-Agent, трябва последователно да постави синя чаша, морков и патладжан в купа.

LADDER е публично достъпен и ще бъде обновяван с появата на нови AI модели. Разработчиците могат да добавят собствените си системи към класацията чрез публикувания код, а резултатите се проверяват от екипа на проекта.

Проектът е разработен от Петко Петков, Джулиано Албанезе, Николай Николов, Люк ван Гул и Данда Пани Паудел от INSAIT, както и Джонатан Трембле от NVIDIA.

LADDER показва и защо т.нар. Physical AI остава толкова трудна област: моделите могат да демонстрират впечатляващо езиково и логическо мислене, но надеждното взаимодействие с физическия свят изисква последователност, прецизност и устойчивост на грешки, които днешните системи все още не могат да гарантират.