Изкуственият интелект вече може не само да пише научни статии, но и да формулира идеи, аргументи и изследователски концепции. Това поставя нов въпрос пред научната общност: как може да се установи дали дадена идея е плод на човешко мислене, или е генерирана от изкуствен интелект?

Екип от изследователи разработва инструмент, наречен IdeaLens, който се опитва да направи именно това. За разлика от традиционните детектори, които анализират езика и стила на писане, новата система се фокусира върху структурата на идеите и начина, по който се развиват аргументите в даден текст, съобщава научното издание Nature.

При тестовете инструментът успява да разпознае идеи, генерирани от изкуствен интелект, в 91% от случаите. Разработчиците обаче предупреждават, че технологията все още не е достатъчно надеждна, за да се използва за окончателни заключения относно произхода на идеите в отделни научни публикации.

Проектът е разработен на фона на нарастващото количество съдържание, създавано с изкуствен интелект, което се изпраща за публикуване в научни списания и се представя на конференции. Ришант Раджендран, специалист по компютърни науки в Университета на Мериленд и съавтор на изследването, обяснява, че използването на изкуствен интелект при писането на научни статии става все по-приемливо, стига основната идея да принадлежи на самия изследовател.

Може ли изкуственият интелект да улесни създаването на биологични оръжия?

Как работи IdeaLens?

Вместо да търси характерни за изкуствения интелект думи, изрази или граматични конструкции, IdeaLens анализира логическата структура на текста. Първо системата преобразува съдържанието на даден документ, например научна статия, в схема на основните идеи, като премахва стиловите особености. След това търси закономерности в аргументацията и последователността на изложението, които могат да подскажат дали идеите са създадени от човек, или от езиков модел.

Подходът се основава на предишни изследвания на екипа, които установяват структурни разлики между истории, написани от хора, и такива, генерирани от изкуствен интелект. Учените забелязват също, че различни чатботове често използват сходни аргументи при създаването на есета.

За разработването на системата изследователите събират един милион текста, включително новинарски материали, художествена литература, научни публикации и блогове.

Документите са класифицирани като написани от хора или генерирани от изкуствен интелект с помощта на софтуера Pangram. След това голям езиков модел преформулира текстовете и ги свежда до последователност от основните им идеи.

Въз основа на получените структури е обучен класификационен модел, който разпознава закономерности, характерни за човешките идеи и за съдържанието, генерирано от изкуствен интелект.

За допълнителна проверка екипът тества IdeaLens върху документи, написани преди появата на ChatGPT, за които е известно, че са създадени от хора.

Резултатите показват, че приблизително един на всеки 100 човешки текста погрешно се определя като генериран от изкуствен интелект. В различните тестови сценарии около 10% от идеите, създадени от AI, остават неразпознати.

Според Раджендран е по-приемливо системата да пропусне част от генерираното съдържание, отколкото погрешно да постави под съмнение авторството на реален изследовател.

Въпреки постигнатите резултати учените признават, че все още не разбират напълно какви характеристики използва моделът, когато взема решенията си. Това е свързано с т.нар. проблем с „черната кутия“ при машинното обучение, при който вътрешните механизми, довели до определена прогноза, не могат да бъдат изцяло обяснени.

Изследователите все пак установяват някои характерни разлики. Например моделите с изкуствен интелект често преувеличават твърденията си и използват общи подробности, приложими към множество ситуации. Хората, от друга страна, са склонни да включват по-конкретни детайли.

Големият AI срив: Рушир Шарма за оцеляването след края на бума

Защо резултатите трябва да се приемат с повишено внимание?

Макар IdeaLens да може да анализира текстове на няколко езика, точността му не е гарантирана при всички видове съдържание.

Нихил Гарг, специалист по компютърни науки в Cornell Tech в Ню Йорк, който не участва в разработването на системата, определя резултатите като впечатляващи, но предупреждава, че технологията може да допусне грешки, когато анализира материали, различни от използваните при обучението ѝ.

„Нещо, което издава AI в една област, може просто да е признак за добро човешко писане в друга“, заявява той пред Nature.

Затова разработчиците препоръчват IdeaLens да се използва в комбинация с други методи и да се анализира по-голям брой публикации на даден изследовател, вместо да се правят заключения въз основа на отделни текстове.

Причината е, че погрешно заключение за използване на AI може да навреди на професионалната репутация на учените.

Изследването повдига и по-широк въпрос за бъдещето на научната дейност. Ако учените все по-често разчитат на изкуствен интелект не само за писане, но и за генериране на идеи, това може да доведе до по-голямо сходство между научните разработки.

Според Гарг съществува риск подходите и идеите, предпочитани от AI моделите, постепенно да започнат да доминират в научните изследвания, особено ако технологията се използва както при създаването на публикации, така и при тяхното рецензиране. Това би могло да ограничи разнообразието от изследователски подходи и да повлияе върху посоката на научния прогрес.