Исследователи Массачусетского технологического института пришли к выводу, что генеративные модели, такие как GPT компании OpenAI, хотя и могут создавать осмысленные выражения, в действительности не понимают реальный мир и его закономерности. Эти модели впечатляют в предсказании текста, однако при столкновении с изменениями в реальных задачах, например, в навигации или играх с правилами, они ошибаются.

Авторы эксперимента использовали задачи по навигации в Нью-Йорке и игру «Отелло», чтобы проверить, способны ли модели воспринимать и соблюдать установленные правила. В стабильных условиях они успешно ориентировались по маршруту и выбирали допустимые ходы в игре.

Но стоило исследователям добавить объезды или изменить доступные маршруты, модели начинали ошибаться, предлагая ходы или направления, не соответствующие реальной ситуации. Это указывает на то, что модели лишь создают видимость понимания, но не могут полностью улавливать изменения или понимать последствия своих действий.

Исследователи предлагают создавать новые методы тестирования, чтобы определить, понимают ли ИИ реальные системы или просто повторяют заученные паттерны. Технологии генеративного ИИ продолжают развиваться, и сейчас MIT видит перспективу в улучшении их возможностей, но подчёркивает важность реальной оценки интеллекта таких систем.

Источник: 4PDA