Учёные сломали ИИ с помощью настольной игры "Подземелье и драконы". Claude 3.5 Haiku, GPT-4o и DeepSeek-V3 буквально запутались и не смогли решить поставленные задачи.
Провёл эксперимент профессор Зии Цзэн из Калифорнийского университета в Сан-Диего. Цель — изучить слабые места моделей ИИ и понять, как улучшить нейронки. Для этого использовали настольную ролевуху Dungeons & Dragons, созданную в 1974 году.
Для работы Цзэн и его команда сделали платформу D&D Agents. Система функционирует как симулятор, где модели взаимодействуют друг с другом или с людьми через цифровые инструменты, ограничивая свободное общение.
Команда протестировала Claude 3.5 Haiku, GPT-4o и DeepSeek-V3 в 27 боевых сценариях, оценивая их по эффективности и планированию. Claude 3.5 Haiku показал на первых этапах лучшую надёжность и использование инструментов, GPT-4o — высокую производительность, но меньшую последовательность. А DeepSeek-V3 буквально показал ни бе ни ме.
Под конец все начали бажить. Цзэн заявил: "Это говорит о том, что современные технологии всё ещё с трудом справляются с поддержанием точной ментальной карты ситуации при длительном взаимодействии". И добавил: "Человек пока что круче, чем бездушные машины, — он может фантазировать, запоминать и действовать нестандартно".
всё потому что у них нет костей
