У групи дослідників з Китаю та Сінгапуру вдалося навчити штучний інтелект, базований на OpenAI GPT-4V, грати в Red Dead Redemption 2 (RDR2) з вражаючими результатами.
Їхній мультимодальний агент CRADLE дозволив ШІ взаємодіяти з грою, сприймаючи візуальні та звукові сигнали, як людина-користувач ПК.
Проєкт, який базується на концепції загального комп’ютерного контролю (GCC), покликаний показати прогрес у розвитку загального штучного інтелекту (AGI). Обрання RDR2 для дослідження було обґрунтоване її складною системою управління та вимогливими завданнями.
Хоча ШІ-агент успішно пройшов багато завдань основної сюжетної лінії гри, деякі складні моменти виявилися викликом. Дослідники вважають, що обмежені можливості просторово-візуального розпізнавання GPT-4V були основною причиною.
Однак система CRADLE зуміла успішно вирішити більшість завдань, залишаючи надію на подальше вдосконалення.
Цей успіх не обмежується лише грою RDR2 – автори планують розширити застосування CRADLE для підтримки інших ігор і навіть програмного забезпечення.