Статья с описанием нейросети NVIDIA под названием MineDojo получила награду за «выдающиеся наборы данных и контрольные показатели» на NeurIPS 2022.

Чтобы научить фреймворк MineDojo игре в Minecraft, исследователи загрузили в него 730 000 видео Minecraft с YouTube (с более 2,2 миллиарда слов), 7 000 веб-страниц с вики Minecraft, а также 340 000 публикаций Reddit и 6,6 миллиона комментариев Reddit, которые описывают процесс игры в Minecraft.

На основе этих данных исследователи создали специальную модель MineCLIP, связывающую видеоклипы с определенными действиями в игре Minecraft. В результате человек может сказать MineDojo, что делать в игре – например, «найти пирамиду в пустыне» или «построить портал в Нижний мир и войти в него», и нейросеть выполнит необходимую серию шагов.MineDojo стремится быть гибким агентом, который может обобщать изученные действия и применять к различным поведениям в игре.

«Хотя исследователи уже давно тренируют автономных агентов искусственного интеллекта в средах видеоигр, таких как StarCraft, Dota и Go, эти агенты обычно являются специалистами лишь в нескольких задачах. Поэтому исследователи NVIDIA обратились в Minecraft, самую популярную игру в мире, чтобы разработать масштабную учебную структуру для агента широкого профиля, которая может успешно выполнять различные открытые задачи», — пишет NVIDIA.

Статья «MINEDOJO: Создание открытых встроенных агентов с использованием знаний из Интернета» дебютировала в июне. Ее авторами являются Линкси Фан из NVIDIA и ряд специалистов из разных академических учреждений.На MineDojo в действии можно посмотреть на ее официальном веб-сайте, а код для MineDojo и MineCLIP доступен на GitHub.

Источник: Arstechnica