Нейросеть NVIDIA, которая играет в Minecraft, получила награду на конференции по машинному обучению NeurIPS 2022

Статья с описанием нейросети NVIDIA под названием MineDojo получила награду за “выдающиеся наборы данных и контрольные показатели” на NeurIPS 2022.

Чтобы научить фреймворк MineDojo игре в Minecraft, исследователи загрузили в него 730 000 видео Minecraft с YouTube (с более 2,2 миллиарда слов), 7 000 веб-страниц с вики Minecraft, а также 340 000 публикаций Reddit и 6,6 миллиона комментариев Reddit, которые описывают процесс игры в Minecraft.

На основе этих данных исследователи создали специальную модель MineCLIP, связывающую видеоклипы с определенными действиями в игре Minecraft. В результате человек может сказать MineDojo, что делать в игре – например, “найти пирамиду в пустыне” или “построить портал в Нижний мир и войти в него”, и нейросеть выполнит необходимую серию шагов.MineDojo стремится быть гибким агентом, который может обобщать изученные действия и применять к различным поведениям в игре.

“Хотя исследователи уже давно тренируют автономных агентов искусственного интеллекта в средах видеоигр, таких как StarCraft, Dota и Go, эти агенты обычно являются специалистами лишь в нескольких задачах. Поэтому исследователи NVIDIA обратились в Minecraft, самую популярную игру в мире, чтобы разработать масштабную учебную структуру для агента широкого профиля, которая может успешно выполнять различные открытые задачи”, — пишет NVIDIA.

Статья “MINEDOJO: Создание открытых встроенных агентов с использованием знаний из Интернета” дебютировала в июне. Ее авторами являются Линкси Фан из NVIDIA и ряд специалистов из разных академических учреждений.На MineDojo в действии можно посмотреть на ее официальном веб-сайте, а код для MineDojo и MineCLIP доступен на GitHub.

Источник: Arstechnica