Исследователям ИИ-агентов: почему GameScaling учит модели управлять играми по изображению

Опубликованы восемь вариантов: по два размера для моделей с 0,8, 2, 9 и 27 млрд параметров. Основа у них — зрительно-языковая модель Qwen3.5. Её продолжили обучать на игровых изображениях и записях управления. По данным описания проекта, на каждый опубликованный вариант пришлось 1600 часов игровых данных.

Вариант S1 обучили только на Minecraft. Вариант S3 учился на смеси игр, и доля Minecraft в ней составляет 27%. Такое разделение помогает проверить, переносится ли навык управления между играми. Одной уверенности в Minecraft мало. Модели нужно узнавать и новые сцены, и ситуации, которых не было в её узком наборе обучения.

Как это работает

Представьте игрока: он смотрит на экран, намечает несколько движений и только потом снова проверяет результат. GameScaling действует примерно так. Модель получает текущий кадр, несколько предыдущих изображений и историю своих команд. Затем она формирует следующий короткий отрезок управления.

Один вызов задаёт действия примерно на 200 миллисекунд, то есть шесть шагов по 33 миллисекунды. В эти шаги могут входить нажатия клавиш, движения мыши и прокрутка. После этого система получает обновлённое изображение и решает, что делать дальше. Кадр превращается в последовательность небольших команд, а следующий кадр показывает, что эти команды изменили.

В демонстрациях модель собирает ресурсы и создаёт предметы в Minecraft, перемещается и сражается в Doom. Значит, интерфейс управления не привязан к одной игре. Но сама демонстрация ещё не говорит, насколько стабильно система справляется с длинными заданиями и неожиданными ситуациями.

Цифры и цена

Самая крупная опубликованная версия содержит 27 млрд параметров. По материалу портала IT Home, перепечатанному Sina Tech, варианты до 9 млрд параметров включительно можно развернуть на одной видеокарте. Версия на 27 млрд требует двух. На практике это важно: меньшие варианты проще запускать локально, а крупная модель нуждается в более мощной конфигурации.

Код и веса опубликованы по лицензии Apache 2.0. Для развёртывания предусмотрена система vLLM. Цену модели или оборудования в материалах не указали, точных данных о стоимости нет.

По сообщению 36Kr от 23 октября исследование размещено на arXiv как препринт и пока не прошло рецензирование. Результаты стоит воспринимать как раннюю исследовательскую работу, а не как подтверждённую оценку качества.

Где подвох

Главное ограничение связано со способом обучения. По пересказу выводов авторов в 36Kr, модель в основном подражает человеческим действиям. Она учится на примерах того, как игрой управляли люди, но самостоятельного цикла обучения на собственных ошибках не проходит. Из-за этого ей трудно исправлять неудачные решения и действовать в ситуациях, которых не было в записях.

У узкой специализации тоже есть цена. После 1600 часов обучения только на Minecraft модель с 27 млрд параметров стала играть в эту игру лучше. Но в ряде других сред её результаты ухудшились по сравнению с исходной моделью. Больше данных об одной игре не обязательно делает систему универсальнее.

Есть и вопрос к сравнениям с моделями через внешний API. По предупреждению 36Kr, результат зависит не только от самой модели, но и от задержек и условий развёртывания. Статус препринта добавляет осторожности: независимого рецензирования пока нет.

А что в России

В материалах нет данных о российских аналогах, планах и сроках выпуска, а также о продаже GameScaling в России. Поэтому сравнить проект с российскими разработками по подтверждённым фактам пока нельзя.

Какой игровой навык вы бы проверили у такой модели первым?

Читайте также

• Оказалось, что в космической нити вещество движется к обоим скоплениям, а не к одному
• Команда из 50 человек обошла гигантов eVTOL: затраты на разработку втрое ниже отраслевых

#китай #наукаитехника #технологии #изобретения #лабораторияподнебесной