Искусственный интеллект OpenAI потягается с лучшими игроками Dota 2 на The International 2018

0
33

OpenAI рассказала о своём последнем достижении: исследовательская лаборатория натренировала команду ИИ, которая имеет шансы победить лучших игроков в Dota 2.

OpenAI в августе прошлого года впервые представила систему, которая могла бы победить лучших игроков Dota 2 в матчах «1 на 1». Однако этот режим значительно снижает сложность матча. Тогда исследователи обновили своих ботов, чтобы играть против людей в матчах «5 на 5», которые требуют координирования усилий и долгосрочного планирования. И хотя OpenAI всё ещё не бросила вызов самым лучшим игрокам, она сделает это позже в нынешнем году, на международном турнире по Dota 2, The International.

Мотивация для таких исследований проста: если мы можем научить системы искусственного интеллекта навыкам, необходимым для игры в видеоигры, мы можем использовать их для решения сложных реальных задач, которые в некотором роде выполняются тем же образом, например, управление транспортной инфраструктурой города.

Видеоигры предлагают такие испытания, которые настольные игры (шахматы или го) предложить не могут. Они скрывают информацию от пользователей — ИИ не может воспринимать всё игровое поле и рассчитывать наилучший следующий ход. В них также больше информации для обработки и огромное количество возможных шагов. Как заявляет OpenAI, в каждый момент бот, играя в Dota 2, должен выбирать между 1000 различными действиями при обработке 20000 единиц входных данных, которые представляют собой то, что происходит в матче.

Чтобы создать своих ботов, лаборатория обратилась к методу машинного обучения, известному как усиленное обучение (reinforcement learning). Это обманчиво простой метод, который может привести к сложному поведению. Агенты ИИ бросаются в виртуальную среду, где они учатся тому, как достичь своих целей путём проб и ошибок. Программисты устанавливают так называемые функции вознаграждения (начисление ботам очков за такие вещи, как убийство врага), а затем оставляют ботов играть снова и снова.

В общей сложности боты ежедневно играли 180 лет. Так они тренировались в течение нескольких месяцев. «[Сперва бот] начинает совершенно случайно блуждать по карте. Затем, через пару часов, он начинает обучаться первым базовым навыкам», — сказал сооснователь OpenAI Грег Брокман (Greg Brockman). По его словам, если человеку требуется от 12 тысяч до 20 тысяч часов игры, чтобы стать профессионалом, это означает, что агенты OpenAI «играют 100 человеческих жизней каждый день».

Хотя боты OpenAI теперь играют матчи «5 на 5», они всё ещё не подвержены полной сложности Dota 2. Существует ряд ограничений. Они играют только с помощью пяти из 115 доступных героев, каждый из которых имеет свой собственный стиль. Их выбор: Necrophos, Sniper, Viper, Crystal Maiden и Lich. Некоторые элементы их процессов принятия решений строго закодированы, например, какие предметы они покупают и какие навыки повышают. Были отключены и другие сложные участки игры, в том числе невидимость, призывы и расстановка вардов. Последние действуют как удалённые камеры и имеют важное значение в MOBA.

Агенты OpenAI также имеют все преимущества компьютера. Их скорость реакции быстрее, чем у людей, они никогда не промахиваются и у них есть мгновенный и точный доступ к таким данным, как запасы предметов, здоровье героев и расстояние между объектами на карте, которые имеют решающее значение для правильного использования определённых заклинаний.

По словам Брокмана, способность играть целые матчи в Dota 2, которые длятся в среднем 45 минут — это то, что отличает ботов OpenAI. Такое долгосрочное планирование считалось трудным или даже невозможным для обучения по используемому методу. Главная причина успешности подхода, говорит Брокман, в том, что у лаборатории имеется более мощный компьютер.

Андреас Теодору (Andreas Theodorou), исследователю ИИ в университете Бата, который использует компьютерные игры для изучения сотрудничества, говорит, что последние изучения данных по играм «5 на 5» — это большой шаг вперёд. Хотя он отмечает, что, возможно, самым значительным достижением является использование OpenAI визуализации для отладки своих агентов. «Эти методы показывают, что даже усиленное обучение и машинное обучение в целом может быть прозрачным», — сказал Теодору.

Использование исследователями отдельной функции вознаграждения ботов к совместной работе также примечательно, говорит Теодору. Она была названа Team spirit («командный дух»). Вознаграждение увеличивается каждый матч. Благодаря ей боты, начиная игру, преследуют индивидуальные цели, такие как убийства, но со временем всё больше фокусируются на общих задачах. «Боты полностью готовы пожертвовать линией или отказаться от героя для общего блага, — сказал Брокман. — Для интереса мы поместили человека, чтобы заменить одного из ботов. Мы не учили их делать что-то особенное, но он сказал, что ощущал хорошую поддержку. Боты давали всё, что он хотел».

Команда ботов OpenAI в настоящее время сыграла пять матчей против нескольких любительских и полупрофессиональных команд. Счёт 4:1 в пользу ИИ. Но самый большой вызов их ждёт позже, на The International. Смогут ли они победить лучших из лучших? Увидим уже в августе.

Источник: 3dnews.ru

ОСТАВЬТЕ ОТВЕТ

Please enter your comment!
Please enter your name here