Возможно, на The International 2018 нас будет ждать очередная схватка ИИ с про геймерами. Машины становятся все умнее.
Этим августом одни из лучших профессиональных игроков в мире отправятся в Ванкувер, чтобы сражаться за миллионы долларов в крупнейшем киберспортивном турнире. К ним присоединится команда из пяти ботов AI, поддерживаемые Илоном Маском. Они попытаются установить новую вершину развития машинного обучения.
Боты были разработаны OpenAI, независимым научно-исследовательским институтом, который в 2015 году учредил генеральный директор Tesla для продвижения ИИ и предотвращения превращения технологии в угрозу обществу.
В Ванкувере пройдет ежегодный чемпионат мира по Dota 2, одной из самых популярных игр. В каждой схватке две команды из пяти человек пытаются уничтожить базы друг друга, играя за различных персонажей: демонов, пауков, ледяных призраков и прочих.
Ранее в этом месяце команда OpenAI, OpenAI Five, обыграла команду полупрофессионалов в Dota 2. Этот матч имел упрощенные функции игры, например, ограничив обе команды одними и теми же персонажами. Но технический директор и соучредитель OpenAI, Грег Брокман, считает, что боты могут быть готовы к полноценному поединку с профессионалами уже через два месяца в Ванкувере.
Сотрудники исследовательского института AI OpenAI сражаются с командой ботов AI, которые они создали для Dota 2
Это смелое заявление. Борьба с орками и колдунами может казаться менее сложной, чем шахматы или го, игры, в которых компьютеры побеждали лучших игроков в 1997 и 2016 годах, соответственно. Но такие видеоигры, как Dota 2, намного сложнее для систем ИИ. Так говорит Дэйв Черчилль, профессор Мемориального университета в Сент-Джонсе, Канада. Именно поэтому DeepMind от Alphabet, которая создала программное обеспечение AlphaGo, победившее чемпиона го в 2016 году, теперь работает над StarCraft 2, аналогичной Dota 2 видеоигре.
Dota и StarCraft очень разные, но оба они сложны для AI, потому что действие происходит на гораздо более крупной доске, где видны не все движения вашего противника, как в шахматах или го. Сложные видеоигры также требуют от игроков принятия большего количества решений за меньший промежуток времени. В среднем игрок в шахматы имеет 35 возможных ходов, а игрок го – 250. OpenAI сообщает, что каждый из ботов в команде должен выбирать между 1000 возможных вариантов каждые восемь секунд, при этом соревнования по Dota 2 обычно продолжаются около 45 минут.
Черчилль утверждает:
Эти игры имеют гораздо больше сходных свойств с реальными сценариями мира, чем шахматы и го. Полученные алгоритмы для Dota 2 могут быть адаптированы, чтобы помочь роботам научиться выполнять сложные задачи, к примеру.
OpenAI Five научился Dota 2, играя против собственных клонов миллионы раз. Программное обеспечение построено на основе метода подкрепления, в котором программное обеспечение использует пробную версию и ошибку, чтобы узнать, какие действия максимизируют виртуальную награду. В случае OpenAI Five, вознаграждение представляет собой комбинацию игровой статистики, выбранной исследователями OpenAI, для обеспечения неуклонно совершенствующихся навыков.
Играя против себя OpenAI Five постепенно становятся умнее
Хотя обучение усилению было вдохновлено исследованиями о том, как учатся животные и люди, искусственная версия гораздо менее эффективна. В рамках обучения OpenAI Five в течение нескольких недель использовалась служба облачных вычислений Google, занимающая 128 000 обычных компьютерных процессоров и 256 графических процессоров, чипов, жизненно важных для больших экспериментов по компьютерному обучению. Обычные процессоры выполняют работу по запуску игры, генерируя данные обучения для алгоритмов, которые питаются от графических процессоров. Каждый день OpenAI Five играл эквивалент 180 лет в Dota 2.
Брокман настаивает:
Ни у кого нет 180 лет, чтобы узнать видеоигру. Действительно, некоторые исследователи ИИ говорят, что обучение подкреплению слишком малоэффективно, чтобы быть полезным вне игровых сценариев. Но проект OpenAI показывает, что если вы сможете повысить вычислительную мощность по сравнению с сегодняшними алгоритмами, они могут сделать гораздо больше, чем люди ожидают.
Боты OpenAI не играют, как люди. Они воспринимают игру, как поток чисел, детализирующих различные аспекты игры, а не декодируя отображаемое изображение. Они могут реагировать быстрее, чем люди.
Черчилль говорит, что любая победа в такой сложной задаче была бы значительной, но масштаб прорыва будет зависеть от методологических деталей. Брокман полагает, что судить об успехах ботов нужно исходя из того, признают ли прогеймеры их, как достойных противников.
Если боты победят, достижение неизбежно будет сравниваться с DeepMind и его работой над го. Брокман говорит, что стремится установить очередное крупное достижение в соревновании между компьютерами и людьми. «Мы изучаем компьютерное обучение и AI вместе, пытаясь понять, на что способны эти технологии», - говорит Брокман.
