Сотрудники лаборатории Алексей Скрынник, Эрмек Айтыгулов, Алексей Староверов, Кирилл Аксенов, Василий Давыдов и Александр Панов стали победителями соревнования MineRL, проводимого в рамках крупнейшей международной конференции по нейросетевым технологиям - Neural Information Processing Systems (NeurIPS 2019). Соревнование было организовано Microsoft и Carnegie Mellon University, в организационный и программные комитеты входили Katja Hofmann (Microsoft Research), Ruslan Salakhutdinov (Carnegie Mellon University), Sergey Levine (UC Berkeley), Chelsea Finn (Google Brain and UC Berkeley).
Основной целью соревнования было предложить новый эффективный метод обучения с подкреплением на основе демонстраций, который бы позволил агенту в игровой среде Minecraft решить ряд последовательных задач. Обучение с подкреплением, как один из перспективных методов искусственного интеллекта, демонстрирует поразительные успехи в игровых и робототехнических задачах (AlphaGo, AlphaStar, OpenAI Five и др.), но требует для этого чрезвычайно большого количества вычислительных ресурсов и времени обучения. В рамках соревнования сотрудниками нашей лаборатории был предложен новый подход с использованием механизма забывания некорректных экспертных демонстраций решения поставленной задачи.
Соревнование проводилось в два раунда на протяжении 5 месяцев. В первом раунде соревнования наша команда заняла третье место из более чем 40 команд со всего мира. Ряд усовершенствований позволил во втором раунде обойти 9 вышедших в финал команд и занять первое место с существенным отрывом. Предложенное решение продемонстрировало возможность создания эффективных методов обучения с подкреплением и служит важным шагом к созданию прикладных интеллектуальных систем управления когнитивными агентами и робототехническими системами.
Поздравляем участников команды с заслуженной победой и благодарим нашего индустриального партнера компанию AIMTech за предоставленную вычислительную и финансовую поддержку. Запись выступления на конференции NIPS можно посмотреть здесь (начиная с 1:05). Описание предложенного алгоритма в расширенной аннотации. Новости о соревновании в зарубежных СМИ: Nature News, BBC.