Исследователи DeepMind представили первого робота с искусственным интеллектом, способного соревноваться с игроками-любителями в настольный теннис. Система сочетает промышленную роботизированную руку ABB IRB 1100 с собственным программным обеспечением DeepMind на основе ИИ. Хотя профессиональные игроки все еще превосходят его, система демонстрирует способность машин принимать мгновенные решения и адаптироваться в сложных физических задачах.
Настольный теннис играет ключевую роль в тестировании роботизированных рук уже десятилетие из-за требований к скорости, рефлексам и стратегии.
Исследователи написали в своей предварительной статье на arXiv: "Это первый роботизированный агент, способный соревноваться на человеческом уровне в физическом виде спорта, что представляет собой еще один важный этап в обучении и управлении роботами".
Ссылка на предварительную статью
Безымянный робот-агент для настольного тенниса (предлагаемое название "AlphaPong") был разработан исследовательской группой, включающей Дэвида Б. Д'Амброзио, Саминду Абейрувана и Лауру Грессер. Он хорошо показал себя против игроков разного уровня мастерства. В исследовании с участием 29 человек робот с ИИ достиг 45% побед, продемонстрировав уверенные навыки любительского уровня.
Примечательно, что он выиграл 100% матчей против начинающих и 55% против игроков среднего уровня. Однако он проиграл все матчи против продвинутых игроков.
Физическая конфигурация робота включает IRB 1100, 6-осевую роботизированную руку, установленную на двух линейных направляющих для движения в 2D-плоскости. Высокоскоростные камеры отслеживают положение мяча, а система захвата движения наблюдает за движениями ракетки человека-противника.
Исследователи DeepMind разработали двухуровневый подход для управления роботизированной рукой, позволяющий ей выполнять определенные тактические приемы настольного тенниса, одновременно корректируя свою стратегию в реальном времени в зависимости от стиля игры каждого противника. Эта адаптивность позволяет ей соревноваться с любым игроком любительского уровня без специальной подготовки к разным противникам.
Архитектура системы сочетает контроллеры навыков низкого уровня (обученные выполнять определенные техники настольного тенниса) с стратегическим принятием решений высокого уровня (более сложная система ИИ, анализирующая состояние игры, адаптирующаяся к стилям противников и выбирающая соответствующие стратегии навыков низкого уровня для каждого входящего мяча).
Ключевым нововведением является метод обучения модели ИИ, использующий обучение с подкреплением в симулированных физических средах с включением реальных примеров в качестве обучающих данных. Эта техника позволила роботу учиться на примерно 17 500 реальных траекториях мяча для настольного тенниса.
Исследователи использовали итеративный процесс для улучшения навыков робота, начиная с небольшого набора данных матчей человек-робот, а затем заставляя ИИ соревноваться с реальными противниками. Каждый матч генерировал новые данные о траекториях мяча и стратегиях человека, которые затем использовались в симуляциях для дальнейшего обучения.
Процесс повторялся в течение семи циклов, позволяя роботу постоянно адаптироваться к все более квалифицированным противникам и разнообразным стилям игры. К последнему раунду ИИ обучился на более чем 14 000 розыгрышей и 3 000 подач, накопив обширные знания о настольном теннисе и преодолев разрыв между симуляцией и реальностью.
Интересно, что Nvidia экспериментирует с аналогичными системами симулированной физики. Их система Eureka позволяет моделям ИИ быстро учиться управлять роботизированными руками в симулированных пространствах, а не в реальном мире.
Помимо технических достижений, исследование Google изучило опыт игроков-людей, соревнующихся с противниками на основе ИИ. Удивительно, но даже проигрывая роботу-агенту по настольному теннису, игроки-люди сообщали, что получают удовольствие от игры.
Исследователи отметили: "Игроки-люди сообщили, что игра против робота была 'веселой и увлекательной' во всех группах навыков и при всех показателях побед". Эта положительная реакция предполагает потенциальное применение ИИ в спортивных тренировках и развлечениях.
Однако система имеет ограничения, плохо справляясь с чрезвычайно быстрыми и высокими мячами, испытывая трудности с обнаружением сильного вращения мяча и демонстрируя слабость в игре бэкхендом.
Исследовательская группа Google DeepMind работает над устранением этих недостатков. Они предлагают исследовать передовые алгоритмы управления и оптимизацию оборудования, возможно, включая прогнозные модели траектории мяча и более быстрые протоколы связи между датчиками и приводами робота.
Исследователи подчеркивают, что по мере дальнейшего уточнения результатов они считают, что система потенциально может соревноваться с игроками в настольный теннис высокого уровня в будущем. DeepMind имеет обширный опыт разработки моделей ИИ, побеждающих человеческих игроков, включая AlphaZero и AlphaGo в игре го.
Исследователи также заявляют, что влияние этого роботизированного "вундеркинда" настольного тенниса выходит за рамки настольного тенниса. Технологии, разработанные для этого проекта, могут быть применены к различным роботизированным задачам, требующим быстрой реакции и адаптации к непредсказуемому поведению человека, включая производство и здравоохранение.