고대 이성환 교수팀
고려대학교(총장 정진택) 인공지능학과 이성환 교수와 지도 학생이었던 원동옥 박사의 연구 논문이 세계적인 과학저널 ‘사이언스 로보틱스(Science Robotics)’에 현지시간 9월 23일자(한국시간 9월 24일)로 게재됐다.
* 논문제목 : An adaptive deep reinforcement learning framework enables curling robots with human-like performance in real world conditions
게재된 논문 「실세계 환경에서 컬링 로봇에게 인간 수준의 성능을 가능케하는 적응형 심층 강화 학습 기술」은 제안한 적응형 심층 강화 학습(Deep Reinforcement Learning)을 바탕으로 재학습 없이 새로운 빙판 환경에도 빠르게 적응할 수 있도록 컬링 로봇 훈련 방법을 제안했다.
그 결과, 컬링 로봇이 불안정한 빙판 환경에 안정적으로 적응하여 숙련된 선수 수준의 컬링 경기 수행을 가능하게 했다.
동계올림픽 정식 종목이기도 한 컬링은 경기장 온도, 습도, 정빙 정도 등에 따라 빙판이 불규칙하게 변화하는 특징이 있어 컬링 스톤을 원하는 위치에 안정적으로 도달하기 위해서는 숙련된 선수들은 수년에 걸친 빙판의 상태를 파악하는 훈련을 진행한다. 반면 이번 논문에 발표한 컬링 인공지능은 3~4일 만의 학습 및 훈련을 통해, 최적의 투구 전략을 수립하고 투구 로봇의 투구 힘, 투구 방향, 스톤 컬 회전을 제어해 숙련된 컬링 선수의 투구 수준에 근접하는 결과를 얻었다.
논문의 교신 저자인 이성환 교수는 "세계 최초로 선보인 인공지능 컬링 로봇 컬리(Curly)는 다양한 빙질 환경에 적응하는 인공지능은 물론, 스톤을 원하는 곳으로 보내기 위한 로봇공학 등 최첨단 융합 기술의 결정체"라며 "이번 논문은 숙련된 선수 수준으로 실제 컬링 경기를 수행할 수 있는 경기력을 갖추기 위한 로봇 인공지능의 핵심 기술"이라고 말했다.
이 교수는 “기존의 기계학습 기반 학습 방법은 단순히 안정적인 가상환경 또는 실험실 환경 수준의 문제를 풀고 검증하는 수준에 그쳤다면, 이번 연구는 기존에 시도하지 못했던 불확실성이 높은 실제 아이스 환경 문제에 도전하여 숙련된 인간 수준의 로봇 인공지능 핵심 원천 기술을 개발했다”며 “기계학습 기반 인공지능 기술이 숙련된 인간 수준으로 실제 환경 문제를 해결하고 대응할 수 있다는 점에서 괄목할 만한 성과”라고 연구 의의를 밝혔다.
이번 연구는 과학기술정보통신부/정보통신기획평가원 ‘인공지능대학원지원사업’과 ‘ICT융합산업원천기술개발사업’의 지원을 받아 수행됐다.
[ 논문 소개 ]
* 제목: An adaptive deep reinforcement learning framework enables curling robots with human-like performance in real world conditions
최근 심층 강화 학습은 성공적으로 적용되어 실제 환경으로 확장되고 있지만, 가상 환경에서 학습한 정책은 실제 환경에서는 잘못된 행동을 초래할 수 있으며, 특히, 실제 환경에서 발생하는 불확실성은 심층 강화 학습 시스템을 방해할 수도 있다.
본 연구는 적응형 심층 강화 학습을 바탕으로 재학습 없이 새로운 빙판 환경에도 빠르게 적응할 수 있도록 로봇 훈련 방법을 제안하였고 (그림 1), 컬링이라는 도전적인 환경에 적용하였다. 일반적으로 사람은 복잡한 전략적 요소를 비롯하여 투구 자체를 숙달하기 위해서 수년간의 연습이 필요하지만, 제안하는 프레임워크는 인공지능 컬링 로봇에 적용하기 위해 3~4일 만의 학습을 통해 훈련을 성공적으로 마쳤다 (그림 2).
인공지능 컬링 로봇 시스템은 크게 투구/스킵 로봇과 컬링 인공지능으로 구성되어 있으며 (그림 3), 스킵 로봇의 카메라를 통해 경기 상황을 인식하고, 컬링 인공지능은 이를 토대로 최적의 투구 전략을 수립하며, 투구에 필요한 힘, 투구 방향, 스톤 컬 회전을 제어해 스톤을 목표 지점으로 투구할 수 있도록 경기장 반대편에 있는 투구 로봇을 제어한다.
이렇게 학습된 인공지능 컬링 로봇은 실제 컬링 아이스 시트에서 2018년 평창 동계올림픽대회 시즌에 인공지능 컬링 로봇 경기 공개 시연회를 성공적으로 치렀고, 또한, 2019년 여자 컬링 국가대표팀 및 휠체어 국가대표 상비군 팀 등과의 실제 컬링 경기에서 수준급의 컬링 수행 능력을 보였다.
이성환 교수 연구팀은 본 연구에서 불확실성이 높은 환경에서도 실시간 적응이 가능한 적응형 심층 강화 학습 프레임워크 제안하였다. 그 결과, 기존의 연구들이 해결하지 못했던 재학습 없이 실시간으로 실제 환경에 적응할 수 있는 인공지능 핵심 원천 기술을 개발하였다.
이 연구는 불확실성이 높고 정보가 제한된 실제 빙판 환경에서 실제 발생하는 오차 정보들을 학습하여 적응을 가능하게 했다는 점에서 중요한 의미를 가지며, 향후 컬링 경기 수행 뿐만 아니라, 드론 또는 항해 자동 제어 등 불확실성이 높은 환경에서 빠르게 적응하며 안정적인 제어 성능이 필요한 다양한 실제 환경에 큰 도움을 줄 것으로 예상된다.
[ 그림 설명 ]
그림1. 제안하는 컬링 로봇 인공지능의 적응형 심층 강화 학습 프레임워크
그림2. 실제 컬링장에서의 투구 실험 및 결과
그림3. 투구/스킵 로봇과 컬링 인공지능으로 구성된 인공지능 컬링 로봇 시스템(Curly)
연구진 소개
원동옥 교수(제1저자)
1. 인적사항
· 소속: 한림대학교 인공지능융합학부
· 전화: 033-248-3582
· E-mail: dowon@hallym.ac.kr
2. 학력사항
· 2019년 고려대학교 뇌공학과 (박사)
· 2012년 한국산업기술대학교 컴퓨터공학과 (학사)
3. 경력사항
· 2020.9-현재 한림대학교 인공지능융합학부 (조교수)
· 2019-2020년 고려대학교 뇌공학과 (연구교수)
4. 전문분야 정보
· 인공지능, 기계학습, 뇌-컴퓨터 인터페이스 등
Klaus-Robert Müller 교수(공동저자)
1. 인적사항
· 소속 : Machine Learning Department, Technical University of Berlin
· 전화 : +49-30-314-78620
· E-mail : klaus-robert.mueller@tu-berlin.de
2. 학력사항
· 1992년 University of Karlsruhe 컴퓨터과학과 (박사)
· 1987년 University of Karlsruhe 물리학과 (학사)
3. 경력사항
· 2018-현재 Berlin Center for Machine Learning (센터장)
· 2014년 Science Prize of Berlin
· 2012년 German National Academy of Sciences Leopoldina (정회원)
· 2012-현재 고려대학교 뇌공학과 (겸임교수)
· 2006-현재 Machine Learning Department, Technical University of Berlin (정교수)
4. 전문분야 정보
· 기계학습, 신경망, 뇌-컴퓨터 인터페이스 등
이성환 교수(교신저자)
1. 인적사항
· 소속 : 고려대학교 인공지능학과
· 전화 : 02-3290-3197
· E-mail : sw.lee@korea.ac.kr
2. 학력사항
· 1989년 KAIST 전산학과 (박사)
· 1986년 KAIST 전산학과 (석사)
· 1984년 서울대학교 계산통계학과 (학사)
3. 경력사항
· 2020-현재 고려대학교 인공지능연구소 (연구소장)
· 2019-현재 고려대학교 인공지능학과 (정교수)
· 2017-2019년 사단법인 한국인공지능학회 (회장)
· 2016-2020년 고려대학교 석탑연구상 5년 연속 수상
· 2015-2017년 사단법인 한국정보과학회 인공지능소사이어티 (회장)
· 2015-2016년 Max-Planck Institute for Biological Cybernetics (객원교수)
· 2013-2014년 사단법인 한국인지과학회 (회장)
· 2013-2017년 BK21플러스 뇌공학글로벌인재양성사업단 (사업단장)
· 2010-현재 IEEE (Fellow)
· 2009-현재 한국과학기술한림원 (정회원)
· 2008-현재 고려대학교 뇌공학과 (정교수)
· 2008-2013년 WCU 뇌공학융합연구사업단 (사업단장)
· 2001-2002년 Department of Brain and Cognitive Sciences, MIT (객원교수)
· 2007-2004년 과학기술부 창의적연구진흥사업연구단 (연구단장)
· 1995-2008년 고려대학교 컴퓨터학과 (부/정교수)
· 1989-1995년 충북대학교 컴퓨터과학과 (조교수)
4. 전문분야 정보
· 패턴인식, 기계 학습, 뇌-컴퓨터 인터페이스, 인공지능 등
