UPDATED. 2024-03-29 15:12 (금)
환경 변화에 유기적 대응하는 AI 개발 실마리 찾았다
환경 변화에 유기적 대응하는 AI 개발 실마리 찾았다
  • 최아름 기자
  • 승인 2022.01.05 16:28
  • 댓글 0
이 기사를 공유합니다

KAIST
인간 전두엽 정보처리과정 모델링
인공지능 난제 해결…파급력 클듯
인간의 유동적 문제해결 방식을 모사하는 메타 강화학습 모델. [그림=KAIST]
인간의 유동적 문제해결 방식을 모사하는 메타 강화학습 모델. [그림=KAIST]

[정보통신신문=최아름기자]

KAIST는 이상완 바이오및뇌공학과 교수 연구팀이 뇌 기반 인공지능 기술을 이용해 인공지능의 난제 중 하나인 과적합-과소적합 상충 문제를 해결하는 원리를 풀어내는 데 성공했다고 5일 밝혔다.

이상완 KAIST 교수와 김동재 박사(현 뉴욕대학교 박사후 연구원)가 주도하고 정재승 KAIST 교수가 참여한 이번 연구는 `강화학습 중 편향-분산 상충 문제에 대한 전두엽의 해법'이라는 제목으로 국제 학술지 셀(Cell)의 오픈 액세스 저널인 `셀 리포트' 온라인판에 지난해 12월 게재됐다.

최근 인공지능 모델들은 다양한 실제 문제들에 대해 최적의 해법을 제시하지만, 상황 변화에 ​유동적으로 대응하는 부분에 있어서는 여전히 어려움을 겪고 있다. 기계학습에서는 이를 과소적합-과적합의 위험성 또는 편향-분산 상충 문제라​ 한다.

인공지능 모델을 현재 데이터나 환경에 과하게 학습시키거나 과도하게 복잡한 구조를 적용할 경우, 현재 주어진 문제에 대해서는 좋은 성능을 보인다. 그러나, 문제 환경이 조금만 달라지면 성능이 크게 떨어지는 문제점이 발생한다. 이를 과적합의 문제(overfitting)라 하며, 이때 사용된 인공지능 모델은 높은 복잡도로 인해 결과값이 너무 민감해져 결과적으로 출력값의 분산(variance)이 커진다는 문제점이 있다.

위와 같은 문제를 방지하기 위해, 반대로 현재 데이터나 환경에 대충 학습시키거나 과도하게 복잡한 구조를 적용할 경우, 유사한 상황이나 문제에 대해서는 안정적 성능을 보일 수 있다. 그러나, 주어진 문제에 대해서는 최대한의 성능을 끌어낼 수 없다는 단점이 있다. 이를 과소적합의 문제(underfitting)라 하며, 이때 사용된 인공지능 모델은 단순한 구조로 인해 출력값의 분산이 작으나 데이터를 충실히 학습하지 못해 편향성(bias)이 발생할 수 있다.

더 심각한 문제는 실제 세계에서는 상황이 변화하므로 최적의 타협점 역시 계속해서 달라진다는 데 있다.

이 문제는 오랫동안 연구됐지만, 실제 세계와 같이 상충 조건이 계속 변하는 상황에서의 명확한 해법은 아직 제안된 바가 없​다.​

반면 인간은 ​현재 주어진 ​문제​에 집중하면서도, ​당면 문제에 과하게 집착하지 않고 변하는 상황에​ 맞게 유동적으로 대처​한다. 연구팀은 ​뇌 데이터, 확률과정 추론 모형, 강화학습​ 알고리즘을​ 이용해 인간의 뇌가 이 문제를 ​어떻게 해결하는지에 대한 이론적 틀을 마련하고 이로부터 유동적인 메타 강화학습 모델을 도출해냈다.

놀랍게도 인간의 뇌는 ​중뇌 도파민 회로와 전두엽에서 처리​되는 ​`예측 오차'의 하한선이라는 단​ 한 가지 정보를 이용해 ​이 문제를 해결한다. ​우리의 전두엽, 특히 복외측전전두피질은 `이렇게 풀면 90점까지는 받을 수 있어'처럼 현재 내가 사용하고 있는 문제 해결 방식으로 주어진 문제를 얼마나 잘 풀 수 있을지에 대한 기대치의 한계를 추정하고, `이렇게 풀면 기껏해야 70점이니 다르게 풀어보자'처럼 변화하는 상황에 맞춰 최적인 문제 해결전략을 유동적으로 선택하는 과정을 통해 과소적합-과적합의 위험을 최소화하게 ​된다​.​

이상완 교수 연구팀은 2014년 해당 전두엽 영역이 환경의 불확실성을 바탕으로 강화학습전략을 유동적으로 조절하는 데 관여한다는 사실을 처음 발견했고, 2015년에는 인과관계 추론 과정에도 관여한다는 사실을 발견했다. 이어 2019년에는 해당 뇌 영역이 문제의 복잡도까지 고려할 수 있다는 사실을 발견했다.

이러한 일련의 연구 결과들은 자신의 학습 및 추론 능력을 스스로 평가하는 인간의 메타 인지 능력을 보여주는 증거로, 이 능력을 바탕으로 인공지능이 풀기 어려워하는 현실 세계의 다양한 상충적 상황들을 풀어낼 수 있다는 `전두엽 메타 학습 이론'을 정립한 바 있다. 이번 연구는 이 이론에 기반해 인공지능의 오랜 난제 중 하나인 과소적합-과적합 상충 문제를 실제로 풀어낸 최초의 사례로 평가된다.

이번 연구에 사용된 모델은 알파고 제로에 사용된 가치망 기반의 모델 프리 강화학습과 문제 환경의 특성을 예측하는 모델 기반 강화학습 알고리즘을 유동적으로 조합한다. 두 가지 문제 해결전략은 각자 다른 과소적합-과적합 또는 편향-분산 특징을 가지고 있으므로 많은 경우 상호 보완적이다. 모델은 상황에 맞게 학습하는 방법 자체를 연속적으로 학습한다는 점에서 `학습의 학습', 메타 학습이라 불린다.

연구에서는 인간의 유동적 문제해결 방식을 모사하는 메타 강화학습 모델. 알파고 제로에 사용된 모델 프리 강화학습과 문제환경의 구조‧상대방의 전략을 예측하는 모델 기반 강화학습을 유동적으로 조합한다. 두 문제 해결전략은 각자 다른 과소적합-과적합 또는 편향-분산 특징을 가지고 있으므로 많은 경우 상호 보완적이다.

연구를 통해 개발된 메타 강화학습 모델을 이용하면 간단한 게임을 통해 인간의 유동적 문제 해결 능력을 간접적으로 측정할 수 있다. 더 나아가 스마트 교육이나 중독과 관련된 인지 행동치료에 적용할 경우 상황 변화에 유동적으로 대처하는 인간의 문제 해결 능력 자체를 향상할 수 있을 것으로 기대된다. 차세대 인공지능, 스마트 교육, 인지 행동치료 등 다양한 분야에 파급력이 큰 원천 기술로 최근 국내 및 해외 특허 출원이 완료된 상태다.



댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.

  • [인터넷 신문 등록 사항] 명칭 : ㈜한국정보통신신문사
  • 등록번호 : 서울 아04447
  • 등록일자 : 2017-04-06
  • 제호 : 정보통신신문
  • 대표이사·발행인 : 함정기
  • 편집인 : 이민규
  • 편집국장 : 박남수
  • 서울특별시 용산구 한강대로 308 (한국정보통신공사협회) 정보통신신문사
  • 발행일자 : 2024-03-29
  • 대표전화 : 02-597-8140
  • 팩스 : 02-597-8223
  • 청소년보호책임자 : 이민규
  • 사업자등록번호 : 214-86-71864
  • 통신판매업등록번호 : 제 2019-서울용산-0472호
  • 정보통신신문의 모든 콘텐츠(영상,기사, 사진)는 저작권법의 보호를 받은바, 무단 전재·복사·배포 등을 금합니다.
  • Copyright © 2011-2024 정보통신신문. All rights reserved. mail to webmaster@koit.co.kr
한국인터넷신문협회 인터넷신문위원회 abc협회 인증 ND소프트