UPDATED. 2022-01-20 13:33 (목)
AI-인간, 비디오 스토리 이해 능력 대결
AI-인간, 비디오 스토리 이해 능력 대결
  • 박광하 기자
  • 승인 2021.11.30 21:02
  • 댓글 0
이 기사를 공유합니다

장병탁 서울대 교수팀
비디오 튜링 테스트 대회 개최
전체 대회 참가자 공개. [사진=지능정보산업협회]
전체 대회 참가자 공개. [사진=지능정보산업협회]

[정보통신신문=박광하기자]

서울대학교 AI 연구원(원장 장병탁)은 비디오 튜링 테스트(Video Turing Test) 대회를 최근 서울대학교 두례문예관 공연장에서 개최(과학기술정보통신부 주최, 정보통신기획평가원·서울대비디오지능센터·지능정보산업협회 공동주관)했다고 밝혔다.

대회는 과기정통부의 인공지능(AI) 부문 혁신성장동력프로젝트인 '비디오 튜링 테스트를 통과할 수준의 비디오 스토리 이해 기반의 질의응답 기술 개발(이하 VTT)' 과제의 연구 결과물인 VIP(Video Intelligence Platform) 및 비디오지능 평가방법을 비디오 튜링 테스트 포맷으로 공개 시연한 것으로, 개발한 AI의 비디오 이해 능력을 여러 연령층의 사람과 비교해보는 블라인드 테스트다.

주어진 드라마 비디오 클립과 관련된 문제에 대해 독립된 부스 안에 있는 AI 로봇과 다양한 연령대(만6세, 만9세, 만12세, 만18세)의 사람 4명이 제출한 답변만 보고 판정단들은 어느 참가자가 AI일지 맞추는 형태로 진행됐다.

대회는 인지능력 평가를 위해 감정 인식, 지식기반 추론, 배경정보 기억, 대화맥락 이해, 행동의도 추론 등의 주제별로 구성됐으며 각 라운드에는 해당 주제를 평가하기 위한 3개의 문항이 제시됐다. 35인의 평가단은 부스 안의 참가자들이 제출한 답변을 보고 각 라운드가 끝나면 어느 참가자가 AI일지 선택해 투표를 진행했으며, 각 라운드별 최다득표자가 공개됐다. 각 라운드별로 득표율이 AI보다 높거나 같은 사람 참가자가 있는 경우, AI는 해당 주제에 대한 비디오 튜링 테스트를 통과한 것으로 했다.

판정단 투표 결과 AI 로봇이 5라운드 중 두 라운드(감정 인식, 행동의도 추론)에서 최다득표를 받아 비디오 튜링 테스트를 통과하지 못했으며, 세 라운드(지식기반 추론, 배경정보 기억, 대화맥락 이해)에서는 비디오 튜링 테스트를 통과했다.

연구과제 총괄 연구책임자인 장병탁 교수는 "본 대회는 국가가 AI에 대해 투자한 결과물을 함께 공유하고 시연하기 위해 기획됐다. 본 대회를 통해 비디오 이해 AI 수준을 인간의 인지능력 발달 단계와 비교해 객관화하고 문제의 난이도 및 인지요소에 기반해 현재 AI의 성능을 다각적으로 분석하고자 했다. AI의 현 주소와 나아가야 할 방향에 대해 고찰하는 기회가 됐기를 바란다"고 밝혔다. 또한 "참가자의 수, 출제문항의 수, 투표자의 수가 충분하지 않아 통계적으로 결과의 신뢰도가 떨어질 수 있으므로 본 대회의 결과를 과학적 분석 결과가 아닌 AI 수준에 대한 참고용으로만 생각해줄 것"을 당부했다.

이어진 패널토론에서 AI 전문가들은 비디오 튜링 테스트 대회를 체스, 퀴즈대회, 바둑 등 단일지능 AI에서 더 나아가 음성, 언어, 시각 등 복합지능을 가진 사람 수준의 AI 개발의 가능성을 보여준 본격적 비디오 이해 AI 개발 연구의 시작점으로서 의의가 있다고 평가했다. 또한 비디오를 이해하는 AI가 산업분야에 적용된다면 가정 내 교감, 노약자 케어, 메타버스 내의 시청각 인터렉티브(interactive) 교육, 인터렉티브 육아 분야에 크게 활용이 될 것으로 예상했다. 덧붙여 급성장중인 AI 기술이 사회 속에서 부작용을 최소화하며 활용되려면 AI 기술에 대한 지속적인 일반인들의 관심 및 평가와 피드백이 요구된다고 강조했다.

본 대회에서 사용된 비디오 지능 이해 플랫폼을 포함한 연구결과물들은 VTT과제의 결과물로서 공개소프트웨어로 개방형 연구 생태계 조성을 위해 공유될 예정이다.



댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.

  • [인터넷 신문 등록 사항] 명칭 : ㈜한국정보통신신문사
  • 등록번호 : 서울 아04447
  • 등록일자 : 2017-04-06
  • 제호 : 정보통신신문
  • 대표이사·발행·편집인 : 문창수
  • 서울특별시 용산구 한강대로 308 (한국정보통신공사협회) 정보통신신문사
  • 발행일자 : 2022-01-20
  • 대표전화 : 02-597-8140
  • 팩스 : 02-597-8223
  • 청소년보호책임자 : 이민규
  • 사업자등록번호 : 214-86-71864
  • 통신판매업등록번호 : 제 2019-서울용산-0472호
  • 정보통신신문의 모든 콘텐츠(영상,기사, 사진)는 저작권법의 보호를 받은바, 무단 전재·복사·배포 등을 금합니다.
  • Copyright © 2011-2022 정보통신신문. All rights reserved. mail to webmaster@koit.co.kr
인터넷신문위원회 abc협회 인증 ND소프트