모션센서 데이터로 촬영 의도 파악
한국과학기술원(KAIST) 산업및시스템공학과 이의진 교수 연구팀은 스마트폰 카메라로 문서를 촬영할 때 자동으로 발생하는 불규칙적인 회전 오류 현상의 원인을 밝히고 해결책을 개발했다고 밝혔다.
연구팀은 스마트폰의 방위 추적 알고리즘의 한계가 회전 오류의 원인임을 규명했다.
스마트폰을 통해 책자, 문서 등을 촬영해 업무에 활용하는 것은 자연스러운 일상이 됐지만 촬영한 문서가 자동으로 90° 회전하는 현상으로 인해 불편을 겪는 사람들이 많다.
특히 여러 장의 사진을 찍었을 때 각기 다른 방향으로 회전돼 일일이 스마트폰을 돌리거나 파일을 편집해야 하는 현상이 발생한다.
스마트폰으로 문서를 촬영할 때는 대부분 스마트폰과 책상 위 문서가 평행 상태인데, 이 때 스마트폰을 회전시키면 스마트폰의 방위 추적 알고리즘이 작동하지 않는다.
방위 추적 알고리즘은 기본적으로 사용자가 스마트폰을 세워서 사용한다는 가정 하에 한 방향으로 가해지는 중력가속도를 측정해 현재 방위를 추정하는 방식으로 설계됐기 때문이다.
연구팀은 실험을 통해 오류 발생 수치를 측정했다. 실험 결과, 문서를 가로로 촬영 시 방위 추적 오류가 93%의 높은 확률로 발생함을 확인했다.
이에 연구팀은 스마트폰의 모션센서 데이터를 활용해 문서 촬영 중에 방위를 정확하게 추적해 문제를 해결했다.
모션센서 데이터의 핵심 기술은 2가지로 구분할 수 있다. 일반적으로 스마트폰으로 문서를 촬영할 때는 스마트폰이 지면과 평행을 이루기 때문에 스마트폰에 장착된 중력 가속도 센서를 관측해 이러한 문서 촬영 의도를 쉽게 알 수 있다.
두 번째로 문서 촬영 중에 발생하는 스마트폰 회전은 회전 각속도를 측정하는 센서를 활용해 추적할 수 있다. 카메라 앱 실행 후에 문서 촬영을 위해 스마트폰을 회전시키기 때문에 이를 측정해 회전각이 일정 임계치를 넘으면 방위를 변경하는 것으로 파악할 수 있고, 이를 통해 방향을 알 수 있는 것이다.
또한 연구팀은 문서 촬영 시 촬영자 쪽으로 스마트폰이 미세하게 기울어지는 마이크로 틸트(micro-tilt) 현상을 발견했다.
이 현상으로 인해 스마트폰으로 가해지는 중력가속도가 스마트폰 측면으로 분산된다. 눈에는 잘 보이지 않을 정도로 작은 기울기지만 모션센서 데이터를 활용해 마이크로 틸트 행동 패턴의 기계학습 알고리즘을 훈련시킬 수 있다. 이를 통해 정확한 방위 추적이 가능하다.
연구팀의 실험 결과에 따르면 모션센서 데이터를 활용한 방위 추적 방식의 정확도는 93%로 매우 높아 안드로이드 및 iOS등 상용 스마트폰에도 적용 가능하다.
이 기술들은 기존 방위 추적 알고리즘의 사각지대였던 수평 촬영 상황에서 작동하기 때문에 기존 방위 추적 알고리즘과 겹치는 부분 없이 상호보완적으로 작동할 수 있다.
이 교수는 “모션센서 데이터를 통해 촬영의 의도를 파악하고 자동으로 오류를 바로잡는 기술은 사용자의 불편을 해결하고 문서 촬영에 특화된 다양한 응용서비스 개발의 기초가 될 것”이라고 말했다.
