UPDATED. 2024-03-29 13:38 (금)
매스웍스, 라이다·레이더 등 센서 데이터 활용 활기
매스웍스, 라이다·레이더 등 센서 데이터 활용 활기
  • 박남수 기자
  • 승인 2021.07.28 16:13
  • 댓글 0
이 기사를 공유합니다

'매트랩 딥러닝 데이 2021' 개최
김종남 매스웍스코리아  부장이 라이다 및 레이다 센서 퓨전을 설명하고 있다. [사진=매스웍스코리아]
김종남 매스웍스코리아 부장이 라이다 및 레이다 센서 퓨전을 설명하고 있다. [사진=매스웍스코리아]

[정보통신신문=박남수기자]

김종남 매스웍스코리아 부장은 최근 매스웍스가 진행한 '매트랩 딥러닝 데이 2021'에서 라이다(Lidar, Light Detection and Ranging, 빛을 통해 물체 감지)와 레이다(Radar, Radio Detection and Ranging, 전파 송수신을 통해 물체의 속도·위치 감지)의 데이터를 활용한 모델 개발 방법을 소개했다.

기본적인 워크플로우는 ‘데이터 전처리 및 라벨링, ‘신경망 아키텍처 구축 및 딥러닝 모델 훈련’, ‘모델 배포’ 과정을 거친다.

데이터 전처리 및 라벨링 단계에서, 매트랩은 라이다 데이터에 대한 3D 좌표 생성, 3D 포인트 클라우드 데이터에 대한 자동화된 라벨링을 지원한다.

김 부장은 인공지능(AI) 모델링 단계에서, 포인트 클라우드 환경에서의 물체 탐지 및 시맨틱 세그멘테이션 모델 개발의 예제를 선보였다.

매스웍스는 포인트 클라우드 환경의 라이다 영상에서, 원하는 객체를 자동 탐지 및 박스로 표시한다.

김 부장은 라이다 포인트 클라우드 데이터 로드, 전처리(증강), 네트워크 정의(필러 및 포인트 개수 생성), 모델 훈련(포인트 클라우드 데이터를 포인트 필러 네트워크에 입력으로 넣고, 아웃풋 박스와 실제 그라운드 트루스의 박스의 차이 계산 및 오차 감소) 및 검증 과정을 매트랩 환경에서 어떻게 구현할 수 있는지 설명했다.

세그멘테이션 모델 개발은 3차원 포인트 클라우드 데이터의 각각의 점에 해당하는 물체를 구분하는 모델이다. 물체 탐지 모델과 동일한 워크플로우로 개발된다. 데이터 로드, 전처리(데이터 관리, 픽셀 라벨링, 증강), 네트워크 설계, 학습, 검증(정확도) 과정을 거친다.

배포 단계에서, 매트랩 환경에서 개발한 모델은 타깃 디바이스의 목적에 따라 쿠다(CUDA) 코드 생성이 가능하다. 특히 대량의 라이다 데이터 관련 코드 배포 시, 텐서RT(TensorRT) 및 cuDNN 라이브러리를 활용한 코드 생성이 가능하다.

베오니어(Veoneer)는 매트랩 환경에서 3D 라이다 포인트 클라우드 데이터에 대한 라벨링 과정을 자동화하고 추적 기법을 개발함으로써, 데이터 준비 및 라벨링 시간을 획기적으로 감소시켰다.

데이터 전처리 및 라벨링 단계에서, 라이다 데이터의 특정 구간(ROI, Region of Interest), 신호 분류 등의 기준으로 라벨링할 수 있다.

특히 알고리즘을 통한 자동 라벨링을 지원한다. 또한, 레이다 파형(Waveform) 생성, 레이다 통과 채널·목표물에 대한 설계 및 시뮬레이션을 지원한다. 복잡한 레이다 신호에 대한 2D 영상(Range, Speed) 등의 영상을 얻어 영상처리를 위한 CNN 모델을 개발할 수 있도록 지원할 수 있다.

웨이블릿 트랜스폼(Wavelet Transform) 적용을 통한 저주파수 및 고주파수 분리도 가능하다.

뿐만 아니라, 웨이블릿 스캐터링(Wavelet Scattering)을 통해 입력된 영상에 대한 자동화된 특징 추출을 통해 훈련 데이터의 양과 모델 복잡성을 줄이도록 지원한다.

AI 모델링 단계에서, 김부장은 보행자, 자전거, 자동차를 구분하는 딥러닝 모델 개발 예제를 소개했다. 시뮬레이션을 통한 레이다 신호 생성, 신호의 2D 이미지 변환, CNN 기반 모델 학습, 입력 데이터의 물체 분류 과정을 상세하게 선보였다.

자전거, 보행자, 자동차에 대한 레이다 신호는 2D 영상 화면에서 확연하게 구분됐으며, 2D 영상 기반의 CNN 모델 훈련을 통해 87%의 정확도를 지닌 모델을 개발했다.

이렇게 개발한 모델을 실제 레이다 데이터에 적용했을 때 나오는 결과값을 바탕으로 모델의 유효성(77%의 정확도)을 검증했다.

배포 단계에서, 타깃 하드웨어(CPU, GPU, FPGA)에 따라 C, C++, 쿠다(CUDA), HDL 코드 생성을 통한 배포를 지원한다.

노르웨이 국방 연구소는 매트랩을 도입하여 바닷속 적 잠수함 분류를 수행하는 딥러닝 모델을 개발했으며, 신호 처리 및 분석, 데이터 합성, 신경망 훈련 과정을 진행했다.

매스웍스 앱은 도로, 자동차 등 자율주행 환경에 대한 설계를 지원한다. 뿐만 아니라, 자동차에 센서를 부착하고 시뮬레이션을 통해 데이터를 생성하도록 지원한다. 김부장은 자동차에 비전 및 레이다 센서를 장착시키고, 시뮬레이션 데이터를 획득하면서 보행자를 감지하는 화면을 보여줬다.

또한, 레이다 및 라이다를 활용한 자율주행 센서 퓨전의 과정과 결과를 앱 화면을 통해 보여주면서 설명했다. ‘주행 시나리오 설계(자동차 추가 및 센서 장착)’, ‘라이다 탐지 및 추적’, ‘레이다 추적’, ‘라이다 및 레이다 센서 추적의 퓨전’ 과정을 자세히 소개했다.

라이다는 객체 인접 시 클러스터링 오류가 발생해 탐지 및 추적에 문제가 생기며, 레이다는 클러스터링이 아닌 점을 통한 추적으로 객체 모양을 정교하게 추적할 수 있지만, 센서의 한계로 인해 탐지 성능이 다소 낮다. 이러한 두 센서의 퓨전 시, 라이다 센서 탐지 및 추적 결과는 레이다를 통해 보완되어 물체를 보다 정확하게 탐지 및 추적할 수 있다.


댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.

  • [인터넷 신문 등록 사항] 명칭 : ㈜한국정보통신신문사
  • 등록번호 : 서울 아04447
  • 등록일자 : 2017-04-06
  • 제호 : 정보통신신문
  • 대표이사·발행인 : 함정기
  • 편집인 : 이민규
  • 편집국장 : 박남수
  • 서울특별시 용산구 한강대로 308 (한국정보통신공사협회) 정보통신신문사
  • 발행일자 : 2024-03-29
  • 대표전화 : 02-597-8140
  • 팩스 : 02-597-8223
  • 청소년보호책임자 : 이민규
  • 사업자등록번호 : 214-86-71864
  • 통신판매업등록번호 : 제 2019-서울용산-0472호
  • 정보통신신문의 모든 콘텐츠(영상,기사, 사진)는 저작권법의 보호를 받은바, 무단 전재·복사·배포 등을 금합니다.
  • Copyright © 2011-2024 정보통신신문. All rights reserved. mail to webmaster@koit.co.kr
한국인터넷신문협회 인터넷신문위원회 abc협회 인증 ND소프트