UPDATED. 2024-03-28 16:55 (목)
14배 빠르고 100배 많은 데이터 분석
14배 빠르고 100배 많은 데이터 분석
  • 차종환 기자
  • 승인 2019.07.10 14:09
  • 댓글 0
이 기사를 공유합니다

대구경북과학기술원
빅데이터 산업 활용 기대
DGIST 정보통신융합전공 김민수 교수(좌측 위), 남윤민 박사과정생(우측 위), 한동형 박사과정생(우측 아래)
DGIST 정보통신융합전공 김민수 교수(좌측 위), 남윤민 박사과정생(우측 위), 한동형 박사과정생(우측 아래)

최대 14배 빠른 데이터 처리 기술이 개발됐다.

대구경북과학기술원(DGIST) 정보통신융합전공 김민수 교수팀이 기존 기술들보다 최대 14배나 더 빠르고, 100배 더 많은 데이터를 처리할 수 있는 ‘DistME(Distributed Matrix Engine) 기술’을 개발했다.

이 기술은 향후 빅데이터 처리가 필요한 기계학습 분야나 대규모 데이터를 분석하는 산업분야에 활용될 것으로 벌써 기대가 커지고 있다.

기계학습 및 과학기술 분야 등 사회 여러 분야에서 널리 사용되는 데이터 형태는 수들을 행과 열로 표현하는 ‘행렬’ 데이터이다.

하지만 최근 데이터 규모가 증가하며 기존 기술의 처리 능력도 한계에 다다랐다. 특히 데이터 처리에 필수적인 곱셈 연산의 경우, 기존의 방식들로는 빅데이터와 같은 큰 규모의 데이터는 처리가 힘들다. 이는 기존 곱셈 연산법들은 유동적인 분석·처리가 힘들고, 데이터 처리 시 많은 양의 네트워크 데이터 전송이 필요하기 때문이다.

이에 김 교수팀은 기존과 다른 ‘CuboidMM’이라 불리는 행렬 곱셈 연산법을 고안했는데 기존 곱셈 연산법들은 유동적인 적용이 불가능했지만, CuboidMM은 상황별 최적의 기법을 유연하게 적용해 연산을 수행한다.

김 교수팀이 개발한 DistME 기술은 CuboidMM을 GPU와 결합해 처리속도를 향상시킨 것으로, ScaLAPACK과 SystemML보다 각각 6.5배, 14배 더 빠르고 SystemML보다 100배 이상 더 큰 행렬 데이터 분석이 가능하다.

이에 따라 향후 온라인 쇼핑몰, SNS를 포함한 큰 규모의 데이터를 처리가 필요한 여러 분야에서 기계학습을 적용할 수 있는 새로운 가능성을 열 것으로 기대된다.

김 교수는 “최근 세계적으로 각광받는 기계학습 기술은 행렬형태의 빅데이터 분석 속도와 분석 처리 규모면에서 한계가 있었다”며 “이번에 개발한 정보처리 기술은 그 한계를 극복할 수 있는 기술로, 기계학습 뿐만 아니라 광범위한 과학기술 데이터 분석 응용에 유용하게 활용될 것으로 기대된다”고 말했다.

한편, 이번 연구 결과는 DGIST 정보통신융합전공 한동형 박사과정생이 제1저자로 참여했으며, 네덜란드 암스테르담에서 열린 데이터베이스 분야의 세계 최고 권위 학술대회인 ACM SIGMOD 2019에 지난 3일 발표됐다.


댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.

  • [인터넷 신문 등록 사항] 명칭 : ㈜한국정보통신신문사
  • 등록번호 : 서울 아04447
  • 등록일자 : 2017-04-06
  • 제호 : 정보통신신문
  • 대표이사·발행인 : 함정기
  • 편집인 : 이민규
  • 편집국장 : 박남수
  • 서울특별시 용산구 한강대로 308 (한국정보통신공사협회) 정보통신신문사
  • 발행일자 : 2024-03-28
  • 대표전화 : 02-597-8140
  • 팩스 : 02-597-8223
  • 청소년보호책임자 : 이민규
  • 사업자등록번호 : 214-86-71864
  • 통신판매업등록번호 : 제 2019-서울용산-0472호
  • 정보통신신문의 모든 콘텐츠(영상,기사, 사진)는 저작권법의 보호를 받은바, 무단 전재·복사·배포 등을 금합니다.
  • Copyright © 2011-2024 정보통신신문. All rights reserved. mail to webmaster@koit.co.kr
한국인터넷신문협회 인터넷신문위원회 abc협회 인증 ND소프트