한국디지털융합산업진흥협회 회장
데이터 전문가 시대의 도래는 어떤 의미를 가지는 것일까?
어느 시대이든지 그 시대에 걸맞는 핵심되는 자원은 존재했었다. 예컨대 아메리카 대륙 발견은 은광을 둘러싼 세력 재편을 초래했고, 아시아의 비단과 향신료를 둘러싼 치열한 다툼에서부터 비교적 최근 석유 전쟁에 이르기까지 시대를 대표하는 핵심 자원은 있었다.
이러한 자원을 향유하는 집단은 부(富)를 누렸고, 실패한 집단은 쇠퇴의 길로 빠져 갔다.
향후에는 무엇이 핵심 자원이 될까?
무엇보다도 디지털 시대의 내면에는 ‘데이터’라는 자원이 있다. 이를 전문적으로 담당하는 데이터 사이언티스트의 등장은 당연한 도출로 보여진다.
‘정보화시대에서 데이터는 산업사회 시대의 연료와 같다’라는 말도 이제는 낯설지 않다. 인터넷의 열풍이 다가오기 전인 1995년 전후, 메인프레임 컴퓨터에서 PC LAN과 유닉스 서버로 대표되던 Client/Server 다운사이징 열풍은 인터넷의 폭풍과 함께 우리들의 기억 속으로 사라졌다.
금융권을 필두로 오라클 같은 RDB로 구축하는 클라이언트/서버 환경은 전통적인 계정계 업무 전산화의 표준으로 이미 정착됐다. 야후, 구글, 아마존 등 우리에게 익숙한 서비스 업체도 전통적인 처리 방법으로는 폭발적으로 증가하는 데이터를 처리할 수 없어서 새로운 접근을 하기 시작했다.
이러한 시도는 빅데이터를 대표하는 하둡(Hadoop) 등 분산처리 기술을 탄생시켰다. 가능성이 확인된 빅데이터 기술은 오픈소스로 공개되면서 과거처럼 대형 IT 벤더로부터 비싼 장비와 RDB 같은 시스템 소프트웨어를 구입하지 않고도 구축해 볼 수 있는 문이 열린 것이다.
또한 소프트웨어 중심으로 펼쳐지던 빅데이터 현상은 플래시 스토리지, 오라클 엑사데이터 같은 DB 어플라이언스(Database Appliance, 특정 용도나 업무를 위해 만든 최적화된 하드웨어이다) 등의 초고성능 하드웨어를 등장하는 견인하는 역할을 했다.
하지만 네트워크로 컴퓨터들이 연결되고 스토리지 비용이 지속적으로 하락하면서 과거와 같이 데이터를 정형화해 저장하지 않아도 될 것이라는 생각이 나왔다.
HDFS와 같은 분산 파일 시스템, 클라우드 스토리지, NoSQL 등 하둡 에코시스템은 그 구체적인 결과물로서 이런 변화를 그대로 수용한 흐름이다.
이제 데이터 전문가는 분석 플랫폼 구축, 데이터 수집·처리·분석·시각화·액션플랜 제시에 이르기까지 모든 것을 하던 시대에서 벗어나 데이터 사이언스 업무의 세분화가 빠르게 이뤄지고 있다고 볼 수 있다.
통계학 또는 수학을 배경으로 한 전문가와 프로그래밍이나 시스템 구축 등 IT 영역에서 접근했던 전문가, 경영학 측면에서 접근하는 전문가들이 모여서 팀플레이(Team Player)를 하는 시대로 나아가고 있다.
그렇다면 왜 데이터 사이언티스트가 이렇게 각광을 받는 것일까?
당연한 결론이지만, 빅데이터 분야가 아직 초기이므로 희소가치가 적용되기 때문이다. 현장에서 활동하는 한 데이터 전문가는 “고수익을 조건으로 일하는 데이터 전문가는 아직 팀(Team)을 꾸리지 않은 조직에서 1~2명이 여러 명이 해야 할 일을 통합적으로 할 수 있는 전문가로서, 데이터 분석 플랫폼 구축에서 시각화·컨설팅까지 통합적으로 접근할 자질을 갖춘 사람”이라고 한다.
이렇게 특화된 데이터 전문가들이 부족하기 때문에 가능한 얘기라는 것이다.
찬바람 부는 계절이면 따뜻한 실내 전시관에 눈길이 쏠리듯이 필요한 인력은 시대가 요구하는 환경으로 쏠리게 마련이다.
향후 7~15년 후면 마치 워드프로세스를 다루듯이 일반인도 데이터를 다루는 시대가 올 것이다. 지금부터라도 어떤 일을 성취하고 싶다면 먼저 희소가치가 있는 사람이 되어야 하지 않을까 싶다.
