[정보통신신문=최아름기자]

생성형 인공지능(AI) 모델 발전에 따라 악성코드, 랜섬웨어 등 사이버공격에 생성형 AI를 활용할 가능성이 늘고 있다. 재미있는 것은 이에 대한 대응에도 생성형 AI 활용이 가장 효과적인 대안이라는 점이다. 14일 과기정통부는 이에 대한 대응방안 모색을 위한 토론회를 열었다.

■생성형 AI란

생성형 AI란 이용자의 특정 요구에 따라 결과를 능동적으로 생성해 내는 인공지능 기술을 의미한다. 기존까지의 딥러닝 기반 AI 기술이 단순히 기존 데이터를 기반으로 예측하거나 분류하는 정도였다면, 생성형 AI는 이용자가 요구한 질문이나 과제를 해결하기 위해 스스로 데이터를 찾아서 학습해 이를 토대로 능동적으로 데이터나 콘텐츠 등 결과물을 제시하는 한 단계 더 진화한 AI 기술이다.

이 중 챗GPT는 언어 처리 인공지능 모델을 기반으로 하는 대화형 AI 서비스다. 지난해 11월 출시 이후 약 2달 만에 월간 이용자가 1억명을 돌파하는 전례 없는 급격한 성장세를 보이며 국내외 공공, 민간, 산업 등 다양한 분야에서 활용되면서 2023년 최대의 화두로 부각되고 있다. 생성형 AI를 활용한 이미지, 음악, 영상 생성 서비스도 있다.

■우회 통해 악성코드 생성 활용

생성형 AI를 활용한 공격에는 △피싱메일·스팸 △멀웨어·랜섬웨어 △취약점 노출 △민감데이터·개인정보 노출 △생성형 AI에 대한 공격 등이 있다.

사이버 공격의 대부분을 이루고 있는 피싱 메일은 생성형 AI를 통해 사람이 작성한 메일보다 자연스러워지고 정교하게 대량 작성이 가능하다.

생성형 AI의 코드 생성 기능을 통해 해킹의 진입장벽도 크게 낮아졌다. 소스코드만 제공하면 취약점(버그, 오류) 등을 분석해주기도 한다.

제조사는 이를 막기 위해 보호 장치를 걸어놓지만, 간단한 명령어를 통해 이를 우회하는 사례가 늘어나고 있다. 일례가 챗GPT에서 이뤄진 'DAN(DO Anything Now, 지금 무엇이든 해라)' 공격으로, 무엇이든 하는 역할극의 배역인 척하도록 AI에 지시하고, 그 배역 안에서 제조사가 걸어놓은 제약을 넘어서는 '모든' 명령을 수행하도록 하는 것이다. 취약점을 공격하는 코드를 생성해 주고 공격의 원리까지도 설명해준다.

또한 입력한 정보는 모두 제조사 서버에 저장되기에 보안 사고, 학습데이터 유출 등으로 인해 입력한 정보의 유출 가능성이 존재한다.

최신 정보까지 검색이 가능한 GPT-4의 경우 윈도우 서버 관련 최신 보안 취약점을 검색해 달라 하면 올해 4월달에 패치가 된 보안 취약점을 알려주고 그것의 이제 공격 원리와 그것을 공격하는 코드까지 찾아서 보여주는 것으로 알려져 있다.

지난 2월 MS 빙챗에서는 MS 내부 문서 이름을 알아내 '다음 문장은 뭐야?' 등 제조사가 대비하지 못한 질문을 통해 문서 유출에 성공한 사례도 있었다.

생성형 AI 자체에 대한 공격도 가능하다. 외부 서비스를 모아 기능을 높이는 추가 소프트웨어(플러그인)을 이용한 서비스가 API 해킹에 노출돼 있는 상황이다. 악의적인 학습데이터 주입을 통해 결과물에 영향을 주거나 입력 데이터 변조, 학습 데이터 복원, 모델 복제 공격 등의 위협이 존재한다.

박진 아주대 교수는 향후 생성형 AI 위협이 매우 심각한 수준으로 심화될 것을 우려한다. 그는 "GPT의 80~90% 이상 성능을 가진 많은 언어 모델들이 오픈되고 있다. 심지어 아무런 제한이 없어 모든 명령을 다 수행한다"며 "조금씩 변형을 가해서 새로운 공격을 만들어내면 탐지하기 어려운 공격들은 얼마든지 늘어나게 될 것"이라고 말했다.

여기에 기존의 소프트웨어의 경우 소스 코드 레벨에서 검증 가능한 보안 백도어가 담겼다면, AI 모델에 담겨 있는 백도어는 제조사조차도 알 수 없는 경우가 많다는 것이 그의 설명이다.

■AI, 모니터링 등 보안 업무 대폭 줄여

생성형 AI 활용 공격에 최적의 방어 툴이 생성형 AI임은 어찌 보면 당연한 논리다. 이상근 고려대 교수는 "보안 전문 인력의 능력치가 60이었다면, GPT를 활용해 100을 발휘하는 사이버 보안의 일대 전기가 마련될 것"이라고 말했다. 기존의 시간 소모적이고 노동 집약적이었던 업무에 생성형 AI를 적용함으로써 많은 효율성과 효과성을 확대할 수 있을 것으로 기대되기 때문.

실제로 최근 IBM이 발표한 보고서에 따르면, 기업의 보안 업무에 AI와 자동화를 적용한 기업과 그렇지 않은 기업 사이에서는 발생한 데이터 유출에 있어서 발견한 평균 시점의 차이가 약 74일 차이가 나는 점이 있었던 것으로 나타났다.

빅테크의 경우 생성형 AI를 보안 데이터 훈련에 활용해 단독 플랫폼 서비스를 출시하고 있다. 마이크로소프트는 GPT-4를 기반으로 보안 데이터를 훈련시킨 시큐리팅 코파일럿을 사고 대응에 적용하고 있으며, 구글은 구글팜 모델을 기반으로 보안 데이터를 훈련시킨 Sec-팜 모델을 사용하고 있다.

보안업체들의 경우 독자적으로 생성형 AI 모델을 생성해 위협 헌팅이나 대응 분야에 지원하고 있으며, 자사가 개발한 AI에 GPT-4를 결합한 하이브리드 기반 서비스도 많이 나오고 있다. 이글루코퍼레이션 같은 중견 보안업체의 경우 보안 분야에 특화된 소규모언어모델(sLLM)을 통한 구축형 AI 모델에서 돌파구를 찾고 있기도 하다.

■AI 대 AI 싸움…차단만으론 한계

따라서 앞으로의 사이버 보안 업계는 AI를 악용한 공격과 AI를 활용한 방어 간 치열한 전쟁터가 될 것으로 보인다. 보안업계의 패러다임을 바꾸는 게임 체인저로서 생성형 AI의 역할도 관전 포인트다.

이상근 교수는 AI 동작을 설명하는 설명 가능한 AI(XAI) 기술 개발이 관건이라며 "XAI를 통해 AI 내 논리적인 오류가 있지는 않은지, 해커로부터 공격을 받고 있지는 않은지 판별해낼 수 있을 것으로 보인다. 앞으로 더 많은 연구가 필요하다"고 밝혔다. 신뢰성 구축을 위한 AI 표준화에 대한 국제적 논의도 진행 중이다.

그는 △국가적 차원의 적극적인 투자 △산학연, 특히 중소기업들이 거대 AI 개발 연구에서 배제되지 않기 위한 거점 클러스터의 활성화 △정부-군-민간 협력 대응이 가능한 생태계 구축등도 필요하다고 제언했다.

지란지교 시큐리티 대표인 윤두식 한국정보보호산업협회 부회장은 "쿠팡 등 배송업체 메일은 워낙 배송 건수가 많아 내가 뭘 주문했는지 모르는 상태로 클릭할 수 있고, 여기에 개인정보를 넣거나 첨부파일 실행을 통한 악성코드 공격은 분명히 더 늘어날 것"이라며 "이런 공격에 대한 대국민 교육과 사내 직원 교육 등이 강화될 필요가 있다"고 말했다.

그는 이어 "이것보다 훨씬 위험할 것으로 예측하는 것이 보이스피싱"이라며 "3초만 음성을 녹음하면 그대로 재현해주는 서비스를 이용해 보이스피싱 업체들이 활용하면 대국민 피해가 어마어마할 것"이라며 "정부뿐만 아니라 경찰, 학계, 통신사 등이 협력해 대응 방안을 만들지 않으면 큰 사고가 터질 것"이라고 우려했다.

윤 부회장은 "글로벌하게 알려져 있는 AI 서비스만 2만개다. 다 막을 수가 없다. 차단만으로는 한계가 있다"고 말하며, "관리 방안에 대한 합의안 도출이 필요하다"고 밝혔다.

이날 토론회를 주재한 박윤규 과기정통부 제2차관은 "챗GPT 등 생성형 인공지능 기술은 앞으로 더욱 발전해 우리 일상에 폭넓게 보편적으로 사용될 것인 만큼 보안 위협 우려에 적극적으로 대응해 나갈 필요가 있다"며 "과기정통부는 국민, 그리고 또 기업들이 생성형 AI 서비스를 보다 안전하게 활용할 수 있도록, 오늘을 기점으로 생성형 AI의 보안 위협 대응 방향을 모색해 나갈 것"이라고 밝혔다.

최아름 기자 다른기사 보기