이러한 AI의 능력은 놀랍기는 하지만 AI가 추론 능력을 가진 것으로 단정하기는 아직 이르다. 챗GPT와 같은 현재의 언어모델은 주어진 단어들을 기반으로 가장 적당한 다음 단어를 확률적으로 예측하여 문장을 생성하는 구조를 가지고 있다. 예를 들어 “바람이 나무 사이로 속삭인다”는 문장이 “바람을 나무 사이를 속삭인다”는 문장보다 문법적으로 올바를 확률이 높다는 사실에 기반해서 문법에 맞는 문장을 생성할 수 있고, “별들이 밤의 캔버스에 그림을 그린다”는 문장이 “태양이 밤의 캔버스에 그림을 그린다”는 문장보다 상식에 부합할 확률이 크기 때문에 문맥에 맞는 적절한 문장을 제시할 수 있다.
하지만 이런 구조 때문에, 세종대왕이 훈민정음의 초고를 작성하던 중 문서 작성 중단에 대해 담당자에게 분노해 맥북프로를 집어 던진 사건이 조선왕조실록에 기록되어 있다는 챗GPT의 답변에서 볼 수 있는 것처럼, 잘못된 문장이나 존재하지 않는 사실을 만들어 내는 환각(hallucination) 문제가 발생한다. 최근 뉴욕의 변호사는 챗GPT가 생성한 문서를 법원에 제출했는데 그 문서에 인용된 법률 사례들이 존재하지 않는 것으로 드러나 판사로부터 벌금을 부과 받기도 했다.
따라서 AI가 추론 능력을 가지고 있는가는 아직 논란이 되고 있는데, AI는 “단지” 다음 단어를 통계적으로 예측하는 것일 뿐, 추론 능력을 가진 것으로 보기 어렵다는 입장이 있는 반면, 단어나 문장을 적절하게 예측하는 것은 추론 능력의 중요한 특성이라고 생각하는 사람들은 AI가 가져올 실존적 위험에 대비해야 한다고 주장한다. AI의 능력이 논란이 되는 이유는 생성AI와 같이 복잡한 알고리듬의 작동 원리가 블랙박스안에 놓여 있기 때문이다. 우리는 아직 대규모 AI의 작동원리를 정확하게 이해하지 못하고 있고, 따라서 언젠가 인간의 능력을 뛰어 넘을 수도 있는 AI를 인간의 통제하에 적절하게 묶어둘 수 있는 방법을 아직 모른다는 것이다.
한편 AI의 추론 능력이 과장되어 있을 가능성을 시사하는 중요한 문제가 있는데 바로 학습 데이타의 오염 문제이다. AI 알고리듬을 훈련할 때는 일반적으로 주어진 데이타를 학습용과 검증용으로 나누어, 학습과정에서는 학습 데이타만을 사용하고, 훈련된 알고리듬의 성과를 측정할 때는 검증용 데이타를 사용한다. 검증용 데이타가 학습 데이타에 포함되어 있을 경우 이를 데이타 오염이라 부르는데, 챗GPT와 같이 수천억 또는 수조 개의 파라미터와 다양한 언어의 대규모 텍스트에 기반하여 학습된 AI의 경우 이 원칙이 지켜졌는지를 검증하기가 쉽지 않다. 무수히 많은 소스에서 비롯된 데이타를 학습용과 검증용으로 나눈다 해도, 검증 데이타의 일부가 학습 데이타에 포함되어 있을 가능성을 배제할 수 없기 때문이다.
이로 인해 일부 AI 모델이 변호사 시험, 수학 시험, 코딩 대회 등에서 뛰어난 성과를 보였다고 보고되었지만 테스트 문제들이 이미 학습 데이타에 포함되었음이 드러난 사례들이 여러 차례 발견되었다. 교사가 제공한 연습문제가 그대로 시험문제에 출제되었을 경우, 정답을 맞춘 학생이 정말 그 문제를 풀 수 있는 능력이 있는가를 판단하기 어려운 것과 같은 이치이다. AI의 능력이 빠르게 발전하고 있지만 미디어에 보도된 내용에는 과장된 면이 있고 아직은 그 한계 또한 분명해 보인다. 나날이 발전하는 AI가 제기하는 인간 사회의 미래에 대한 함의들은 지속적으로 논란이 될 것이다.
