1993년, 학력고사가 한 번에 사라지고 ‘수능’이 대학입시제도로 처음 생겨났다. 수능은 8월과 11월 두 번에 걸쳐 실시되는가 하면, 어떤 지망대학은 추가로 각 대학 특성에 따른 대학별 본고사를 치러야 하는 등 수험생은 완전히 낯선 시험에 대비해야 했다. 복잡하고 알 수 없는 혼란 속에서 어떤 학생은 공부한 양에 비해 등수가 오르는 행운을 누렸겠지만, 어떤 학생은 입시 실패로 1년 이상을 더 매달려야 했다. 마침 당시에 수험생이었던 필자는 불운한 쪽에 속한 학생이었고, 30년이 지난 지금까지도 그때의 당혹함과 좌절감을 생생히 기억한다.
인공지능(AI) 기술에도 신뢰성 인증이라는 이전에 없던 시험 제도가 시행될 예정이다. 새로 개발된 가공식품이 식약청의 검사를 받은 다음에야 출시되듯, AI도 개발 과정에서 필요한 검사를 거침으로써 이용자가 안전하게 믿고 사용할 수 있는 제도이다. AI 기술이 의료나 안전 관리 등 막중한 영역을 담당하게 되면서 그에 따르는 책임이 필요해진 만큼 꼭 필요한 변화이지만, 개발 기업으로서는 새로운 부담이기도 하다. 이전에는 필요 없던 준비와 비용을 마련해야 하는 데다가, 무엇보다 그 시험의 범위, 수준, 통과 기준 등이 문제가 된다.
AI가 갖춰야 할 신뢰성은, 해당 기술이 어느 영역에서 어떤 역할을 맡느냐에 따라 천차만별이다. 그래서 모든 AI 기술이 모든 영역의 신뢰성 검사를 통과한다는 것은 불가능할뿐더러 불필요하다. 가축의 사료량을 추론하는 AI가 인명 구조 AI와 같은 신뢰성 검증을 거쳐야 한다면, 이는 체육 특기생이 음악 실기시험을 보는 것처럼 부적절하면서 비효율적이다. 게다가 이 시험은 대학입시처럼 올해 실패했다고 내년에 재응시할 수 있는 게 아니다. 만약 데이터 수집 과정에 위법 요소가 있다면, 기획 단계부터 다시 시작해야 한다. 마치, 대학입시 기준에 초등학교의 생활기록부 내용이 기준에 미달하면 초등학교부터 다시 학업을 시작해야 하는 식이다.
상황이 이렇다 보니 기업의 여건에 따라 시험 강도를 조절해야 한다는 주장까지 나온다. 물론 이것은 매우 위험한 발상이다. 마치 스타트업이 만든 비행기는 안전 시험을 면제 내지 완화해야 한다는 식인데, 그것은 애당초 스타트업이 스스로 감당할 수 없는 비행기 산업에 뛰어든 게 문제이지, 기업의 규모를 고려해서 사회적 안전을 희생해야 할 문제가 아니다. 즉 검증의 범위나 난이도는 신청 기업의 여건이 아니라, 해당 기술이 산업에 미치는 영향과 중요성을 기준으로 책정해야 한다.
기술에 대한 시험이 합리적이려면, 산업의 특수성을 고려하여 때로는 조직의 역량을 평가하고, 때에 따라서는 개발 프로세스를 진단해야 하거나, 혹은 만들어진 제품 및 서비스에 집중해서 검사할 수도 있다. 말하자면 AI 개발 생명주기인 ADLC(AI Development Life-Cycle)를 토대로 AI 서비스 기획, 데이터 처리, AI 모델 개발, 시스템 구현, 운영 및 유지관리 중 어떤 단계에, 어떤 윤리와 법적 항목에 집중해야 하는지에 따라 시험 범위와 커트라인을 설정할 필요가 있다. 예로, 의료 진단을 돕는 AI 서비스라면 데이터 처리 단계의 다양성 존중에 대한 윤리 항목이 중요하므로, 편향 완화(de-biasing) 기술 적용이 핵심 평가 대상이 된다. 자율주행 분야라면 모델 개발 단계의 견고성, 보안성, 설명가능성이 중요하며, 그에 따라 안전모드 설계, 무결성 감시, XAI 등의 적용 여부가 평가된다. 이처럼 각각의 AI 서비스의 특수성을 고려해서 시험 범위를 설정하는 과정을 전문용어로 테일러링이라 한다. 재단사가 옷을 내 몸에 딱 맞게 재단하듯, 시험의 성격과 범위가 각 서비스에 적합하게 부과되게끔 정제하는 것이다.
중요한 제도일수록 시행과 정착 과정에서 다소 혼란이 발생한다. 수능 제도 도입의 피해자(?)였던 필자는 결국 애초 지망했던, 그리고 내 실력에 합당하다고 생각한 대학 학과에 진학하지 못했다. 그런데도 원래 계획과 달랐던 대학에서 나름의 진로를 밟아나갈 수 있었다. 그러나 적정한 시험 방식과 만나지 못한 신기술은 영영 빛을 보지 못할 수도 있다. 더 나쁜 경우는 시험이 부적합한 기술을 거르지 못한 상황이다. 부적합한 합격생 소수가 해당 대학에 미칠 악영향은 미미할 수 있겠지만, 신뢰성이 결여된 기술은 단 하나의 제품을 통해서도 모두에게 막대한 사회적 비용을 떠안게 만듦과 동시에, AI 기술에 대한 대중의 신뢰를 크게 실추시킬 수 있다. AI 신뢰성에 대한 인증 제도가 이제 막 걸음마를 걷는 시점에서, 이러한 위험성을 최소화할 수 있는 것은 정밀한 테일러링 과정뿐이다. 입시의 성패가 한 학생의 미래에 미치는 영향 이상으로, 적절한 인증 제도의 여부가 AI 산업의 장래를 크게 바꿔놓을 수 있다.
