이수인 미국 워싱턴대학교 교수가 헤럴드 기업포럼 2024에서 ‘AI를 더 믿고 안전하게 쓸 수 있게, 설명 가능한 AI’를 주제로 기조연설을 하고 있다. 이상섭 기자

“많은 사람들이 인공지능(AI)에 대해 완벽하다고 생각하지만 저의 오늘 발표 내용을 듣고 나면 매우 걱정이 되실 겁니다. AI는 잘못된 결론을 낼 수도 있고 편향(bias)될 수도 있기 때문입니다. 그러한 위험을 감지하는 유일한 방법이 바로 ‘설명가능한 AI’입니다”

이수인 미국 워싱턴대 교수는 15일 서울 중구 신라호텔 다이너스티홀에서 열린 ‘헤럴드 기업포럼 2024’ 기조연설에서 ‘설명 가능한 AI(Explainable AI·이하 XAI)’의 개념을 소개하며 이를 통해 기업들은 AI 시스템의 신뢰성을 높일 수 있다고 강조했다.

이 교수는 XAI 분야에서 AI의 투명성과 신뢰성을 향상시킬 수 있는 방법론을 개발해 세계적인 AI 전문가로 평가 받는다. 올해 4월 호암재단이 발표한 제 34회 삼성호암상에서 여성으로는 최초로 공학상을 수상하며 주목을 받았다.

최근 전 산업 분야에서 AI 기술을 적극 도입하며 AI 기반의 서비스나 솔루션을 내놓고 있지만 동시에 AI가 가져올 부작용을 우려하는 목소리도 높아지고 있다.

이 교수도 이날 기조연설에서 “과학자 입장에서 볼 때 AI는 실수를 많이 한다. 나쁜 의도를 갖고 AI를 디자인할 수도 있다”며 “그러한 위험을 감지하려면 먼저 AI를 이해할 수 있어야 한다”고 말했다.

이 교수가 제시한 XAI는 AI 모델이 왜 그러한 결론을 도출했는지, 구체적으로 어떤 요소들에 근거해 그렇게 예측했는지 근본적인 이유를 분석하는 것에서 출발한다. 이러한 방법론을 활용한다면 AI 모델에 대한 이해도도 높아지는 만큼 AI가 범하는 실수나 오류를 정교하게 바로잡을 수 있고 AI 시스템도 발전시킬 수 있다는 것이다.

이 교수는 “AI가 잘못된 결론을 낼 수 있는 가능성이 너무 높지만 무조건 규제하는 것도 근본적인 해결방법이 아니다”며 “그렇기 때문에 XAI는 정말 중요한 기술”이라고 강조했다.

이어 “XAI의 목표는 AI 모델이 왜 그러한 결과를 내놨는지 이해하는 것”이라며 “AI를 더 안전하게 쓰고, 신뢰할 수 있는 AI 시스템을 구축하기 위해 XAI는 중요한 요소”라고 덧붙였다.

AI 시스템의 신뢰성에 대한 우려를 해소해 줄 도구로 XAI가 주목을 받으면서 이미 헬스케어와 바이오, 금융 등의 분야에서 활발하게 쓰이고 있다.

이 교수는 특히 의학 분야에 XAI를 접목한 사례를 소개했다. 그는 “환자의 유전 정보나 임상 정보 등 주요 특징들을 잘 파악해서 훈련한 AI 모델은 결과도 제법 정확하게 예측한다”면서도 “기존 패러다임에서는 왜 AI가 그렇게 예측했는지 답을 얻을 수 없었다”고 말했다.

그러나 이 교수의 XAI를 활용한다면 구체적으로 어떤 요인이 환자의 위험을 가속화하는지 미리 알 수 있기 때문에 의료진의 예측 능력도 더욱 향상될 수 있다. 이 교수는 마취과 전문의를 예시로 들었다.

이 교수는 “전신마취는 다양한 종류의 합병증을 수반하는데 그 중 하나가 혈액 내 산소농도가 떨어지는 저산소혈증”이라며 “XAI를 활용하면 수술 중 저산소혈증이 발생할 수 있는 가능성을 예측하고 어떤 요인이 그 위험을 초래하는지 알 수 있다”고 설명했다.

환자의 저산소혈증 발생 위험이 높으면 마취과 전문의에게 경고를 보낼 뿐만 아니라 어떤 요인 때문에 그러한 위험이 발생했는지 정보를 제공한다. 이같은 정보를 바탕으로 의사는 환자의 저산소혈증 발생을 억제할 수 있는 조치를 미리 계획할 수 있다는 설명이다. 이 교수는 “저산소혈증 발생을 예측하는 능력이 더욱 향상된다면 의사는 사전에 저산소혈증을 예방하고 환자의 피해를 최소화할 수 있는 조치를 취할 수 있다”며 XAI의 효과를 강조했다.

이 교수는 “그냥 예측 결과만 보여주는 것과 그렇게 예측한 이유와 왜 그러한 결론에 이르렀는지 배경을 보여주는 것은 크게 다르다. 이유를 보여주는 것만으로도 사람들은 더 많은 정보를 얻게 된다”고 덧붙였다.

XAI는 이처럼 각종 질병을 예측·설명하는 AI 시스템 및 질병 치료법 개발 등 의료 분야에서 큰 기여를 하고 있다. 이 교수는 이를 오픈소스로 제공하기 때문에 이미 많은 기업들이 활용하고 있다고 전했다.

이 교수는 “AI 모델을 너무 믿지 않는 게 좋을 것”이라며 “모든 AI 모델은 XAI 방법론을 바탕으로 검증을 해봐야 한다”고 강조했다.

김현일 기자