김재철AI대학원 최재식 교수 연구팀이 딥러닝 모델이 이미지를 인식하고 판단하는 과정을 인간이 이해할 수 있도록 회로(circuit) 단위로 세밀하게 시각화하는 혁신적인 설명가능 인공지능(XAI) 기술을 개발했다. 이는 오랫동안 풀기 어려웠던 AI '블랙박스' 문제 해결에 한 걸음 다가선 것으로 평가된다.

Granular Concept Circuits 결과 예시. (위) ResNet-50에서 입력 이미지에 대해 포착된 20개의 회로를 모두 병합해 얻은 통합 회로. (아래) 개별 개념 회로의 예시들.

딥러닝 기반 이미지 인식 기술이 고도화될수록, AI가 어떤 개념(예: 고양이 귀, 자동차 바퀴)을 내부에서 어떻게 조합하여 최종 결론을 내리는지는 여전히 설명하기 어려운 과제로 남아있다. 기존의 설명 기술은 주로 단일 뉴런의 역할에 집중하거나, 세밀한 개념 구조를 포착하지 못하는 단일화된 설명만을 제공하는 한계가 있었다.

최재식 교수 연구팀은 실제 딥러닝 모델이 여러 개의 뉴런이 협력하는 '회로' 구조를 통해 다양한 개념을 형성한다는 점에 착안하다. 이를 바탕으로 개발된 것이 '세분화된 개념회로(Granular Concept Circuits, GCC)' 기술이다. 딥러닝 모델 내부에는 인간의 뇌처럼 ‘뉴런(Neuron)’이라는 기본 계산 단위가 존재한다. 뉴런은 이미지 속 작은 특징—예를 들어 귀 모양, 특정 색, 윤곽선 등—을 감지하는 기능을 갖고 있으며, 값(신호)을 계산해 다음 단계로 전달한다. 반면 ‘회로(circuit)’는 이러한 뉴런 여러 개가 서로 연결되어 하나의 의미(개념)를 함께 인식하는 구조를 말한다. 예를 들어 ‘고양이 귀’라는 개념을 인식하기 위해서는 귀의 윤곽을 감지하는 뉴런, 삼각형 형태를 감지하는 뉴런, 털 색 패턴을 감지하는 뉴런 등 여러 뉴런이 순차적으로 작동해야 하며, 이들이 하나의 기능 단위(회로)를 이룬다.

지금까지의 설명 기술은 “특정 뉴런이 특정 개념을 본다”는 단일 뉴런 중심의 접근이거나 세밀한 수준의 개념 구조를 포착하지 못한 단일화된 설명만 제공한다는 한계가 있었다. 이러한 배경에서 최재식 교수 연구팀은 기존 접근의 한계를 극복하고, 모델 내부의 세분화된 개념 구조를 정밀하게 탐색하고 해석하는 기술을 제시했다. 연구팀이 개발한 ‘세분화된 개념회로(Granular Concept Circuits, GCC)’ 기술은 이미지 분류 모델이 내부에서 개념을 형성하는 과정을 회로 단위로 분석하고 시각화하는 새로운 방식이다.

GCC는 뉴런 민감도(Neuron Sensitivity), 의미 흐름 점수(Semantic Flow)를 계산해 회로를 자동적으로 추적한다. 뉴런 민감도는 특정 뉴런이 어떤 특징에 얼마나 민감하게 반응하는지, 의미 흐름 점수는 그 특징이 다음 개념으로 얼마나 강하게 전달되는지를 보여주는 지표로, 이를 통해 기본 특징이 어떻게 상위 개념으로 조립되는지 단계적으로 시각화할 수 있다. 또한, 연구팀은 추출한 회로를 잠시 비활성화할 경우, 해당 회로가 담당하던 개념이 사라지면서 AI의 예측이 달라짐을 확인하였고 이를 통해 제안한 방법의 유의성을 검증하였다.

이번 연구는 복잡한 딥러닝 모델 내부에서 개념이 형성되는 실제 구조를 세밀한 회로 단위로 드러낸 최초의 연구로 평가된다. 이를 통해 AI 판단 근거의 투명성 강화, 오분류 원인 분석, 편향(Bias) 검출, 모델 디버깅 및 구조 개선, 안전성·책임성 향상 등 설명가능성(XAI) 전반에서 실질적인 응용 가능성을 제시한 것이다.

KAIST 김재철AI대학원 권다희 박사과정과 이세현 박사과정이 공동 제1 저자로 참여한 이번 연구는 국제 학술대회 `국제 컴퓨터 비전 학술대회 (International Conference on Computer Vision, ICCV)’에서 10월 21일 발표되었다. 이번 연구의 자세한 내용과 코드, 결과는 프로젝트 페이지(https://github.com/daheekwon/GCC)에서 확인할 수 있다.