인공지능(AI)의 성능을 높이는 과정에서 가장 큰 걸림돌로 꼽혀온 메모리 사용 문제를 해결할 새로운 기술이 공개됐다. KAIST 전기및전자공학부 한인수 교수가 참여한 구글 리서치(Google Research), 딥마인드(DeepMind), 뉴욕대(New York University) 공동 연구팀이 인공지능(AI) 모델의 고질적인 한계로 꼽혀온 메모리 과부하 문제를 최대 6배까지 줄일 수 있는 새로운 데이터 압축 기술 TurboQuant를 개발했다. 이번 연구는 더 작은 장치에서도 고성능 AI를 활용할 수 있는 가능성을 높이고, AI 서비스의 확산과 차세대 반도체 기술 발전에도 중요한 기반이 될 것으로 기대된다.

AI의 가장 큰 고민, '메모리 부족' 해결 실마리 찾다

인공지능 기술은 빠르게 발전하고 있지만, 모델이 커질수록 막대한 메모리가 필요한 점은 오랫동안 해결해야 할 과제로 남아 있었다. 메모리 사용량이 증가하면 더 비싼 하드웨어가 필요하고, 연산 속도도 느려져 AI 서비스를 더욱 널리 활용하는 데 한계가 있었다.

이러한 문제를 해결하기 위해 KAIST 한인수 교수와 구글 리서치, 딥마인드, 뉴욕대학교 공동 연구팀은 AI 모델의 메모리 사용량을 크게 줄이면서도 성능은 거의 그대로 유지할 수 있는 새로운 알고리즘인 TurboQuant를 개발했다.

데이터를 더 작게 저장해도 성능은 그대로

TurboQuant의 핵심은 AI가 사용하는 데이터를 더욱 효율적으로 저장하는 데 있다.

AI는 수많은 숫자를 이용해 정보를 계산하는데, 일반적으로 매우 정밀한 숫자를 사용하기 때문에 많은 메모리가 필요하다. TurboQuant는 이러한 숫자를 더 작은 형태로 바꾸어 저장하면서도 중요한 정보는 유지하도록 설계됐다. 마치 고화질 사진을 사람이 차이를 거의 느끼지 못할 정도로 압축하는 것과 비슷한 원리다.

연구 결과, TurboQuant는 AI 모델의 정확도를 거의 유지하면서도 필요한 메모리 사용량을 최대 6배까지 줄이는 데 성공했다. 특히 AI가 실제 서비스를 수행하는 과정에서 발생하는 메모리 병목 현상을 효과적으로 완화한 것이 큰 성과로 평가된다.

두 단계 압축으로 정확도와 효율을 동시에 확보

TurboQuant는 데이터를 한 번에 압축하지 않고 두 단계에 걸쳐 처리한다.

먼저 데이터를 고르게 분포하도록 변환한 뒤 압축해 저장 효율을 높인다. 이후 첫 번째 과정에서 발생한 작은 오차까지 다시 압축해 정보 손실을 최소화한다. 이러한 두 단계 처리 방식 덕분에 기존 기술보다 더욱 높은 압축 효율과 정확도를 동시에 달성할 수 있었다.

더 많은 기기에서 AI를 사용할 수 있는 기반 마련

이번 기술은 스마트폰이나 노트북 같은 개인 기기부터 대규모 데이터센터까지 다양한 환경에서 활용될 가능성이 크다.

같은 메모리 용량으로 더 큰 AI 모델을 실행하거나, 기존보다 적은 비용으로 AI 서비스를 제공할 수 있어 AI 활용 범위가 크게 확대될 것으로 기대된다. 이는 고성능 AI를 보다 많은 사람들이 일상에서 사용할 수 있는 환경을 만드는 데에도 중요한 역할을 할 것으로 보인다.

또한 AI 서비스가 더욱 빠르게 확산되면서 반도체 산업 역시 단순히 메모리 용량을 늘리는 경쟁을 넘어, 더욱 효율적인 메모리 기술을 중심으로 발전하는 계기가 될 것으로 전망된다.

글로벌 공동연구에서 국내 연구진의 역할 주목

이번 연구는 KAIST와 구글 리서치, 딥마인드, 뉴욕대학교가 함께 수행한 국제 공동연구로, 국내 연구진이 AI 핵심 알고리즘 개발에 직접 기여했다는 점에서도 의미가 크다.

연구진은 앞으로도 대규모 AI 모델을 더욱 효율적으로 운영할 수 있는 핵심 기술 개발을 이어갈 계획이며, 이번 연구가 차세대 AI 시스템과 고성능 반도체 기술 발전의 중요한 기반이 될 것으로 기대하고 있다.