공동연구진은 귀 주변의 생체전기 신호를 측정하는 이어폰형 센서 NeuroBuds와 일상 데이터에서 재사용 가능한 패턴을 학습하는 인공지능 모델을 개발해, 사람이 보고, 듣고, 만지고, 맛보고, 냄새 맡는 순간의 반응과 시선 방향을 인식하는 새로운 착용형 생체신호 기술을 제시했다.

이어폰은 보통 소리를 들려주는 기기다. NeuroBuds는 한 걸음 더 나아가 몸에서 나오는 신호에 귀를 기울인다. KAIST와 해외 공동연구진은 귀 주변에서 발생하는 미세한 생체전기 신호를 측정하는 이어폰 기반 센서와, 이 신호에서 다양한 상황에 재사용할 수 있는 패턴을 학습하는 인공지능 모델을 개발했다. 익숙한 착용형 기기를 통해 사용자가 어디를 바라보는지, 영상을 보거나 소리를 들을 때 얼마나 관심을 보이는지, 맛, 질감, 냄새에 어떻게 반응하는지를 일상 환경에서 파악할 수 있는 가능성을 제시한다.

뇌, 눈, 얼굴 근육이 활동할 때에는 매우 작은 전기 신호가 생긴다. 예를 들어 눈의 움직임은 비교적 느린 신호 변화를 만들기 때문에 사람이 어디를 바라보는지 추정하는 단서가 된다. 반면 더 빠른 변화에는 근육이나 신경 활동 정보가 담길 수 있다. 그러나 기존 측정 방식은 큰 헤드셋과 통제된 실험실이 필요한 경우가 많았다. 인공지능 모델도 시선, 감정, 수면, 움직임 등 한 가지 목적에 맞추어 별도로 설계되는 경우가 대부분이었다.

NeuroBuds는 양쪽 귀 주변의 신호를 기록하는 가벼운 이어후크형 시제품이다 (그림1). 연구진은 이를 이용해 DailySense 데이터셋을 구축했다. 22명의 참가자가 걷고, 먹고, 말하는 등 평소 활동을 하는 동안 50시간의 별도 정답 표기가 없는 데이터를 수집했다. 여기에 사용자가 어디를 바라보는지, 영상을 보거나 소리를 들을 때 얼마나 관심을 보이는지, 그리고 맛, 표면 질감, 냄새에 어떻게 반응하는지를 분석하기 위해 정답 정보가 함께 기록된 20시간의 데이터를 추가했다. 이를 통해  시각, 청각, 미각, 촉각, 후각에 걸친 다양한 일상 반응을 하나의 모델로 다룰 수 있는지 검증했다.

 무엇을 알아보려는지에 따라 모델을 매번 새로 만드는 대신, ‘생리학 기반 다중 주파수 토큰화’ 기법을 제안했다. 이는 하나로 뒤섞인 생체신호 파형을 그대로 분석하는 것이 아니라, 오케스트라에서 여러 악기 소리를 구분해 듣듯 신호를 12개의 의미 있는 범위로 나누어 살펴보는 방식이다.

각 주파수 영역의 짧은 신호 구간은 인공지능이 처리할 수 있는 작은 정보 단위인 ‘토큰’으로 바뀐다. 모델은 먼저 정답 정보가 없는 일상 신호를 입력받아 원래 신호를 입력받아 원래 신호를 다시 만들어 보는 연습을 하면서 공통 패턴을 배운다. 이후 시선 추정이나 감각 반응 분석에 적용할 때, 상황에 따라 중요한 신호 단서를 선택적으로 활용한다.

DailySense 실험에서 일상 데이터로 미리 학습한 모델의 분류 성능을 나타내는 평균 F1 점수는 81.9%에서 87.6%로 높아졌고, 시선 추정 오차는 6.0도까지 줄었다 (그림2). 감정 인식, 수면 단계 분류, 상상한 움직임 인식을 다룬 네 개의 공개 데이터셋에서도 기존 강력한 모델보다 높은 성능을 보였다. 상용 스마트폰에서는 평균 25밀리초 만에 한 번의 추론을 마쳐 실시간 처리 가능성도 확인했다.

이 연구는 이어폰이 음향 기기를 넘어 범용 생체신호 측정 플랫폼으로 발전할 가능성을 보여준다. 향후 손을 쓰지 않는 인터페이스, 상황을 이해하는 착용형 기기, 개인 맞춤형 모니터링 등에 활용될 수 있다. 다만 실제 보급을 위해서는 더 크고 다양한 집단을 대상으로 한 검증이 필요하다. 연구 결과는 ICLR 2026에서 발표됐다.