Human-FACTS 연구실의 연구진은 대규모 언어 모델(LLM)을 기반으로 한 다중 모달 경고 시스템(LLM-MW)을 개발하였습니다. 이 시스템은 다양한 운전자와 교통 상황에 적응하여, 운전자 맞춤형 지원을 제공합니다. 이를 통해 청각, 시각, 촉각 채널을 활용한 경고를 제공함으로써 안전성과 편안함을 증진시키고자 합니다.

대규모 언어 모델(LLMs)인 ChatGPT와 같은 기술은 인공지능(AI)의 혁신을 이끌며, 문맥 이해, 추론, 그리고 인간과 유사한 응답 생성에서 놀라운 능력을 보여주고 있습니다. 이러한 특성은 LLM이 다양한 실제 문제 해결에 이상적인 솔루션으로 간주되는 이유입니다. 특히, 운전자 지원 시스템 분야에서는 중요한 난제가 존재합니다. 운전자는 연령, 운전 경험, 신체적 조건과 같은 개별적인 특성에 따라 위험 인지 능력과 상호작용 선호도가 달라지는 경향을 보입니다. 그러나 기존의 운전자 지원 시스템은 개별 운전자의 요구에 따라 동적으로 적응하지 못한다는 한계를 가지고 있으며, 이는 개인화되고 적응적인 솔루션의 필요성을 강조합니다.

이러한 문제를 해결하기 위해 KAIST Human-FACTS 연구실의 Tiantian Chen 교수가 이끄는 연구진은 LLM 기반 다중 모달 경고 시스템(LLM-MW)을 개발하였습니다. 이 혁신적인 프레임워크는 LLM을 활용하여 교통 환경과 운전자의 개별 프로필을 해석함으로써, 각 운전자의 고유한 요구와 선호에 맞춘 맞춤형 경고를 적시에 생성합니다.

LLM-MW 시스템은 에이전트 기반 구조 내에서 LLM을 활용하는 상호 연결된 모듈을 통해 작동합니다. 시스템은 건강 상태, 운전 경험 등 운전자 프로필 정보를 입력받은 후, 요인 중심의 검색-증강 생성(Factor-Centered Retrieval-Augmented Generation, RAG) 기법을 사용하여 개인화 프로필을 생성합니다. 이 방법은 LLM이 운전자 지원 분야의 외부 도메인 특화 지식을 통합할 수 있도록 합니다. 생성된 개인화 프로필에는 운전자 특성 분석과 상호작용 전략이 포함되어 있으며, 이는 시스템 기능을 맞춤화하는 데 사용됩니다. 작동 과정에서 시스템은 비전-언어 모델(예: GPT-4 Vision)과 경량 LLM(예: Mixtral-8x7B)을 활용하여 단계별 추론을 수행합니다. 이를 통해 교통 상황을 분석하고, 잠재적 위험을 식별하며, 경고 내용과 상호작용 방식을 설계하는 맞춤형 경고를 생성합니다. 생성된 경고는 청각, 시각, 촉각 도구를 통해 운전자와 효과적으로 소통하기 위해 전달됩니다.

그림 3은 녹내장을 앓고 있는 72세 운전자 Emily가 교차로에서 직면한 시나리오에서 LLM-MW의 성능을 보여줍니다. 주변 시야 손실을 고려하여, 시스템은 청각 경고를 주요 전달 수단으로 우선시하였으며, 긴급한 위험 상황에서는 촉각 피드백을 보완적으로 제공하였습니다. 해당 개인화 프로필에 따라, 예시 시나리오에서 LLM-MW는 긴급한 정보를 즉시 전달하기 위해 청각 경고를 제공하였으며, 앞차의 감속과 같은 비긴급 위험에는 촉각 경고를 제공하였습니다. 이러한 개인화 접근법은 Emily가 교통 환경에 대한 상황 인식을 효과적으로 개선할 수 있도록 보장하였습니다.

앞으로 LLM-MW는 운전자 지원 기술에서 실질적인 응용 가능성을 가진 중요한 진전을 나타냅니다. 이 시스템은 다양한 운전자 그룹을 위한 지능형 코파일럿 역할을 수행할 수 있습니다. 예를 들어, 국제 운전자들에게 문화적으로 적합한 가이드를 제공하거나, 감각적 제한이 있는 운전자들에게 직관적인 다중 모달 피드백을 제공하며, 장시간 운전에 직면한 전문 운전자들에게 적응형 지원을 제공할 수 있습니다.

운전자 지원의 즉각적인 적용을 넘어, 이 연구는 대규모 언어 모델이 지능형 차량에서 인간-기계 상호작용을 어떻게 강화할 수 있는지를 보여줍니다. 이를 통해 더 직관적이고 개인화된 안전한 운전 경험으로 나아가는 길을 제시합니다.

이 연구는 **"운전자 지원을 위한 LLM 기반 다중 모달 경고 시스템"**이라는 제목으로 제27회 IEEE 국제 지능형 교통 시스템 학회(ITSC 2024)에서 발표될 예정입니다.