스마트폰 화면 속 웹툰이 현실 공간으로 뛰쳐나온다. ‘보는 웹툰'에서‘경험하는 웹툰'의 시대가 열린다. 한국과학기술원 연구진이 다양한 독자들이 현실 공간에서 웹툰을 입체적으로 즐길 수 있는 차세대 확장현실(XR, eXtended Reality, 가상현실·증강현실·혼합현실을 아우르는 기술) 만화 플랫폼을 세계 최초로 개발했다. 웹툰의 무대를 화면에서 현실로 넓히며 미래 만화의 새로운 가능성을 제시했다.
한국과학기술원은 전기및전자공학부 이안 오클리(Ian Oakley) 교수 연구팀이 인간-컴퓨터 상호작용(HCI, Human-Computer Interaction, 사람이 컴퓨터와 보다 쉽고 자연스럽게 상호작용하는 방법을 연구하는 분야) 전문가와 실제 웹툰 창작자, 독자 등 15명이 참여한 체계적인 사용자 연구를 통해, 차세대 확장현실(XR) 만화가 갖춰야 할 핵심 디자인 원칙과 발전 방향을 제시했다고 21일 밝혔다.
연구팀은 XR 환경에서 만화를 읽고 직접 제작할 수 있는 새로운 플랫폼‘코믹스XR(ComiXR)'을 개발하고, 참가자들이 기존 인쇄 만화를 XR 환경으로 직접 변환해 제작하고 체험하도록 했다.
< ComiXR 연구 개념도 >
종이 만화책에서 출발한 만화는 스마트폰의 등장과 함께 세로 스크롤 방식의 웹툰으로 진화하며 폭발적으로 성장해 왔다. 연구팀은 웹툰의 다음 진화 단계로 XR 기기에 주목했다. 화면에서는 구현하기 어려운 공간감과 입체 음향, 시선 추적(Eye Tracking, 사용자의 눈동자 움직임을 인식하는 기술) 등을 만화에 접목하기 위해 메타 퀘스트 프로(Meta Quest Pro) 기반의 ComiXR 플랫폼을 구축했다.
실험 참가자들은 기기를 착용한 채 실제 방 안에 3차원(3D) 캐릭터와 말풍선, 의성어 등을 자유롭게 배치하며 자신에게 가장 편안하고 몰입감 높은 만화 공간을 직접 구성했다.
실험 결과, 독자들은 단순히 평면 만화 페이지를 가상 공간에 띄우는 방식보다 현실 공간의 깊이감을 적극 활용하는 연출을 훨씬 선호했다. 배경 뒤에 캐릭터를 배치하고 말풍선을 별도의 층으로 분리했을 때 몰입감이 크게 향상됐다. 특히 독자의 시선을 추적해 특정 캐릭터를 바라볼 때만 다음 대사가 나타나도록 하는 기능은 결말을 미리 보게 되는‘스포일러'를 효과적으로 방지하는 것으로 나타났다.
< ComiXR 사용 화면 >
또한 독자의 표정 변화에 따라 특수효과가 나타나고, 햅틱(Haptic, 진동 등 촉각을 통해 정보를 전달하는 기술) 기능으로 등장인물의 심장 박동까지 전달하는 등 기존 만화에서는 경험할 수 없었던 새로운 감각적 경험도 구현했다.
연구팀은 이번 연구를 통해 XR 만화를 위한 네 가지 핵심 디자인 개념도 제안했다. 첫째, 방 안 벽을 갤러리처럼 활용하는‘패널 갤러리(Panel Gallery)', 둘째, 책상이나 벽 위에 만화를 팝업북처럼 띄우는‘팝업(Pop-up)', 셋째, 야외 공간에 3D 캐릭터와 만화 요소를 배치하는‘어라운드 코믹(Around Comic)', 넷째, 저시력자를 포함한 다양한 독자의 접근성을 높이는‘인클루시브 코믹스(Inclusive ComiX, 모두를 위한 포용형 XR 만화)'다.
연구팀은 XR 만화가 기존 스마트폰 웹툰을 대체하기보다 작품의 세계관을 더욱 생생하게 체험하는 특별 전시와 교육 콘텐츠, 그리고 시각장애인과 저시력자 등 다양한 이용자의 문화 접근성을 높이는 새로운 플랫폼으로 활용될 것으로 전망했다.
< 연구 이미지 (AI 생성) >
이안 오클리 교수는 "이번 연구는 단순히 만화를 입체적으로 구현한 것이 아니라, 독자의 공간과 시선, 움직임까지 고려해 미래의 만화를 어떻게 설계해야 하는지를 제시한 연구”라며 "앞으로 XR 기술은 누구나 만화를 더욱 몰입감 있게 경험할 수 있는 새로운 콘텐츠 환경을 만드는 데 중요한 역할을 할 것”이라고 말했다.
이번 연구는 KAIST 정보전자연구소 아마르 알타이(Ammar Al-Taie) 박사후연구원이 제1저자로, 전기및전자공학부 한현영 박사과정생이 공동 저자로 참여했다. 연구 결과는 인간-컴퓨터 상호작용 및 디자인 분야 최고 권위 국제학술대회인 에이씨엠 디아이에스 2026(ACM DIS, Designing Interactive Systems Conference 2026)에서 발표됐으며, ComiXR 플랫폼은 오픈소스로 공개돼 누구나 활용할 수 있다.
※ 논문명: ComiXR: Exploring Comic Layouts in eXtended Reality, DOI: https://doi.org/10.1145/3800645.3812857, 오픈소스: https://github.com/ammarjamal/ComiXR
※ 관련 동영상: https://drive.google.com/drive/folders/1D9Efp3T0biDbUm1K5Gu6HLSSy89Uaq8R?usp=sharing
한편 이번 연구는 KAIST 장영실 펠로우십 프로그램과 과학기술정보통신부 및 정보통신기획평가원(IITP)의 ITRC(Information Technology Research Center, 대학 ICT 연구센터) 지원사업의 지원을 받아 수행됐다.