로봇이 사람처럼 판단하는 시대, KAIST가 피지컬 AI 핵심 난제 해결
“사람처럼 판단하는 로봇, 생각보다 빨리 온다.”
로봇이 인간의 의도를 이해하고 스스로 올바른 행동을 선택하는 시대를 앞당길 핵심 기술이 국내에서 나왔다. KAIST 연구진이 단 몇 개의 영상만으로 AI가 인간의 판단 기준을 스스로 학습하는 기술을 개발하며 피지컬 AI 상용화의 핵심 난제를 해결했다.
한국과학기술원은 전기및전자공학부 유창동 교수 연구팀이 수천~수만 건의 인간 평가 데이터 대신 단 몇 개의 선호 영상만으로도 AI가 인간의 의도와 판단 기준을 학습할 수 있는 새로운 기술인 ‘VOTP(Video-based Optimal TransPort Preference)’를 세계 최초로 개발했다고 10일 밝혔다.
< VOTP 개요도 >
연구팀의 논문은 오는 7월 서울 코엑스에서 개최되는 세계 최고 권위의 AI학회인 ICML(International Conference on Machine Learning) 2026에 채택됐으며, 전체 제출 논문(23,918편) 가운데 상위 0.7%(168편)에만 주어지는 구두(Oral) 발표로 선정되며 연구의 우수성을 인정받았다. ICML은 AI 및 머신러닝 분야에서 가장 영향력 있는 국제학회 가운데 하나로 꼽힌다.
최근 AI 기술은 글을 쓰고 그림을 그리는 생성형 AI를 넘어 실제 기계를 움직이고 현실 세계에서 행동하는 ‘피지컬 AI(Physical AI)’ 시대로 빠르게 진화하고 있다. 공장에서 위험한 작업을 대신 수행하는 로봇, 스스로 도로 상황을 판단하는 자율주행차, 정교한 수술을 수행하는 의료 로봇 등이 대표적인 사례다.
하지만 피지컬 AI의 실용화를 위해서는 반드시 넘어야 할 장벽이 있었다. 바로 기계가 수행한 행동이 인간의 의도에 맞는지, 어떤 행동이 더 바람직한지를 판단하는 인간 수준의 평가 기준을 학습하는 문제다.
예를 들어 수술 로봇이 봉합을 하거나 자율주행차가 복잡한 교차로를 통과할 때 AI는 수많은 선택지 가운데 가장 적절한 행동을 골라야 한다. 이를 위해서는 인간의 선호와 판단 기준이 반영된 ‘보상함수(Reward Function)'가 필요하다. 그러나 지금까지는 이를 구축하기 위해 사람이 수천~수만 개의 행동 데이터를 직접 평가해야 했고, 막대한 시간과 비용이 소요됐다.
연구팀은 사람이 몇 번의 시범만 보고도 새로운 일을 배우는 방식에 주목했다. 연구팀이 개발한 VOTP는 몇 개의 좋은 사례와 나쁜 사례 영상만으로도 AI가 인간이 선호하는 행동 패턴을 스스로 파악하도록 돕는다. 기존처럼 방대한 양의 데이터를 사람이 일일이 평가하지 않아도 AI가 인간의 판단 기준을 이해하고 다양한 상황으로 확장해 학습할 수 있는 것이다.
이번 연구의 핵심 아이디어는 로봇이나 자율주행차와 같은 지능형 기계가 소수의 인간 선호(preference)를 담은 비디오만으로도 사람의 의도(intent)를 빠르게 파악할 수 있다는 것이다. 이를 위해 개발한 알고리즘은 다양한 환경과 작업에 걸친 광범위한 실험을 통해 그 효과와 일반화 성능이 입증되었다.
이러한 방식은 피지컬 AI 개발에 필요한 인간 피드백과 데이터 구축 비용을 크게 줄일 수 있다. 적은 수의 사례만으로도 로봇과 자율주행차, 산업용 기계가 사람의 기대에 부합하는 행동을 학습할 수 있어 개발 기간과 비용을 획기적으로 단축할 수 있을 것으로 기대된다.
해당 기술은 로봇 팔 제어, 휴머노이드 로봇, 자율주행차, 스마트팩토리, 드론, 수술 로봇뿐 아니라 컴퓨터를 직접 조작하는 AI 에이전트까지 폭넓게 적용 가능하다. 특히 인간의 의도와 만족도를 학습해야 하는 모든 피지컬 AI 시스템의 핵심 기반 기술로 활용될 수 있을 것으로 전망된다.
< VOTP 연구이미지 (AI 생성) >
유창동 교수는 “피지컬 AI의 핵심은 기계가 인간의 의도를 이해하고 올바른 행동을 선택하도록 만드는 것”이라며 “VOTP는 소수의 영상만으로 인간의 판단 기준을 학습할 수 있어, 로봇이 사람처럼 판단하는 시대를 앞당길 핵심 기술”이라고 말했다.
전기및전자공학부 Luu Minh Tung(루 민 퉁) 박사과정 학생이 제1저자로 참여한 이번 연구는 세계 최고 권위의 AI 학술대회인 ICML(International Conference on Machine Learning) 2026에 오랄(Oral) 발표 논문으로 선정됐다.
※ 논문명: Video-Based Optimal Transport for Feedback-Efficient Offline Preference-Based Reinforcement Learning, 논문 파일: https://sanctusfactory.com/data/file/publications/202606091714078906.pdf
이번 연구는 과학기술정보통신부 재원으로 정보통신기획평가원(IITP) 및 한국연구재단(NRF) 등의 지원을 받아 수행됐다.