구글, 인간처럼 클릭·입력하는 AI 에이전트 공개

제미나이 2.5 프로 기반 '컴퓨터 유즈' 프리뷰 출시…웹·모바일 UI 직접 제어

구글이 인간의 눈과 손을 대신해 컴퓨터 화면을 직접 제어하는 인공지능(AI) 에이전트 기술 상용화에 시동을 걸었다.

8일 구글 공식 블로그에 따르면 이 회사는 지난 7일 '제미나이 2.5 컴퓨터 유즈' 모델을 공개 프리뷰로 출시했다. 이 모델은 구글 AI 스튜디오와 버텍스 AI의 제미나이 응용 프로그램 인터페이스(API)를 통해 개발자에게 제공된다.

(본문 생략, 출처 링크를 참고하세요.)

---

Gemini 2.5 컴퓨터 사용 모델 소개

API를 통해 미리 볼 수 있는 컴퓨터 사용 모델은 사용자 인터페이스와 상호 작용할 수 있는 에이전트를 구동하기 위해 Gemini 2.5 Pro의 기능을 기반으로 구축된 특수 모델입니다. 

올해 초, 저희는 Gemini API를 통해 개발자에게 컴퓨터 사용 기능을 제공한다고 말씀드렸습니다 . 오늘, 저희는 Gemini 2.5 Pro의 시각적 이해 및 추론 기능을 기반으로 구축된 새로운 전문 모델인 Gemini 2.5 컴퓨터 사용 모델을 출시합니다 . 이 모델은 사용자 인터페이스(UI)와 상호 작용할 수 있는 에이전트를 지원합니다. 이 모델은 여러 웹 및 모바일 제어 벤치마크에서 주요 대안보다 우수한 성능을 제공하며, 지연 시간도 단축되었습니다. 개발자는 Google AI Studio 및 Vertex AI 의 Gemini API를 통해 이러한 기능에 액세스할 수 있습니다 .

AI 모델은 구조화된 API를 통해 소프트웨어와 연동할 수 있지만, 양식 작성 및 제출과 같은 많은 디지털 작업은 여전히 그래픽 사용자 인터페이스와의 직접적인 상호작용을 요구합니다. 이러한 작업을 완료하기 위해 에이전트는 사람처럼 클릭, 입력, 스크롤을 통해 웹 페이지와 애플리케이션을 탐색해야 합니다. 양식을 네이티브로 작성하고, 드롭다운 및 필터와 같은 상호작용 요소를 조작하고, 로그인을 통해 작업할 수 있는 기능은 강력한 범용 에이전트를 구축하는 데 있어 중요한 다음 단계입니다.

작동 원리

모델의 핵심 기능은 Gemini API의 새로운 `computer_use` 도구를 통해 제공되며, 루프 내에서 작동해야 합니다. 이 도구의 입력은 사용자 요청, 환경 스크린샷, 그리고 최근 작업 내역입니다. 입력은 지원되는 전체 UI 작업 목록 에서 함수를 제외할지 또는 포함할 추가 사용자 지정 함수를 지정할 수도 있습니다.

모델은 이러한 입력을 분석하여 응답을 생성합니다. 일반적으로 응답은 클릭이나 입력과 같은 UI 동작 중 하나를 나타내는 함수 호출입니다. 이 응답에는 구매와 같은 특정 동작에 필요한 최종 사용자 확인 요청도 포함될 수 있습니다. 그런 다음 클라이언트 측 코드는 수신된 동작을 실행합니다.

작업이 실행된 후, GUI의 새 스크린샷과 현재 URL이 루프를 다시 시작하는 함수 응답으로 컴퓨터 사용 모델로 다시 전송됩니다. 이 반복적인 프로세스는 작업이 완료되거나, 오류가 발생하거나, 안전 응답 또는 사용자 결정으로 상호작용이 종료될 때까지 계속됩니다.

Gemini 2.5 컴퓨터 사용 모델은 주로 웹 브라우저에 최적화되어 있지만, 모바일 UI 제어 작업에도 강력한 가능성을 보여줍니다. 데스크톱 OS 수준 제어에는 아직 최적화되어 있지 않습니다.

아래 몇 가지 데모를 확인하여 모델이 실제로 작동하는 모습을 확인하세요(여기서는 3배 속도로 표시됨).

프롬프트: " https://tinyurl.com/pet-care-signup 에서 캘리포니아 거주 반려동물의 모든 정보를 확인하고 https://pet-luxe-spa.web.app/ 에 있는 제 스파 CRM에 게스트로 추가하세요 . 그런 다음 10월 10일 오전 8시 이후 언제든지 전문의 아니마 라바르와 후속 방문 예약을 하세요. 방문 목적은 요청하신 치료 목적과 동일합니다."

프롬프트: " 저희 미술 동아리에서 박람회를 앞두고 과제를 브레인스토밍했습니다. 게시판이 너무 복잡해서 제가 만든 카테고리별로 과제를 정리하는 데 도움이 필요합니다. sticky-note-jam.web.app 으로 가서 메모가 제대로 된 섹션에 있는지 확인하세요. 만약 없다면 그 섹션으로 드래그해서 옮겨주세요."

수행 방법

Gemini 2.5 컴퓨터 사용 모델은 여러 웹 및 모바일 제어 벤치마크에서 뛰어난 성능을 보여줍니다. 아래 표에는 자체 보고 수치, Browserbase에서 실시한 평가, 그리고 Browserbase가 직접 실시한 평가 결과가 포함되어 있습니다. 평가 세부 정보는 Gemini 2.5 컴퓨터 사용 평가 정보 와 Browserbase 블로그 게시물 에서 확인할 수 있습니다 . 별도로 명시되지 않는 한, 표시된 점수는 API를 통해 제공되는 컴퓨터 사용 도구에 대한 것입니다.

이 모델은 Online-Mind2Web의 Browserbase 하네스에서 성능을 측정한 결과, 가장 낮은 지연 시간으로 브라우저 제어를 위한 최고 품질을 제공합니다.

우리가 안전에 접근한 방식

모두에게 이로운 에이전트를 구축하는 유일한 방법은 처음부터 책임감을 갖는 것이라고 생각합니다. 컴퓨터를 제어하는 AI 에이전트는 사용자의 고의적인 오용, 예상치 못한 모델 동작, 웹 환경에서의 갑작스러운 인젝션 및 사기 등 고유한 위험을 초래합니다. 따라서 안전 가드레일을 신중하게 구현하는 것이 매우 중요합니다.

우리는 이러한 세 가지 주요 위험( Gemini 2.5 컴퓨터 사용 시스템 카드 에 설명되어 있음 ) 을 해결하기 위해 모델에 안전 기능을 직접 학습시켰습니다 .

또한, 개발자에게 안전 제어 기능을 제공하여 개발자가 모델이 잠재적으로 고위험하거나 유해한 동작을 자동 완성하지 못하도록 할 수 있습니다. 이러한 동작의 예로는 시스템 무결성 손상, 보안 침해, CAPTCHA 우회, 의료 기기 제어 등이 있습니다. 제어 기능은 다음과 같습니다.

• 단계별 안전 서비스: 모델이 제안하는 각 작업을 실행하기 전에 평가하는 모델 외부 추론 시간 안전 서비스입니다.
• 시스템 지침: 개발자는 에이전트가 특정 유형의 고위험 작업을 수행하기 전에 사용자 확인을 거부하거나 사용자 확인을 요청하도록 추가로 지정할 수 있습니다. ( 설명서 의 예시 )
• 
  

개발자를 위한 안전 조치 및 모범 사례에 대한 추가 권장 사항은 설명서 에서 확인하실 수 있습니다 . 이러한 안전 조치는 위험을 줄이기 위해 고안되었지만, 모든 개발자는 출시 전에 시스템을 철저히 테스트할 것을 권장합니다.

초기 테스터들이 어떻게 사용했는지

Google 팀은 UI 테스트를 포함한 사용 사례에 이 모델을 이미 프로덕션 환경에 배포했으며, 이를 통해 소프트웨어 개발 속도를 크게 높일 수 있습니다. 이 모델의 여러 버전은 Project Mariner , Firebase Testing Agent , 그리고 검색 엔진의 AI 모드 에서 일부 에이전트 기능을 구동하는 데에도 사용되었습니다 .

얼리 액세스 프로그램 사용자들도 개인 비서, 워크플로 자동화, UI 테스트 기능을 강화하는 이 모델을 테스트해 왔으며, 훌륭한 성과를 거두었습니다. 사용자들의 소감은 다음과 같습니다.

"저희 워크플로우의 상당수는 속도가 특히 중요한 인간 중심 인터페이스와의 상호 작용을 필요로 합니다. Gemini 2.5 Computer Use는 경쟁 제품보다 훨씬 앞서 있으며, 저희가 고려해 본 차선책보다 50% 더 빠르고 더 뛰어납니다." - Poke.com은 iMessage, WhatsApp, SMS에서 다양한 서드파티 및 에이전트 워크플로우를 지원하는 능동적인 AI 비서입니다.

"저희 에이전트는 완전 자율적으로 작동하며, 데이터 수집 및 분석 과정에서 작은 실수도 용납할 수 없는 작업을 수행합니다. Gemini 2.5 Computer Use는 복잡한 사례에서 맥락을 안정적으로 분석하는 데 있어 다른 모델보다 우수한 성능을 보였으며, 가장 어려운 평가에서 최대 18%까지 성능을 향상시켰습니다." — 드롭인 AI 에이전트 Autotab

"기존 스크립트에서 오류가 발생하면 이 모델은 현재 화면 상태를 평가하고 워크플로 완료에 필요한 작업을 자동으로 확인합니다. 이 구현을 통해 이전에는 수정하는 데 며칠이 걸리던 실행의 60% 이상을 성공적으로 복구할 수 있습니다." — Google 결제 플랫폼 팀은 전체 테스트 실패의 25%를 차지하는 취약한 엔드투엔드 UI 테스트를 해결하기 위한 비상 대책으로 컴퓨터 사용 모델을 구현했습니다.

시작하는 방법

오늘부터 이 모델은 공개 미리보기로 제공되며, Google AI Studio와 Vertex AI의 Gemini API를 통해 접근할 수 있습니다.

• 지금 바로 체험해 보세요: Browserbase 에서 호스팅하는 데모 환경에서 .
• 빌드 시작 : 참고 자료 와 문서 ( 기업용 Vertex AI 문서 참조)를 살펴보고 Playwright를 사용하여 로컬에서 또는 Browserbase를 사용하여 클라우드 VM에서 자체 에이전트 루프를 빌드하는 방법을 알아보세요.
• 커뮤니티에 참여하세요. 여러분이 어떤 앱을 만들어낼지 기대됩니다. 개발자 포럼 에서 피드백을 공유하고 로드맵을 세우는 데 도움을 주세요 .