‘제미나이 옴니(Gemini Omni)’를 소개합니다
‘제미나이 옴니 플래시(Gemini Omni Flash)’는 비디오를 시작으로, 어떤 형태의 입력값으로도 원하는 모든 것을 만들어낼 수 있는 모델입니다.
작년, '나노 바나나(Nano Banana)' 출시를 기점으로 제미나이의 인텔리전스가 이미지 생성 및 편집 영역으로 확장되었습니다. 이후 수백만 명의 이용자가 이를 활용해 옛 사진을 복원하고, 스케치를 멋진 디자인으로 탈바꿈시키며 이전에는 상상할 수 없었던 방식으로 아이디어를 시각화해 왔습니다. 처음 설계 단계부터 완벽한 멀티모달 모델로 구축된 제미나이는 이제 그 다음 단계로 나아가고 있습니다.
제미나이의 뛰어난 추론 능력과 창작 능력이 만난 '제미나이 옴니(Gemini Omni)'를 소개합니다. 옴니는 이미지, 오디오, 영상, 텍스트를 하나로 융합해 입력할 수 있으며, 제미나이의 방대한 현실 세계 지식을 바탕으로 고품질 영상을 생성해 냅니다. 또한, 마치 대화하듯 자연스럽고 손쉽게 영상을 편집하는 것도 가능합니다.
오늘, 옴니 제품군의 첫 번째 모델인 '제미나이 옴니 플래시(Gemini Omni Flash)'를 제미나이 앱, 구글 플로우(Google Flow), 유튜브 쇼츠에 선보입니다. 향후 몇 달 내에 이미지와 오디오 등 더욱 다양한 출력 형태도 지원할 예정입니다. 옴니가 선보이는 특별한 기능들은 다음과 같습니다.
대화하듯 영상 편집하기
제미나이 옴니는 자연어를 통해 영상을 훨씬 더 직관적이고 쉽게 편집하도록 돕습니다. 이용자의 모든 지시 사항은 이전 요청을 토대로 유기적으로 반영되며, 등장인물의 일관성과 물리적 자연스러움, 그리고 이전 장면의 흐름까지도 유지됩니다.
- 주변 환경 변경하기: 특정 요소만 수정하거나 아예 전체 분위기를 새롭게 바꿀 수도 있습니다. 직접 촬영한 평범한 영상이, 혼자서는 도저히 찍을 수 없었던 놀라운 결과물의 훌륭한 밑그림이 됩니다.
Prompt: Make the sculpture out of bubbles.
- 액션 편집하기: 촬영한 영상을 업로드한 뒤, 옴니에게 상황을 바꿔 달라고 요청해 보세요. 액션을 편집하거나 새로운 캐릭터 및 사물을 추가하고, 평범한 찰나의 순간을 전혀 예상치 못한 놀라운 장면으로 변환할 수 있습니다.
Prompt: When the person touches the mirror, make the mirror ripple beautifully like liquid, and the person's arm turns into reflective mirror material.
Prompt: Dim the lights in the room. Put a black and white checkerboard room inside a glass sphere that floats tracking above the hand, inside it contains a recursive representation of the same hand holding the sphere, creating an infinite recursive of rooms. Camera slowly gets closer into the sphere, creating a video loop.
Prompt: The lights of the apartments start turning on in sync with the music.
- 여러 번의 대화로 세밀하게 영상 다듬기: 원본 장면의 전체적인 맥락을 잃지 않으면서도 배경, 구도, 스타일, 나아가 아주 세밀한 디테일까지 여러 번에 걸쳐 자연스럽게 수정할 수 있습니다.
A video of a violinist playing a song.
Prompt: Transport the violinist to the image environment
Prompt: Change the camera angle to be over the violinist’s shoulder.
제미나이의 지식으로 생생하게 구현되는 아이디어
옴니는 단순히 사실적인 장면을 만드는 데 그치지 않고, 다음 순간에 어떤 일이 일어나야 하는지 추론합니다. 물리학에 대한 직관적 이해와 역사, 과학, 문화적 맥락에 대한 제미나이의 지식을 결합해, 실사 그래픽을 넘어 의미 있는 스토리텔링으로 이어질 수 있도록 돕습니다.
- 실제같은 물리 표현으로 생생한 비주얼 생성: 옴니는 중력, 운동 에너지, 유체 역학 등 물리적인 힘을 더욱 직관적으로 이해해 보다 사실적이고 자연스러운 장면을 연출합니다.
Prompt: A marble rolling fast on a chain reaction style track, continuous smooth shot.
- 지식과 창의성의 결합: 옴니는 제미나이의 방대한 지식을 활용, 단순한 패턴 인식을 넘어 언어, 이미지, 그리고 그 속에 담긴 의미를 유기적으로 연결합니다.
Prompt: The video shows items of the alphabet. An unusual item starting with each letter is shown sitting on a table (like a Capybara for C, disco globe for D and Lava Lamp for L). All 26 letters must be represented by 26 items with matching lower thirds displaying the letter. Only one item and lower third at a time. Each lower third must look like a black marker written on a slip of paper in the bottom left. Rapid fire, roughly 9 frames per item at 24FPS. Last frame is a slip of paper "THE END". The whole video is accompanied by calm smooth music.
- 복잡한 아이디어를 시각화하기: 옴니는 짧은 프롬프트만으로도 복잡한 개념을 이해하기 쉽게 해주는 훌륭한 시각 자료와 설명 영상을 만들어 냅니다.
Prompt: claymation explainer of protein folding, everything is made out of clay, no hands, stop motion, accurate
다양한 입력값을 조합해 영상 만들기
- 무엇이든 레퍼런스로 활용하기: 옴니는 이미지, 텍스트, 영상, 오디오 등 어떤 형태의 참조 자료든 하나의 일관된 결과물로 엮어냅니다. 초기에는 음성 참조 기능만 지원되지만, 곧 다른 형태의 오디오 입력도 지원될 예정입니다.
Prompt: Dynamic sci-fi film style video based on image_0.png. Elements light up similar to video_0.mp4 synchronized to the beat of the music from audio_0.wav
Prompt: Referring to the extreme camera movement, perspective, and distortion in video-0, create a front-facing full-body walk cycle of the character from image-0, quickly style-shifting into multiple visual styles during the walk cycle, starting from realistic cinema. Keep the environment, only change styles. Hard cut backgrounds always centering the sky. Continuous walking, continuous audio, and style shifts in perfect sync to the beat of the audio. Cinematic, 16:9.
Prompt: Add harp sounds synchronized to when I touch each fern leaf. Change the leaf structure to all resemble semi translucent 3d bioluminescent plant life, with bioluminescent fireflies flying around it that react as I play, in sync with the sounds, subtle bokeh depth of field dynamic lighting, reflecting off the walls in the room, keeping the room structure the same
이미 갖고 있는 자료 활용하기: 참조 자료 활용 기능을 활용하면 캐릭터, 배경 이미지, 스케치 등을 이용해 이용자가 구상한 비전에 부합하는 결과물을 만들 수 있습니다.
Prompt: Imagine the world gradually changing into retro futuristic style (grainy and moody as image-1) as I walk. Use the audio for a retro-futuristic background music. 10s.
Prompt: turn this into realistic footage, using the drawing only as a guide for movement, do not show the drawing in the final video
Prompt: Apply the pose and motion from input video to provided character from this image. Apply style from image reference to the new video
스타일, 모션 및 효과 적용하기: 입력된 참조 자료를 통해 시각적 언어를 정의하거나, 자연어로 간단히 묘사해 보세요. 옴니는 입력된 자료들을 매끄럽게 결합해 하나의 완성도 높은 클립을 생성합니다.
Prompt: edit this keeping everything the same. add animated motion effects coming out of the skateboard
Prompt: Apply the motion of the whale swimming from the provided video to the provided image of fluid reflective material. Do not show the whale or water; instead, have this reflective moving material form a shape that resembles the whale as it swims. Replace water with white smooth material shapes that move
디지털 아바타로 동영상 생성하기
구글은 AI를 책임감 있게 개발하기 위해 노력하고 있으며, 이용자를 보호하고 AI 툴이 안전하게 사용될 수 있도록 명확한 정책을 마련하고 있습니다. 현재, 이용자는 아바타를 활용해 자신의 목소리가 담긴 동영상을 생성할 수 있습니다. 아바타는 이용자의 실제 모습과 목소리를 반영한 디지털 캐릭터로, 이용자 본인처럼 보이고 들리는 동영상을 만들 수 있게 해줍니다. 아바타 기능 외에도, 구글은 동영상 속 오디오와 음성을 변경하는 편집 기능을 이용자에게 책임감 있게 제공하기 위해 노력하고 있습니다.
옴니로 생성된 모든 영상에는 눈에 보이지 않는 '신스ID(SynthID)’ 디지털 워터마크와 'C2PA 콘텐츠 자격 증명(C2PA Content Credentials)이 적용됩니다. 제미나이 앱, 크롬 내 제미나이 기능, 구글 검색을 통해 해당 영상이 제미나이 옴니로 생성되었는지 쉽게 확인할 수 있습니다. 웹 전반에서 콘텐츠가 어떻게 생성되고 편집되었는지 쉽게 이해할 수 있도록, 콘텐츠 투명성 및 검증 툴을 확대하는 구글의 노력에 대한 자세한 내용은 구글 공식 블로그에서 확인할 수 있습니다.
제미나이 옴니, 오늘부터 만나보세요
제미나이 옴니 플래시는 오늘부터 제미나이 앱과 구글 플로우를 통해 전 세계 모든 구글 AI 프로 및 울트라 구독자에게 순차적으로 제공됩니다. 또한, 이번 주부터 유튜브 쇼츠와 유튜브 크리에이트 앱(YouTube Create App) 이용자에게 무료로 제공됩니다.
향후 몇 주 내에는 API를 통해 개발자와 기업 고객에게도 제공될 예정입니다.