미래에 할 수 있는 경험을 사전 예약하신 퓨처드릴 구독자, 드릴러 🛠️ 여러분 안녕하세요!

AI와 UX의 쿨한 콤비네이션을 만들어 drill 퓨처드릴 에디터 쿨냥이🐾 입니다.

챗GPT 개발회사로 유명한 OpenAI에서 텍스트만 입력하면 최대 1분 길이의 영상을 제작할 수 있는 비디오 생성 AI모델 Sora를 2월 15일에 공개했습니다. 텍스트를 통해 비디오를 생성하는 모델은 기존에도 여럿 있었지만 Sora는 풍부한 표현력과 해상도 측면에서 한 차원 수준 높은 기능을 선보이며 폭발적인 관심을 받고 있죠. 📹

Sora는 프롬프트에서 사용자가 요청한 내용뿐만 아니라 이러한 내용이 현실에서 어떻게 존재하는지 이해합니다. 이번 호에서는 Sora에 대해 알아보면서 한 발짝 더 성큼 다가온 AGI(Artificial General Intelligence 인공일반지능 : 사람과 유사한 지능을 갖는 인공지능) 시대 어떤 준비가 더 필요할지 함께 알아봐 Drill 게요!

Sora는 텍스트 프롬프트를 통해 최대 1분 길이의 비디오를 생성할 수 있는 AI 모델입니다. 여러 캐릭터, 특정 유형의 동작, 피사체와 배경의 정확한 세부 정보로 복잡한 장면을 연출할 수 있습니다.

또한 프롬프트에서 사용자가 요청한 내용뿐만 아니라 이러한 내용이 실제 세계에 어떻게 존재하는지 이해합니다. 이를 위해 OpenAI는 사람들이 실제 상호 작용이 필요한 문제를 해결하는 데 도움이 되는 모델을 학습시키는 것을 목표로, 움직이는 물리적 세계를 이해하고 시뮬레이션하는 방법을 AI에 가르치고 있다고 말합니다. 

한차원 수준 높은 영상 퀄리티로, 멀티모달 AI 모델 시대를 열다 

영상 생성 AI 모델은 기존에도 많은 기업이 서비스 출시를 하거나 연구 성과를 발표했기 때문에 Sora가 새로운 기능은 아닙니다. 런웨이의 '젠2', 메타의 ‘메이크 어 비디오(Make-A-Video)’, 구글의 '비디오 포엣(Video Poet)'등 영상 생성 AI 모델 개발에 대한 빅테크 간 경쟁은 계속 심화하고 있죠. 

하지만 Sora가 그동안 공개된 영상 생성 AI 모델과는 차원이 다른 수준의 퀄리티를 보여준다는 점에서 많은 사람을 놀라게 했습니다. Sora는 최대 1080x1920, 1920x1080의 해상도로 판타지, SF, 공포, 코미디 등과 같은 다양한 장르와 테마의 영상 제작이 최대 1분까지 가능합니다. 기존 시간도 짧고 해상도가 낮았던 다른 모델과 비교해보면 그 차이를 더 확실히 느낄 수 있습니다. 

Sora는 텍스트 프롬프트를 분석해 주제, 행동, 장소, 시간, 분위기 등 관련 키워드를 추출합니다. 그런 다음 데이터세트에서 키워드와 일치하는 가장 적합한 동영상을 검색하고 이를 혼합하여 새로운 동영상을 만듭니다.

또한 사용자의 선호도에 따라 비디오의 모양과 느낌을 수정할 수 있습니다. 예를 들어 사용자가 영화 스타일, 35mm 필름으로 촬영된 생생한 색상의 비디오를 원하는 경우 Sora는 조명, 색상 및 카메라 각도를 변경하여 이러한 효과를 비디오에 적용 할 수 있습니다.

또한 이미지를 기반으로 비디오를 만들거나 새로운 자료로 기존 영상을 확장이 가능합니다. 예를 들어, 사용자가 숲 이미지를 제공하면 Sora는 이미지에 애니메이션을 적용하고 동물, 새, 사람과 같은 요소를 추가할 수 있습니다. 사용자가 도로를 주행하는 자동차의 영상을 제공하면 소라는 영상을 확장하고 교통, 건물, 풍경과 같은 요소를 추가할 수 있죠.

고품질 영상 제작이 가능했던 이유, 디퓨전 트랜스포머(Diffusion Transformer) 

• 디퓨전 모델(Diffusion Model) : 원본 이미지를 만들려고 노력하는 과정을 기계 학습하여 새로운 이미지를 만드는 생성 모델. 원본 이미지에 노이즈를 첨가하여 끝에는 완전한 노이즈가 되도록 합니다.
  
  
• 트랜스포머 모델(Transformer Model) : 문장 속 단어와 같은 순차 데이터 내의 관계를 추적해 맥락과 의미를 학습하는 신경망. 서로 떨어져 있는 데이터 요소들의 의미가 관계에 따라 미묘하게 달라지는 부분까지 감지합니다.
  

Sora는 대규모로 훈련된 비디오 모델로 새로운 시뮬레이션이 가능하게 됩니다. 

3D 일관성 :  Sora는 역동적인 카메라 움직임으로 비디오를 생성할 수 있습니다. 카메라가 이동하고 회전하면 사람과 장면 요소가 3차원 공간에서 일관되게 움직입니다.

일관성 및 영속성 : 사람, 동물 및 물체가 가려지거나 프레임을 벗어나는 경우에도 이를 유지할 수 있습니다. 마찬가지로, 단일 샘플에서 동일한 캐릭터의 여러 장면을 생성하여 비디오 전체에서 해당 모습을 유지할 수 있습니다.

인터랙티브한 행동 :  인터랙티브한 행동을 시뮬레이션할 수 있습니다. 예를 들어, 화가는 캔버스에 시간이 지나도 지속되는 새로운 선을 남길 수 있고, 남자는 햄버거를 먹고 물린 자국을 남길 수 있습니다.

디지털 세계 시뮬레이션 :  비디오 게임과 같은 가상적인 프로세스를 시뮬레이션할 수 있습니다. 

현재 Sora는 시뮬레이터로서 많은 한계를 보이고 있습니다. 복잡한 장면의 물리학을 정확하게 시뮬레이션하는 데 어려움을 겪고 원인과 결과의 특정 사례를 이해하지 못할 수도 있습니다. 예를 들어, 어떤 사람이 쿠키를 한 입 베어물었지만 나중에 쿠키에 물린 자국이 없을 수도 있습니다. 또한 유리 깨짐과 같은 많은 기본 상호 작용의 물리학을 정확하게 모델링하지 않을 수 있죠.

또한 왼쪽과 오른쪽을 혼합하는 등 프롬프트의 공간적 세부 사항을 혼동할 수 있으며, 특정 카메라 궤적을 따르는 것과 같이 시간이 지남에 따라 발생하는 이벤트에 대한 정확한 설명에 어려움을 겪을 수 있습니다.

OpenAI는 Sora를 창의적 전문가인 시각 예술가, 디자이너 및 영화 제작자에게만 접근 권한을 부여할 예정입니다. 

또한 실제 사용 전까지 잘못된 정보, 증오 콘텐츠, 편견과 같은 분야에 대한 테스트 및 악용사례를 방지할 수 있는 안전한 사용에 대한 모니터링 도구도 구축하고 있다고 말합니다. 

예를 들어, 텍스트 분류기를 통해 극단적인 폭력, 성적인 콘텐츠, 혐오스러운 이미지, 유명인 초상 또는 타인의 IP를 요청하는 것과 같이 사용 정책을 위반하는 텍스트 입력 프롬프트를 확인하고 거부합니다. 또한 생성된 모든 비디오의 프레임을 검토하여 사용자에게 표시되기 전에 사용 정책을 준수하는지 확인하는 데 사용되는 강력한 이미지 분류자를 개발했습니다.

실제 상용화하기 전까지 다양한 테스트와 피드백 수렴에 적극적으로 나서겠다는 OpenAI의 표명처럼 기술 발전에 따라 악용 사례를 방지하기 위한 노력은 사회적으로 계속 커지고 있습니다. 

오픈AI, 구글, 메타 등 빅테크 기업들은 딥페이크(이미지·목소리·영상 등을 진짜처럼 합성하는 기술) 악용을 방지하는 정책을 만들기 위한 공동협약을 맺기로 16일 개막한 독일 뮌헨안보회의에서 발표했습니다. 메타에서도 생성AI 콘텐츠가 페이스북이나 인스타그램에 게시되면 이를 식별할 수 있는 기능을 시행할 것이라고 지난 6일 발표했죠.

OpenAI는 "Sora는 실제 세계를 이해하고 시뮬레이션할 수 있는 모델의 기반 역할을 하며, 이 기능은 AGI(인공일반지능)달성을 위한 중요한 이정표가 될 것이라고 믿습니다." 라고 얘기합니다. 

인공일반지능(Artificial General Intelligence)이란 일반화된 인간의 인지 능력을 갖추고 익숙하지 않은 상황에 직면해도 해결책을 찾을 수 있도록 설계된 AI를 의미합니다. 이는 Sora가 프롬프트를 스스로 이해하면서 생생하고 강력하게 현실 세계를 동영상으로 시뮬레이션 할 수 있기 때문인데요. 텍스트 기반의 모든 작업의 대체 가능성을 보여주었던 챗GPT의 열풍이 이제는 본격적인 멀티모달AI(텍스트, 이미지, 음성 등 여러 종류의 데이터를 동시에 처리할 수 있는 AI)의 시대로 확장되었다는 생각이 듭니다.

비디오 모델 학습은 언어 모델보다 더 많은 컴퓨팅 성능이 필요하고 이는 막대한 운영 및 서비스 비용 또한 예상할 수 있습니다. 미국 리버사이드 콜로라도대와 앨링턴 텍사스대 연구진이 챗GPT와 한 번 대화를 하는 데 물 500㎖가 소비된다는 계산 결과를 발표했던 것처럼 말이죠. 대형 모델의 성능이 더 빨리 진화할지, 컴퓨팅 성능의 비용이 더 빨리 내려갈지도 앞으로의 AI 서비스의 상용화 측면에서 큰 영향을 미치게 될 것입니다. 

일론 머스크가 소유한 뇌신경과학 스타트업 뉴럴링크는 지난 1월29일 인간의 뇌에 컴퓨터 칩을 이식하는 임상 실험을 시작했습니다. 2016년 뉴럴링크 설립 전, 머스크는 “인간의 뇌에 장치를 삽입해 두뇌를 강화하면 인공지능에 지배당하지 않을 것”이란 주장을 펼치기도 했었죠.

AI의 경우 악용사례의 파장력이 사회적으로 심각할 수 있음을 많은 사람들이 인지하고 이제는 기술의 발전 뿐만 아니라 다양한 관점에서의 안전한 사용과 윤리적 이슈의 해결을 위해 공동체의 형태로 여러 노력을 함께 하는 현상도 더 적극적으로 보여지고 있습니다.

새로운 기술의 진화가 일상과 사회의 패러다임을 바꿀 준비를 하고있는 과도기라는 생각이 듭니다. 드릴러 여러분은 AGI시대 어떤 준비가 필요하다고 생각하시나요? 피드백으로 여러분의 다양한 의견을 알려주세요. 💌

딥페이크는 인공지능과 딥러닝을 사용하여 현실적이지만 가짜 비디오와 이미지를 만드는 기술입니다. 이 기술은 비디오나 디지털 표현을 조작하여 사람이 실제로 하지 않았던 말이나 행동을 한 것처럼 보이게 만듭니다.

이 기술은 엔터테인먼트와 풍자부터 정보를 허위로 퍼뜨리거나 비동의 성적 콘텐츠를 만드는 악의적인 활동에 이르기까지 다양한 목적으로 사용될 수 있습니다. 딥페이크의 현실성이 진짜와 조작된 콘텐츠를 구분하기 점점 더 어렵게 만들면서 중요한 윤리적 및 보안상의 우려를 제기하고 있습니다.