미래에 할 수 있는 경험을 사전 예약하신 퓨처드릴 구독자, 드릴러 🛠️ 여러분 안녕하세요!

AI와 UX의 알쏭달쏭한 점을 시원히 해결해 drill 퓨처드릴 에디터 쏭🍄 입니다.

오늘은 애플에서 오픈소스로 발표한 MGIE라는 논문을 자세히 리뷰해 보는 시간을 갖도록 하겠습니다. 이 논문 속 모델은 포토샵과 같은 전문적인 이미지 편집 도구 없이도 자연어와 같은 프롬프트로 이미지를 편집할 수 있습니다. 이번 논문의 기본 뼈대가 되는 멀티모달 LLM부터 모델의 핵심이 되는 부분까지 모두 알려 drill게요~!

 여러분 혹시 페이스북에서 이미지 편집을 요청하면 위트있게 사진을 편집해 주는 페이지들을 보신 적 있으신가요? 요즘은 문턱이 낮아졌지만, 예전에는 포토샵과 같은 이미지 편집 도구를 사용하지 못하는 사람들이 전문가에게 이미지 편집을 요청하는 일이 왕왕 있었는데요, 만약 내가 포토샵과 같은 전문적인 도구를 모르더라도 프롬프트만으로 이미지를 편집할 수 있다면 어떨까요? 오늘은 애플과 산타바바라 대학이 협력하여 만든 MGIE라는 논문을 소개해 드리도록 하겠습니다. MGIE 논문의 가장 큰 특징 두 가지와 그 특징을 결합하여 전체 학습 과정은 어떻게 이루어지는지 알려드릴게요.

모두 follow me ~ 💖

다양한 모달리티를 처리할 수 있는 LLM

Chat-gpt에서 사용되는 모델은 거대 언어 모델(LLM)입니다. 우리가 평상시 사용하고 있는 Chat-gpt는 거대 언어 모델(LLM) 기반으로 다들 써보셔 아시겠지만 이미지를 주고 정보를 요청할 수 없습니다. 저희가 할 수 있는 일은 오직 텍스트를 입력하는 것으로 제한됩니다. 하지만 구글의 Bard, Gemini 같은 모델은 텍스트 이외의 이미지, 사운드 같은 다양한 형식의 데이터도 입력할 수 있습니다. 이렇게 다양한 모달리티를 처리할 수 있는 모델을 바로 멀티 모달 대형 언어 모델 (MLLM)이라고 합니다. 다양한 형식의 데이터를 처리하기 위해서는 각 형식의 데이터를 이해하는 부분과 그 특징을 바탕으로 언어로 출력하는 부분이 있습니다. 입력으로는 이미지, 소리, 제스쳐와 같은 다양한 데이터가 들어갈 수 있지만 언어 모델인 만큼 출력은 언어로 이루어집니다. 다양한 형식의 데이터와 출력으로 나오는 언어를 연결해 주는 부분이 필요한데 그 부분을 ‘시각 인코더’와 ‘어댑터’라고 합니다. 이 논문에서는 사진을 기반으로 이루어지기 때문에 시각 인코더라고 했지만 소리가 입력된다면 소리 인코더가 됩니다.

시각 인코더(Image Encoder)는 인공지능이 이미지를 이해하고 처리할 수 있도록 도와줍니다. 이미지에서 중요한 특징이나 패턴을 찾아내고 숫자로 변환해 줍니다.

어댑터(Adapter)는 시각 인코더가 추출한 이미지의 특징을 언어로 표현할 수 있도록 도와줍니다. 즉 이미지에 대한 정보를 단어나 문장으로 바꿔줍니다.

MGIE 모델의 핵심 살펴보기

섹션 1.  간결한 지시사항 도출하기

사람들의 요청은 모호할 수 있습니다. 위의 예시처럼 “배경을 사막으로 바꿔줘”라는 지시가 무엇을 의미하는지 인공지능은 바로 이해할 수 없습니다. 그렇기에 우리가 원하는 목표 이미지가 어떤 시각적 특성이 있는지 정확히 도출하기 위해서 MLLM을 이용해 학습하는 과정이 필요합니다. 아래는 우리가 가지고 있는 원본 이미지와 이미지의 편집 방향을 가지고 간결하고 명확한 지시 사항을 도출하는 과정입니다.

1. prompt + instruction을 통해 새로운 지침을 만들기 + 편집하고 싶은 이미지를 MLLM에 입력하기

"만약 [”배경을 사막으로 바꿔줘”]를 하면 이 이미지는 어떻게 될까요?"라는 새로운 프롬프트 만들어 이미지와 함께 MLLM에 입력으로 넣어줍니다.

2. MLLM의 결과를 요약 모델에 넣어 간결하고 명확한 지시 사항을 도출하기

그러나 MLLM의 결과로 나온 설명은 보통 너무 길고 중복된 내용이 있고 그렇기에 원래 우리가 수정하고자 했던 방향을 잘못된 방향으로 이끌 수 있습니다. 그래서 사전 훈련된 요약 모델에 MLLM의 결과를 다시 넣어 간결하면서도 핵심만을 담고 있는 핵심 표현을 도출할 수 있습니다.

이렇게 도출된 핵심 표현 E를 통해 우리가 바라는 최종 이미지가 어떤 특징을 가져야 하는지 언어로 정리했습니다. 이제 해야 할 일은 이 표현을 이미지로 대응하여 우리의 원본 이미지를 변환하는 일입니다.

섹션 2. 지시사항을 기반으로 이미지 생성하기

 여러분 오늘 논문 어떠셨나요? 포토샵과 같은 도구를 사용하지 않아도 자연어만으로도 이미지를 편집할 수 있다니 정말 새로운 접근방식이라고 생각합니다. 오늘 뉴스레터에서는 다루지 못했지만, 애플은 최근 키프레이머라고 하는 자연어만으로 짧은 애니메이션을 만들 수 있는 모델 또한 오픈소스로 공개했습니다. 생성형 인공지능의 도움으로 포토샵과 같은 전문 도구 안에서도 쉽게 이미지를 만들 수 있게 되었는데 이제는 도구를 사용하지 않더라도 내가 원하는 이미지를 자유롭게 만들어낼 수 있는 세상이 성큼 다가온 것 같습니다.

 이렇게 자연어를 이용해 다양한 처리를 할 수 있는 모델이 많은 등장하는 배경에는 애플이 최근 출시한 비전 프로와 같은 XR 제품들이 있다고 생각됩니다. 비전 프로와 같은 XR 환경에서 일일이 손으로 조작하는 인터페이스보다는 자연어를 통해서 말로 명령을 내릴 수 있다면 사용자가 훨씬 더 가상환경에 집중할 수 있으리라 생각됩니다. 

  빠른 기술 발전으로 놀라움과 걱정을 동시에 느끼는 요즘, 더 많은 드릴러분들이 미래에 적절히 대응할 수 있도록 더 깊이 있는 내용으로 찾아뵙겠습니다. 오늘도 어려운 내용 끝까지 읽어주셔서 감사합니다.