AI와 UX를 사랑하시는 퓨처드릴 구독자, 드릴러 🛠️ 여러분 안녕하세요! 인공지능 시대의 알쏭달쏭한 점들을 시원하게 알려드릴 퓨처드릴 에디어 쏭🍄입니다~!

 오늘은 애플이 발표한 UI-JEPA 논문에 대해 다뤄보겠습니다. 최근 인공지능 시대에 애플이 뒤처지고 있다는 우려가 커지고 있는 가운데, 애플이 제시하는 인공지능 시대의 비전은 무엇일까요?

 많은 전문가들은 애플이 하드웨어를 보유하고 있기 때문에 '에이전트'를 통해 다시 한번 시장에서 주도권을 잡을 수 있을 것으로 예상하고 있습니다. 그렇다면, 이러한 에이전트가 사용자 의도를 정확하게 수행하기 위해서는 무엇이 필요할까요? 오늘은 UI-JEPA 모델을 통해 모바일 기기와 상호작용하는 사용자의 의도를 이해하는 방법에 대해 자세히 알려 drill 게요~!

인공지능 시대, 애플의 비전은 무엇일까요?

 기존 모델은 이미지 인코더와 대형 언어 모델(LLM)을 결합하여 주로 아이콘 인식이나 위젯 나열 같은 기본 UI 작업에 한정됩니다. 정적 이미지를 처리하기 때문에 시간적 관계를 이해하는 데 한계가 있어, 사용자의 행동을 명확히 파악하기 어렵습니다.

 반면, UI-JEPA 모델은 비디오 데이터를 활용하여 사용자 상호작용의 시간적 동적성을 이해합니다. 이를 통해 사용자의 행동 흐름과 UI 구성 요소 간의 관계를 효과적으로 학습하고, 사용자 의도를 더 정교하게 추론할 수 있습니다. 결과적으로, JEPA 모델은 UI 상호작용을 동적인 관점에서 접근하여 향상된 사용자 경험을 제공합니다.

✅ 어떤 데이터셋을 어떤 방식으로 사용하나요?

사용자 의도를 설명하는 주석이 없는 비디오를 활용해 모델을 자가 지도 방식으로 학습합니다. (자가 지도 방식에서는 주어진 데이터에 대한 정답이 없고, 데이터 자체를 학습합니다.)

✅ 데이터셋을 어떻게 처리하나요?

주어진 비디오의 특정 부분을 마스킹합니다. 마스킹되지 않은 비디오(즉, 남겨진 부분)는 모델이 이해하는 데 도움이 되며, 마스킹된 부분은 모델이 예측해야 할 목표가 됩니다.

✅ 구성 요소에는 무엇이 있나요?

✅ 어떻게 학습이 이루어지나요?

비디오 입력: 모델에 비디오를 입력합니다. 이 비디오는 x-encoder로 전달됩니다.

마스킹: 비디오의 일부를 무작위로 가립니다. 가려진 부분은 모델이 예측해야 할 내용입니다.

x-encoder 처리: x-encoder는 가려지지 않은 비디오를 분석하여 중요한 정보를 추출합니다.

y-encoder 활용: y-encoder는 x-encoder가 제공한 정보를 바탕으로 가려진 부분을 예측합니다.

예측기 작동: 예측기는 x-encoder에서 얻은 정보를 사용해 y-encoder의 예측을 수행합니다.

손실 함수 계산: 예측한 내용과 실제 가려진 내용을 비교하여 예측의 정확성을 평가합니다.

가중치 업데이트: 틀린 정도를 바탕으로 x-encoder와 y-encoder의 가중치를 조정하여 더 정확한 예측이 가능하도록 만듭니다.

반복 학습: 이 과정을 여러 번 반복하여 모델이 사용자 의도를 더 잘 이해하도록 학습합니다.

✅ 어떤 데이터셋을 어떤 방식으로 사용되나요?

위에서 설명한 IIT 데이터셋을 사용합니다. IIT 데이터셋은 UI 화면을 녹화한 동영상과 해당 행위를 설명하는 라벨로 구성되어 있습니다. 이 단계에서는 첫 번째 튜닝 단계와 달리 지도 학습 방식을 이용합니다.

✅ 구성 요소에는 무엇이 있나요?

✅ 어떻게 학습이 이루어지나요?

데이터 입력: IIT 데이터셋이 모델의 입력으로 사용됩니다.

데이터 분할: 동영상과 라벨로 이루어진 IIT 데이터셋을 동영상(x)과 라벨(y)로 분할합니다.

임베딩 레이어 통과: 동영상은 Video Embedding을 통해, 라벨은 Text Embedding 레이어를 이용해 각각의 특성을 추출합니다.

언어 모델 작동: 언어 모델은 비디오 임베딩을 언어적 문맥과 연결하여, 비디오에서 나타나는 행동이나 상황을 설명하는 자연어 텍스트를 생성합니다.

손실 함수 계산: 예측한 내용과 실제 정답을 비교하여 예측의 정확성을 평가합니다.

가중치 업데이트: 틀린 정도를 바탕으로 언어 모델의 가중치를 조정하여 더 정확한 예측을 가능하게 합니다.

반복 학습: 이 과정을 여러 번 반복하여 모델이 사용자 의도를 더 잘 이해하도록 학습합니다

에이전트의 특징

자동화: 에이전트는 사람의 개입 없이 스스로 작업을 수행할 수 있습니다. 예를 들어, 이메일을 확인하고 중요한 메일을 분류하는 일을 할 수 있습니다.

지능: 에이전트는 데이터를 분석하고, 사용자와 상호작용하며, 그 결과에 따라 적절한 행동을 결정할 수 있습니다. 예를 들어, 추천 시스템은 사용자의 취향을 학습하여 맞춤형 추천을 제공합니다.

상호작용: 에이전트는 사용자와 소통할 수 있는 능력이 있습니다. 예를 들어, 음성 비서(스마트 스피커)처럼 사용자의 질문에 답하거나 명령을 수행할 수 있습니다.