미래에 할 수 있는 경험을 사전 예약하신 퓨처드릴 구독자, 드릴러 🛠️ 여러분 안녕하세요! AI와 UX의 쿨한 콤비네이션을 만들어 drill 퓨처드릴 에디터 쿨냥이🐾 입니다. 

AI Agent의 미래, LAM(Large Action Model) 

환경을 관찰하고 해석하고 상호 작용하도록 설계된 시스템인 LAM의 개념적 구조는 어떻게 구성되어 있다고 생각할 수 있을까요? 

AI 의사 결정을 개선하고 복잡한 작업을 자동화하는 것을 목표로 하기 위해 3가지 단계로 구성된 실행 가능한 AI (Actionable AI)를 위한 프레임워크를 소개해볼께요. 

1. Grounding Stage (환경 입력) 🌍
LAM이 주변 환경을 관찰하는 단계예요. 우리가 키보드로 타이핑하는 모습, 마우스로 클릭하는 행동, 심지어 화면의 모습까지 모두 관찰해요. 마치 요리사가 재료를 고르는 것처럼요!

• 사용자 복합체 데이터 수집(키보드/마우스 동작, 스크린샷 등)
• 오디오 내 연결, 네트워크 접속 데이터 등 추가 정보 수집

2. Analyse Stage (프롬프트 엔지니어링) 🧠
이제 LAM이 관찰한 정보를 분석해요. 우리의 행동 패턴을 이해하고, 어떤 도움이 필요한지 파악하죠. 요리사가 레시피를 읽고 어떤 요리를 만들지 결정하는 것과 비슷해요.

3. Execution Stage (실행) 🏃‍♂️
마지막으로, LAM이 실제로 행동을 취하는 단계예요. 우리의 필요에 맞는 작업을 수행하고, 그 결과를 평가해요. 마치 요리사가 요리를 만들고 맛을 보는 것처럼 말이죠!

• GPT-4v, Claude, Gemini, CogVLM 등의 모델을 기반으로 한 합성 작업 생성
• 논리적(say_hello()와 같은 함수 실행) 또는 리터럴(특정 명령 전송) 작업 수행
• 작업결과 평가 및 피드백 협의

이 3단계를 통해 Actionable AI 는 자체 개선(self-improving)을 특징을 갖고 관찰, 의사 결정, 액션 및 개선의 순환을 갖게 됩니다. 이 과정을 계속 반복하면서 LAM은 점점 더 똑똑해지고 우리에게 더 잘 맞는 도우미가 되어가요. 마치 요리사가 경험을 쌓으며 점점 더 맛있는 요리를 만드는 것처럼요!

LAM(대형 액션 모델)은 LLM(대형 언어 모델) 의 기존 텍스트 생성 기능을 뛰어넘어 AI의 진보된 모습을 보여줍니다. 텍스트로 응답하는 LLM과 달리 LAM은 인간 언어의 의도를 파악하여 복잡한 목표를 이해하죠. 그후 이러한 목표를 일정 작업 기반으로 이메일 필터링과 같은 실제 작업으로 변환합니다.

LAM(Large Action Models)은 인간의 언어를 이해하는 것과 실제 세계에서 액션을 수행하는 것 사이의 차이를 다음과 같은 방법으로 줄입니다. 

• 언어 해독력 MAX 🕵️‍♀️ LAM은 우리의 말을 정말 잘 이해해요. "이메일이 너무 많아!"라고 하면, 단순히 팁을 주는 게 아니라 우리의 진짜 고민을 파악하죠. LLM은 일반적인 이메일 관리 팁만 제공하지만 LAM은 사용자의 불만 사항을 해석하고 이메일 필터링 등 이 문제를 해결하기 위한 방법을 제안할 수 있어요.
  
  
• 말을 행동으로! 🏃‍♂️ 이해한 걸 그대로 실천해요. 이메일이 많다고요? 그럼 바로 필터를 만들어주거나, 이메일 정리 시간을 잡아줄 수 있어요.
  
  
• 실시간 파워 ⚡ LAM은 빛의 속도로 일해요! 우리가 말하는 동시에 이해하고, 바로 행동으로 옮기죠. 운전 중에 LAM이 있다면? 최적의 경로를 찾아 바로 안내해줄 거예요.

1. 보조자 (Assistant) 단계 🎵
   이 단계의 AI는 마치 우리가 좋아하는 스마트 스피커 같아요. "헤이 시리, 오늘 날씨 어때?" 하면 바로 대답해주는 거죠. 명령만 내리면 척척 들어주는 귀여운 친구예요.
   
   
2. 컨시어지 (Concierge) 단계 🍽️
   이 단계의 AI는 우리의 상황을 이해하고 더 나은 제안을 해주는 똑똑한 호텔 직원 같아요. 가족 여행 중에 맛집을 물어보면, "오, 아이들도 있으시네요. 이 레스토랑은 어떠세요?" 하고 딱 맞는 곳을 추천해주죠.
   
   
3. 에이전트 (Agent) 단계 📅
   이 단계의 AI는 마치 슈퍼 비서예요! 우리가 뭘 원하는지 미리 알아채고 알아서 척척 해결해줘요. 출장 다녀오면 지출 보고서가 이미 완성돼 있고, 중요한 이메일은 바로 알려주죠.
   
   

이런 AI 비서들이 우리 생활을 엄청 편리하게 만들어줄 것 같지 않나요? 하지만 우리의 개인정보를 모두 맡기는 건 좀 조심스러울 수 있어요. 훌륭한 비서는 당신이 당신 자신을 아는 만큼 당신을 잘 알고 당신이 한발 앞서 생각할 수 있도록 도와주지만, 신뢰가 형성될 때까지 접근 권한과 책임을 넘겨주는 것은 불편할 수 있죠. 

그렇다면 어떻게 신뢰 가능한 AI 비서를 만들 수 있을까요? 

먼저, 사용 사례에 딱 맞는 AI를 골라야 해요. 위험한 상황엔 AI 대신 인간의 손길이 필요하죠. Salesforce처럼 안전한 AI 사용을 위한 가이드라인을 만드는 것도 좋은 방법이에요.

또한 경보 시스템이 필요해요. AI에 문제가 생기면 바로 알려주는 거죠. 마치 우리 집 화재경보기처럼요!

자동 제동장치도 중요해요. 위험한 상황이 감지되면 자동으로 브레이크를 밟아주는 거예요. 우리 차에 있는 자동 긴급제동 시스템과 비슷하다고 생각하면 돼요.

테스트도 빼놓을 수 없어요. 마치 새 게임을 출시하기 전에 버그를 찾듯이, AI 시스템도 꼼꼼히 테스트해야 해요.

AI의 한계도 인정해야 해요. 완벽한 AI는 없으니까요. 사용자 인식과 선택 의지를 높이는 것이 중요하죠. AI가 잘 모르겠다고 할 땐, 인간이 나서서 도와주면 돼요.

마지막으로, 강력한 보안 시스템이 필요해요. 우리가 소중한 일기장에 자물쇠를 채우듯이, AI 시스템에도 든든한 잠금장치가 있어야 해요.

AI 비서가 계속 발전하더라도 위험을 줄이고 신뢰를 구축하기 위해 가이드 및 거버넌스를 만든다면 우리는 똑똑한 AI 비서가 우리 삶에서 선을 위한 힘으로서의 역할을 수행하도록 함께 협력할 수 있어요. 마치 놀이터에 안전 울타리를 세우는 것처럼, AI에게도 신뢰와 안전을 위한 가이드라인이 필요한 것이죠.

드릴러 여러분! 🛠️ 오늘도 퓨처드릴과 함께 미래 기술의 세계로 여행을 떠나봤어요. AI의 멋진 진화, 정말 놀랍지 않나요? 😃

LLM에서 LAM으로, AI는 이제 말하는 것을 넘어 행동하는 단계로 발전했어요. 마치 우리 옆에 있는 든든한 비서처럼 실제 일을 처리해주는 거죠. 웹사이트 관리부터 앱 조작까지, 심지어 우리의 행동도 배울 수 있습니다. 

하지만 아직 LAM은 상용화 된 제품에서는 부족한 점이 많다는 평가를 많이 받고 있어요. 래빗 R1 모델의 경우 출시 초기 스포티파이, 우버, 도어대시, 미드저니 등 4개 앱만 지원해요. 또한 800개의 앱이 학습되었다고 주장하지만 아직 기기에는 해당 앱에 대한 UI가 없는 등 CES에서 발표된 컨셉에 비해서 실제 사용시에는 아쉬운 점이 많다고 하네요. (Rabbit R1 리뷰 영상) 

LAM의 개념이 UX 관점에서는 새로운 컨셉은 아니지만, 점점 더 기술의 발전을 통해 AI 에이전트의 발달로 편리해질 일상이 정말 기대돼요. 하지만 잊지 말아야 할 점은, 이 모든 기술의 중심에는 여전히 우리 인간이 있기 때문에 신뢰할 수 있는 AI가 점점 더 중요해질 것 같네요. :)
 

신뢰할 수 있는 AI는 안전하고 윤리적이며 투명하게 운영되는 AI 시스템을 개발하고 배포하는 것을 의미합니다. 즉, AI 애플리케이션과 의사결정 과정에서 다음과 같은 원칙을 준수해야 합니다.

핵심 원칙:

• 공정성 (Fairness): AI 시스템은 성별, 인종, 성적 지향 또는 종교에 따라 개인이나 그룹을 차별하거나 편견을 보여서는 안 됩니다.
• 투명성 (Transparency): AI 시스템은 어떻게 작동하는지, 어떤 데이터를 사용하는지, 어떤 결정을 내리는지 명확하게 설명할 수 있어야 합니다.
• 책임감 (Accountability): AI 시스템의 개발 및 운영에 대한 책임은 명확하게 규명되어야 합니다. 또한, 시스템 오류 발생 시 책임 소재를 명확히 하고 시스템 개선을 위한 조치를 취해야 합니다.
• 안정성 및 안전성 (Robustness and Security): AI 시스템은 안전하고 안정적으로 작동해야 하며, 악意적인 공격으로부터 시스템과 데이터를 보호해야 합니다.
• 개인 정보 보호 및 보안 (Privacy and Security): AI 시스템은 개인 정보를 보호하고 데이터 침해로부터 보호하기 위한 조치를 취해야 합니다.