💥 "AI, 너 F야?" T에서 F로 변화하는 인공지능 패러다임!

영화 <her>, 아이언맨의 <자비스>처럼 변화하는 패러디임을 이해할 수 있게 해 drill게요!

2024. 5. 22.

2024.05.23 | vol. 28 | 구독하기 | 지난호보기

미래에 할 수 있는 경험을 사전 예약하신 퓨처드릴 구독자, 드릴러 🛠️ 여러분 안녕하세요! AI와 UX의 쿨한 콤비네이션을 만들어 drill 퓨처드릴 New 에디터 또치🐣, 인사드릴게요!

최근 Open AI의 GPT-4o의 발표부터 Google IO 2024, 10주년 AWS summit까지 따라잡기 바쁜(힘든).. 나날이었는데요~!! 그럼에도 끊임없이 나아가고 있는 여러분들에게 박수를 드려요!(짝짝짝👏)

저번주에 소개되었던 GPT-4o를 보셨나요? 질문을 해야 원하는 답변을 해주는 인공지능이 아니라, 감정을 활용하면서 자연스러운 소통을 할 수 있는 인공지능으로 점차 변화되고 있어요. 그리고 OpenAI와 애플이 손잡으면서 다양한 기기에도 인공지능이 활용될 것 같아요!

어디서든 나타나는 "아이언맨의 자비스"처럼요..!

만약 인상을 찌푸린 상태로 집에 들어갔다면, 인공지능 서비스가 "혹시.. 오늘 무슨 일이 있었어?"라고 물어볼 수 있겠네요!👀 인공지능이 자연스럽게 소통한다면 사용자에게 색다른 경험을 제공하겠죠? 오늘은 자연스럽게 소통할 수 있는 인공지능에 대해 소개해 drill게요~!

준비 되셨다면 같이 출발해 볼까요? Ready, set, go! 🐤

시작하기 - Turning On the Drill

"프롬프트를 어떻게 작성해야해..? 원하는 답변이 안나와!"

2022년 말.. ChatGPT가 등장하면서, 많은 사용자들과 함께 AI와 상호작용을 시작하게 되었는데요. 사용자는 프롬프트를 통해 응답을 요구하기 시작했어요. 만약 경험이 부족한 사용자가 AI 기능과 배경에 대해 이해하지 못한채 대화를 시작한다면, AI는 어김없이 엉뚱한 대답을 하거나 자신은 대답할 수 없다고 답변할 수 있어요.

그래서 더 나은 응답을 얻기 위해서 사용자들은 노력하기 시작했죠. 사용자들이 원하는 방향으로 제어하고 지시할 수 있는 방법을 터득하기 위해서 LLM이나 프롬프트 작성법을 가르쳐주는 교육 산업도 활성화 되었답니다.🙈

일본 서점에 있는 수많은 ChatGPT 가이드 책

(출처 interactions.acm.org(XXXI.3 May-June 2024 / page 30))

프롬프트 교육용 게임

(출처 Google Arts & Culture)

60년 만의 전환되는 "사용자 인터페이스 패러다임"

현재 AI를 사용할 때, "전문가를 위한 도구"로 활용되고 있는데요.

그 이유는...!

대화형AI임에도 불구하고 명령 기반의 소통을 하였기 때문이에요. 사용자가 프롬프트에서 텍스트를 입력하면 텍스트로 답하는 형식이기 때문에 단 방향으로 명령하는 소통을 할 수밖에 없었어요. 명령 기반은 사용자가 컴퓨터에 하나씩 지시하고, 컴퓨터는 그 명령을 순서대로 결과를 만들었는데요. 그래서 사용자가 잘못된 명령을 내리면 원하지 않는 결과가 나왔었습니다. 이러한 한계점을 파악하고, 이제부터 "의도 기반 상호작용"으로 전환하려고 노력하고 있습니다.

의도 기반 상호작용은 사용자가 결과를 말해주면, AI가 알아서 의도를 파악하고 작업을 하는 형태입니다. 세부적인 명령과 순서를 내리지 않아도 되는 것이 가장 큰 차이라고 할 수 있죠.

새로운 AI 패러다임

(출처 닐슨 노먼 그룹 https://www.nngroup.com/articles/ai-paradigm/)

"공감"을 위한 "AGI과 LMM"

사람의 "의도"를 파악하기 위해서는, "의사소통"이 필요한데요!

의사소통에서는 마음이론, 즉 공감능력이 중요해요. 심리학에서 마음이론(Theory of Mind, ToM)은 타인의 지식과 믿음, 의도 등을 이해하고 공감하는 능력을 의미해요. 원활한 소통과 협력을 위해 필수적인 요소라고 할 수 있어요.

(흥미롭게도 ToM 능력은 인간의 인지 발달 과정에서도 중요하지만, 자폐 스펙트럼 장애를 판단하는 하나의 기준이 되기도 한답니다.)

기존의 ChatGPT의 기반이었던 텍스트나 말처럼 언어적인 요소뿐만 아니라, 얼굴 표정부터 말투, 목소리, 발음, 태도나 손짓 등의 비언어적인 요소를 통해 공감 능력을 갖춘 시스템을 개발하는 방향으로 나아가고 있어요. 그것이 바로 LMM과 AGI인데요. 이러한 공감을 구현하는 데 중요한 역할을 합니다.

| LMM(Large Multimodal Model)

대규모 멀티모달 모델로, 오감 기능을 터득하는 것과 같아요. 모달은 일종의 텍스트나 이미지, 음성, 영상 등을 의미해요. 멀티모달은 여러 모달을 한꺼번에 파악하고 이해하기 때문에 사고나 판단, 문제 해결같은 고도의 의사결정도 가능해요. 기존의 대규모 언어 모델(LLM)은 프롬프트에서 텍스트를 입력하면 텍스트로 답하는 방식과 달리, 대규모 멀티모달은 이미지나 음성, 영상으로 답할 수 있어요.

정보통신기획평가원은 "실제 AI가 멀티모달을 통해 인간의 오감 기능을 터득하게 되면, 로봇공학, 자율주행, 헬스케어 등과 연계되며 인간의 삶에 어떤 변화가 올지 알 수 없다."고 경계하기도 했어요. 그럼에도 불구하고, 인간처럼 세상을 인식할 수 있는 AGI의 초석이 될 수도 있다는 전문가들의 해석도 있어요.

(2024.05.16 https://www.apple-economy.com/news/articleView.html?idxno=73361)

| AGI(Artificail General Intelligence)

AGI는 범용인공지능이라고 번역하고, 강인공지능(Strong AI)라고도 불려요. AGI는 언어를 넘어서 이미지, 음성, 영상 등의 데이터를 일반적인 인간에 가까운 지능으로 해낼 수 있는 기계의 지능을 뜻해요. AGI는 인간보다 나은 수준의 지능을 갖춘 AI나 기계 개발을 목표로 해요. 그래서 교육과 인간의 개입 없이도 사람과 유사한 학습 능력, 추론 능력, 문제해결 능력, 창의성을 갖출 수 있도록 개발을 진행중이에요. AI분야 세계 석학 제프리 힌턴 토론토대 교수는 AGI가 "기술용어가 아니다"라고 말했어요.

AGI를 가장 똑똑한 인간보다 똑똑한 AI로 정의한다면, 아마 내년 혹은 후년에 가능할 것 같습니다. (If you define AGI as smarter than the smartest human, I think it's probably next year, within two years.)

일론머스크, 노르웨이 국부펀드의 니콜라이 탕겐 CEO와의 인터뷰 중

(2024.04.08)

이처럼, AI는 앞으로도 사람과 더 나은 지능으로 소통할 수 있도록 발전할 거에요. LMM과 AGI가 발전하면서, HCI와 UX에서도 큰 변화가 있을 것 같은데요.

어떠한 변화가 있을지 함께 알아보러 가실까요?

새로운 패러다임에서, HCI와 UX에서 어떠한 변화가 찾아올까?

| 더 자연스러운 상호작용

사람과 대화하듯이 자연스러운 상호작용이 가능해질 것 같은데요. 이제 복잡한 명령어나 특정 인터페이스를 습득할 필요 없이, 그냥 자연스럽게 행동하면 되죠. 음성 인식이나 제스처 인식, 감정 인식 기술이 발전함에 따라서 컴퓨터가 사람처럼 반응해줄 거예요. 사용자가 손짓으로 화면을 넘기거나, 목소리 톤을 높이면 컴퓨터가 이를 인식하고 즉각적으로 반응하는 것 처럼요.

| 개인화되는 사용자 경험

사용자의 행동 패턴과 취향을 학습해서 각 사용자에게 최적화된 인터페이스를 통해서 맞춤형 경험을 제공해줄 수 있어요. 이미 유튜브에서 내가 좋아하는 취향에 영상 알고리즘을 제공해주는데요. 점점 더 정교해지고 인터페이스와 서비스가 통합되면서, 사용자의 성격과 취향에 따라 필요한 정보를 미리 제공하거나 자동으로 작업을 수행할 거에요.

| 감성적 인식과 반응

사용자의 감정을 포착하고 적절히 반응하면서 공감할 수 있는 능력을 갖추게 될 거에요. 감정상태에 맞는 적절한 반응과 서비스를 제공함으로써 감성적 상호작용이 가능해지는데요. 사용자의 정서적인 요구를 충족시키고, 더 오랜 시간 서비스를 이용하도록 유도할 거에요. 게임이나 교육 애플리케이션에서도 사용자 감정에 따라 난이도나 진행방식이 달라질 수도 있겠죠.

| 상황 인지 및 맥락 이해

멀티모달 인터페이스를 통해 사용자의 상황과 맥락을 정확하게 파악할 수 있도록 해줄거에요. 사용자의 현재 상태와 요구사항에 맞는 최적의 상호 방식을 제공하는 기술이 중요해질거에요. 상황 인지와 맥락 이해는 사용자 경험을 더욱 개인화하고, 사용자가 필요로 하는 정보를 정확한 시점에 제공하면서 사용자 친화적으로 진화할 수 있어요.

| 실시간 적응형 인터페이스

시스템이 실시간으로 사용자의 행동과 환경 변화에 적응하는 능력이 중요해질 거에요. 적응형 인터페이스는 사용자의 행동 패턴을 학습하여 사용자 요구에 즉각적으로 대응하고, 더욱 유연하고 동적인 상호작용을 제공할거에요. 다양한 사용자 그룹, 특히 장애를 가진 사용자들에게도 접근성을 높일 수 있는 기회에요.

FIGURE 01과 GPT-4o를 보게 되면 이미 변화가 시작되고 있다는 것을 알 수 있죠!

FIGURE 01을 보면 인공지능과 로봇이 만나면서 스스로 분석하고 추론할 수 있다는 걸 알 수 있죠. 여기서 더 발전하여서, GPT-4o는 실시간으로 빠르게 음성과 이미지를 분석하여 대답하는 것도 볼 수 있어요!

OpenAI의 FITURE 01 소개 (2024년 3월 13일)

OpenAI의 GPT-4o 소개 (2024년 5월 14일)

마무리하기 - Turning Off the Drill

이번 글은 LMM과 AGI의 기술의 발전으로 인해서 HCI 및 UX 분야의 패러다임이 전환되고 있는 모습을 확인할 수 있었는데요. 다양한 형태로 정보를 인식하고 사용자들에게 출력하면서, 사람과 자연스럽게 소통할 수 있는 인공지능으로 발전하고 있는 모습이 인상적이었어요.

앞으로 AI는 사람보다 더 나은 지능을 갖고 소통할 수 있도록 더욱 발전될거에요. 사용자가 직접 명령하지 않아도 AI는 의도를 파악하고 소통부터 공감, 협력 그리고 어려운 문제 해결까지 가능한 AGI시대가 곧 도래할 것이에요! 무궁무진한 가능성을 가지고 있어서 앞으로가 더욱 기대가 되네요🐣🐥🐤

📝 오늘의 단어: LLM, LMM, AGI

LLM(Large Language Model)은 대규모 언어 모델로, 방대한 양의 텍스트 데이터를 기반으로 학습하여 인간과 유사한 자연어 처리 능력을 갖춘 모델이에요. 주로 텍스트 입력을 받아 텍스트로 응답하는 방식으로 작동해요.

LMM(Large Multimodal Model)은 대규모 멀티모달 모델로, 다양한 형태의 데이터(텍스트, 이미지, 음성, 영상 등)를 동시에 처리할 수 있는 모델이에요. 다양한 모달을 결합하여 더 풍부하고 복합적인 정보를 처리하고 이해할 수 있어요.

AGI(Artificial General Intelligence)는 범용 인공지능 또는 강인공지능(Strong AI)을 의미해요. 교육이나 인간의 개입 없이 스스로 특정 작업에 국한되지 않고 처리할 수 있는 모델이에요. 인간보다 더 나은 수준의 지능을 목표로 해요.

모두의연구소 AIX LAB에 새로운 연구원님들이 이번주부터 함께 하게 되었어요! :) 새로운 분들과 함께 다양한 관점에서 더 재미있고, 더 유익한 콘텐츠를 기대해봅니다.

본 뉴스레터는 모두의연구소 AIX LAB에서 K-하이테크 플랫폼에 지원 받아 진행됐습니다.

📬퓨처드릴 구독하기

💌피드백으로 응원하기

👇🏻 퓨처드릴 인스타그램 계정 팔로우하고, 빠르게 소식을 확인하세요 👇🏻

이전 뉴스레터

💥 AI로 시작하는 새로운 UI 디자인 방식

2024. 5. 19.

다음 뉴스레터

💥하늘을 나는 자동차를 나도 탈 수 있다고?

2024. 5. 26.

퓨처드릴 - AIX

AI Experience (AIX)의 이모저모를 전해드리는 '퓨처드릴'입니다!