💥 AI와 UX: 책임 있는 설계부터 클라우드 게이밍, LLO까지

Interactions의 논문에 나온 AI와 UX의 결합에 대해 알아 봐 drill게요

2024. 8. 7.

2024.08.08 | vol. 47 | 구독하기 | 지난호보기

미래에 할 수 있는 경험을 사전 예약하신 퓨처드릴 구독자, 드릴러 🛠️ 여러분 안녕하세요! AI와 UX의 재미를 물어온 퓨처드릴 에디어 또치🐣입니다~!

오늘은 세계에서 가장 큰 교육 및 과학 컴퓨터 학회인 ACM(Association for Computing Machinery)에서 운영하는 대표잡지인 "Interactions"에 대해 살펴보려고 해요. "Interactions"는 아~주 재미있는 인간컴퓨터상호작용(HCI)부터 상호작용 디자인(IxD), 사용자 경험(UX)까지 실무와 연구 사이에 있는 특별한 목소리들을 2개월마다 전 세계적으로 발행한답니다.

따끈따끈하게 갓 발행된 7-8월호를 함께 떠나볼까요?

!!!🐤(아래 글로, 팔로팔로미~) 🐦🐘🦖🐧🐟🐈🕊️🐪🦔(팔로팔로유~)

시작하기 - Turning On the Drill

어떤 컨텐츠가 있을까?(두근두근💗)

이번 7-8월호 ACM Interactions에는 다양한 주제의 흥미로운 컨텐츠가 가득한데요~! 이번 호에서는 "책임 있는 AI(Responsible AI)"라는 주제를 중심으로 다양한 연구와 프로젝트들을 소개해드리려고 해요.

먼저, 환영의 글에서는 AI 시스템의 확산과 이에 따른 책임 있는 AI 설계의 중요성을 다루고 있어요. 다음의 도서 소개에서는 HCI/UX 분야에서 주목할 만한 책인 Will Guidara의 "Unreasonable Hospitality"를 통해 최고급 레스토랑을 만드는 과정을 알아볼 수 있어요. 또한 상호작용 기술이 어떻게 다양한 사회기술적 상상력을 형성할 수 있는지를 탐구하고 있는지 소개해요. 또한 프로젝트 리더십, AI가 전기 불평등, 기후 변화에 대응 설계, 노동자의 기술 산업 차여와 클라우드 게이밍 혁신, 데이터 이해 설계, 포용적 교육 사례, AI 생성 콘텐츠의 진정성, 대형 언어 모델 등을 논의한답니다.

저는 이중에 "책임있는 인공지능(RAI)"과 "클라우드 게임", "물리적 AI 및 생성 경험의 디자인"을 더 자세히 살펴보려고 해요. 더 많고 자세한 내용을 보고 싶으시다면 아래의 링크나 ACM Library에서 찾아보실 수 있어요 😊

Interactions 표지 (https://interactions.acm.org/archive/toc/july-august-2024)

🤖책임있는 인공지능(Responsible AI)을 위한 UX의 역할

UX MATTERS: THE CRITICAL ROLE OF UX IN RESPONSIBLE AI

Authors:
Q. Vera Liao, Mihaela Vorvoreanu, Hari Subramonyam, Lauren Wilcox

이 논문은 책임 있는 AI(RAI)와 사용자 경험(UX)의 관계를 탐구해요. AI 기술과 UX 실천을 결합하여 책임 있는 AI 구현을 위한 길을 모색해요. 또한 UX가 AI 개발 및 배치에서 중요한 역할을 하고 있음을 강조해요.

먼저 실제 사건을 바탕으로 영감을 받았다고 해요!

"한 회사가 병원에 AI 기반 시스템을 도입하여 치료 계획을 추천합니다. 일부 의사들은 기존의 업무 방식을 변경하기에 업무 부담을 느껴 거부합니다. 반면, 다른 의사들은 기술의 강력함에 놀라고, AI의 지나치게 신뢰하고 수용해요. 잘못된 추천도 수용하면서 부정적인 역할을 미칩니다."

🧐여기서 UX의 역할과 중요성이 무엇일까요?

1. 책임 있는 AI 구현에서 UX

UX 전문가들은 AI 개발 사이클 전반인 사회기술적 시스템의 이해, 아이디어 구상, 디자인 개입 및 평가 등 다양한 단계에서 중요한 역할을 해요.
UX는 책임 있는 AI(RAI) 실천과 공통의 목표, 원칙 및 관점을 공유해요. UX와 RAI의 시너지 효과는 AI 시스템이 사람에게 미칠 수 있는 해악을 줄이는데 기여할 수 있어요.

2. 사회기술적 관점

AI 시스템은 본질적으로 사회기술적 특성을 지니고 있어서, 사회적 역학과 인간 행동에 영향을 받아요. AI 시스템의 위험과 이익은 기술적 측면과 사회적 요인이 결합되어 발생해요.
UX는 상호작용을 이해하고 긍정적으로 강화하는 데 필수적인 역할을 하죠. 기술 전문가와 사람을 이해하는 전문가가 함께 협력해야해요.

3. UX의 기여 방법

다양한 이해관계자의 가치, 필요, 우려를 파악해서, AI 시스템의 공정성 기준과 피해 완화 전략을 수립하는 데 도움을 줄 수 있어요.
UX 디자이너들은 AI 시스템과의 상호작용을 설계하여 사용자들이 AI의 부정확한 추천에 지나치게 의존하지 않도록 도울 수 있어요.

💥UX와 RAI의 어떻게 결합해야할까요?

1. 사회기술적 요소를 명확하게

UX는 시스템의 이해관계자, 가치와 필요, 배치 맥락을 이해하면서 RAI 원칙을 특정 시스템에 맞게 적용하는데 도움을 주어요.

(AI 시스템의 공정성을 보장하기 위해 환자 및 임상의 다양한 집단에 대해 연구하고 공정성 기준을 정의)

2. 책임 있는 AI 사용

AI 기능의 필요성을 평가하고, 실제 사용자 문제 해결 여부를 판단하는 데 UX가 도움을 주어요. 불필요한 자원 낭비와 예기치 않은 해악을 방지할 수 있죠.

3. 상호작용에서 RAI 개입

상호작용 내에서 AI 시스템의 잠재적 해악을 완화하기 위한 디자인 기능을 제공할 수 있어요.

(AI 설명을 더 쉽게 이해할 수 있도록 시각화 또는 텍스트 모드를 활용할 수 있어요.)

4. 책임 있는 평가 수행

RAI는 반복적인 개발 및 평가를 필요로 하고, UX는 인간 중심의 평가 방법을 통해 AI 시스템이 이해관계자에게 미치는 실제 효과를 반영할 수 있어요.

📈조직과 UX 분야의 발전 방안은 어떻게 할까?

1. 조직을 위한 제안

UX 연구자와 디자이너를 초기 제품 아이디어 및 정의 단계에서 참여시키는 것을 제안해요. 데이터셋, 모델, 시스템의 반복 개발 및 평가 과정에서도 중요한 역할을 해야 하죠.
UX와 비UX 분야 간의 협력을 촉진하면서, RAI 실천을 효과적으로 할 수 있도록 해야 해요.

2. UX 분야의 발전 방안

RAI 원칙에 특화된 연구, 설계, 평가 방법을 개발하고, AI의 사회적 영향을 평가할 수 있는 새로운 UX 도구를 개발해야 해요.
UX 교육 및 자원에서 비판적이고 윤리적인 관점을 강화하여, UX 실무자가 AI의 위험성과 윤리적 고려 사항에 민감하도록 해야 해요.

⛈️클라우드 게임

CLOUD GAMING: REVOLUTIONIZING THE GAMING WORLD FOR PLAYERS AND DEVELOPERS ALIKE

Authors:
Ghazal Bangash, Pierre-Adrien Forestier, Loutfouz Zaman

이 논문은 클라우드 게이밍이 어떻게 게임 산업과 플레이어, 개발자에게 미치는지 영향을 탐구해요. 그로 인해서 발생하는 새로운 기회와 도전 과제에 대해 설명해요!

🎮기존의 게임 환경과 문제점이 무엇일까?

기존의 가장 큰 게임 환경 문제점은 하드웨어인데요. 개인용 컴퓨터(PC)나 콘솔에서 게임을 실행하기 때문에, 개발자와 플레이어 모두에게 불편함을 초래했어요.

플레이어 측면: 최신 게임을 즐기기 위해서는 고가의 게임 장비와 콘솔 업데이트가 필요하기 때문에 장비를 유지하고 구입하기 어려워요.
개발자 측면: 창의적 역량과 더불어 고사양 테스트 및 렌더링 장비가 필요하면서, 개발 자원에 부담을 주고 창의성을 저해해요.

😱클라우드 게이밍의 혁신!

클라우드 게이밍은 강력한 서버로 고품질 게임을 저비용으로 제공해요.

플레이어: 다양한 장치에서 고품질 게임을 즐길 수 있으며, 플랫폼 간 플레이가 가능해집니다.
개발자: 협업과 창작이 간편해지고, 게임 개발에 필요한 자원이 절감됩니다.

🤓클라우드 게이밍의 작동 원리는?

데이터 센터의 강력한 서버가 게임의 처리 및 렌더링 작업을 수행하고, 플레이어의 장치에 실시간으로 오디오 및 비디오 신호를 전달함으로써 저가형 장치에서도 고품질의 게임을 실행할 수 있도록 해요.

😻클라우드 게이밍의 장점은?

1. 싱글 플레이어 경험의 확장!

게임 데이터가 클라우드에 저장되고 스트리밍됨에 따라, 개발자들은 SSD 용량 제한 없이 더 풍부한 콘텐츠를 제공할 수 있어요. 이에 따라서 멀티플레이어 게임뿐만 아니라 싱글 플레이어 게임에서도 더 많은 콘텐츠 소비와 맞춤형 경험을 가능하게 해요.

2. 현실감 증대

복잡한 생태계를 재현하거나 광활한 환경을 제공하는 게임을 개발하는 데 많은 이점을 제공해요.

3. 고품질 게임의 접근성 향상

클라우드 기반 렌더링은 게임을 다양한 기기에서 원활하게 실행할 수 있게 하여, 고사양 하드웨어가 필요하지 않은 지역에서도 고품질 게임을 즐길 수 있도록 하죠. 이로 인해서 크로스 플랫폼 게임을 가능하게 하기 때문에, 플레이어가 다양한 장치에서 동일한 게임을 즐길 수 있게 되어요.

4. 협력적 게임플레이와 사용자 생성 콘텐츠

사용자 생성 콘텐츠와 협력적 게임플레이를 장려하기 때문에, 플레이어가 직접 게임 콘텐츠를 제작하고 공유할 수 있도록 해요. 이를 통해서 게임 생태계가 창의적으로 유지하고 공동체와의 연결감을 증진시켜요.

5. 더 쉽게 더 가볍게 개임 개발

클라우드 기반 인프라는 저렴하고 유연하기 때문에, 고성능의 컴퓨팅 자원을 제공하여 개발자들이 더 쉽게 게임을 개발할 수 있도록 해요. 또한 경량 하드웨어로도 게임을 개발할 수 있어서 대규모 사용자에게 게임을 배포할 수 있게 하죠.

클라우드 게이밍은 게임 산업의 미래를 혁신적으로 변화시키고 있으며, 게임 개발 과정 또한 변화를 겪고 있어요. 기술 발전과 창의적 자유가 결합되어 더욱 포용적이고 혁신적이며 몰입감 있는 게임 환경을 조성하고 있죠. 하지만, 클라우드 게이밍의 확산을 위해서는 안정적이고 빠른 인터넷 연결 및 환경적 지속 가능성에 대한 문제를 해결해야 해요!

🔨물리적 AI 및 생성 경험의 디자인

LARGE LANGUAGE OBJECTS: THE DESIGN OF PHYSICAL AI AND GENERATIVE EXPERIENCES

Authors:
Marcelo Coelho, Jean-Baptiste Labrune

이 논문은 대형 언어 모델(LLM)의 기능을 물리적 세계로 확장하는 새로운 아티팩트인 대형 언어 객체(Large Language Objects, LLO)에 대해 다루고 있어요. LLM과 LLO가 디자인과 창의성에 미치는 영향을 탐구하며, 물리적 AI 설계의 새로운 경계를 소개해요.

🙀대형 언어 모델(LLM)의 능력과 한계는?

대형 언어 모델(LLM)
LLM은 텍스트, 이미지, 코드 등을 생성하는 강력한 능력을 갖추고 있어요. 그래서 이 모델은 인간의 창의성에 큰 영향을 미치고 있는데요. 하지만, 물리적 세계와의 상호작용이나 맥락에 대한 이해가 부족하죠.

한계
LLM은 언어 외의 물리적 환경, 신체적 경험, 사회적 관계에 대한 실시간 맥락 이해가 부족해요. 그래서 물리적 세계에서 실질적인 응용을 위해서 "Rodney Brooks"의 연구처럼 실질적인 환경과의 감각-운동 연결이 필요하죠.

👀대형 언어 객체(LLO)란?

대형 언어 객체(LLO)
대형 언어 객체(Large Language Objects, LLO)는 대형 언어 모델(LLM)의 기능을 물리적 세계로 확장하는 새로운 유형의 아티팩트이죠. LLO는 물리적 인터페이스로 작용하여 LLM이 물리적 환경과 상호작용할 수 있도록 해요.
(실물과 디지털 세계를 결합한 보드게임, 음성을 제공하는 기도 장치 등..)

🤷‍♂️LLO의 특징은?

물리적 인터페이스
LLO는 LLM의 자연어 이해 및 생성 능력을 물리적 세계와 통합하여, 물리적 객체로서의 수용 능력을 제공해요. 실제 환경에서도 사용될 수 있는 기능을 갖추게 되죠.

설계와 제작 도구의 통합
LLO는 자연어를 통해 설계 및 제작 도구와 통합되며, 최종적인 기능과 행동을 형성해요. 새로운 창의적 프로세스를 가능하게 하면서 인간과 인공지능의 능력을 결합하여 혁신적인 결과물을 만들어내요.

새로운 창의적 프로세스
LLO는 인간과 인공지능의 능력을 조합하여 새로운 형태의 창의적 작업을 가능하게 해요. 디자이너와 사용자는 물리적 객체와 상호작용하면서, 보다 풍부한 창의적 경험을 만들 수 있어요.

🧠지능 설계의 주요 요소는?

LLO와 전통적 디자인의 결합
MIT의 학생들이 LLO를 전통적인 디자인 활동과 결합하였는데요. 인공지능과 인간의 창의성을 결합하여 독창적인 설계와 결과물을 만들어내요.

뉴로메트릭 디자인
자연어 인터페이스를 사용하여 파라메트릭 모델을 조작할 수 있어요. 사용자는 높은 수준의 객체 설명을 통해 디자인을 맞춤화할 수 있어요. 이를 통해서 디자인의 학습 곡선을 줄이고 직관적이며 풍부한 상호작용을 가능하게 하죠.
("펜의 크기를 크게 해줘" 또는 "모서리를 부드럽게 해줘"와 같은 물리적 조정)

생성적 경험과 동적 정신 모델
LLM의 생성적 특성을 통해 LLO는 사용자와의 상호작용 중 실시간으로 정신 모델을 생성해요. 사용자 행동이나 환경의 변화에 따라 적응하기 때문에, 기존의 물리적 객체 설계의 한계를 확장해요. 이로 인해서 사용자 경험을 개인화하고, 초보자부터 전문가까지 다양한 사용자 수준을 지원할 수 있어요.

NNN: 신경망 네트워크
NNN은 복잡한 상호작용을 설계하고 구현하는 데 사용되는 비주얼 프로그래밍 언어에요. 다양한 신경망 모델과 전통적인 코딩 방법론을 결합하면서 LLM의 출력을 물리적 현실에 적용할 수 있는 새로운 방법을 제공해요. 사용자에게 시각적으로 신경망 모델을 학습시키고 결합할 수 있는 기능을 제공하여 복잡한 상호작용을 구현할 수 있게 하죠.

마무리하기 - Turning Off the Drill

드릴러 여러분, 오늘은 "Interactions" 매거진에서 AI와 UX의 결합이 어떻게 우리의 디지털 세상을 변화시키고 있는지, AI 시스템의 책임 있는 설계와 UX의 중요성을 어떻게 강조하고 있는지 세 가지 논문을 살펴보았는데요.

먼저 가장 강조한 주제인 책임 있는 AI(RAI)에 대해 설명했어요. RAI 설계는 AI 시스템이 사용자에게 미치는 영향을 이해하고 관리하는 데 중요하죠. 이런 상황속에서 UX 전문가들은 AI의 사회적, 기술적 측면을 이해하고 공정성과 책임성을 강화하여 사용자가 AI에 지나치게 의존하지 않도록 기여해야해요!

또한 게임 산업에서 클라우드가 들어오면서 다양한 기기에 고품질의 게임을 즐길 수 있는 시대가 열렸어요. 게임을 즐기는 사람과 개발하는 사람 모두에게 하드웨어를 뛰어넘는 창의적이고 포용적인 게임환경도 조성하고 있답니다.

마지막으로, 대형 언어 객체(LLO)와 신경망 네트워크(NNN)는 물리적 AI 설계의 새로운 가능성을 열어줬어요. LLM과 물리적 세계의 상호작용을 통해 사용자 경험을 개인화하고, 다양한 사용자 수준을 지원하여 보다 창의적인 작업을 수행할 수 있답니다.

드릴러 여러분, AI와 함께하는 미래는 무한한 가능성으로 가득 차 있어요. 하지만!! AI 기술이 우리의 창의성과 고유한 능력을 해치지 않도록 균형을 잡는 것이 중요합니다. 앞으로 AI와 UX의 발전이 우리 삶에 어떤 변화를 가져올지, 그리고 우리가 어떻게 AI를 현명하게 활용할 수 있을지 함께 고민해보아요. 😎

📝 오늘의 단어: RAI, 클라우드 게이밍, LLO

RAI (Responsible AI)

책임 있는 인공지능을 의미하며, AI 시스템의 설계와 구현 과정에서 윤리적이고 책임 있는 접근 방식을 취하는 것을 강조히요. AI의 공정성, 투명성, 그리고 안전성을 보장하고, AI 기술이 사용자와 사회에 미칠 수 있는 부정적인 영향을 최소화하기 위해 사회적, 기술적 고려 사항을 통합하는 것을 포함해요.

클라우드 게이밍 (Cloud Gaming)

클라우드 게이밍은 게임의 데이터 처리를 클라우드 서버에서 수행하여, 사용자가 고성능의 하드웨어 없이도 다양한 기기에서 고품질의 게임을 스트리밍할 수 있게 하는 기술이에요. 플레이어가 개인용 컴퓨터나 콘솔의 제약 없이 게임을 즐길 수 있도록 하며, 개발자에게도 자원 절약과 창의적 협업의 기회를 제공해요.

LLO (Large Language Objects)

LLO는 대형 언어 객체를 뜻하며, 대형 언어 모델(LLM)의 기능을 물리적 세계로 확장한 새로운 유형의 아티팩트를 지칭해요. LLO는 물리적 인터페이스를 통해 LLM이 실세계와 상호작용할 수 있게 하며, 이를 통해 사용자는 더욱 풍부한 창의적 경험을 할 수 있어요. 디지털 및 물리적 요소를 결합하여 새로운 형태의 창의적 작업과 상호작용을 가능하게 하죠.

본 뉴스레터는 모두의연구소 AIX LAB에서 K-하이테크 플랫폼의 지원을 받아 진행됐습니다.

📬퓨처드릴 구독하기

💌피드백으로 응원하기

👇🏻 퓨처드릴 인스타그램 계정 팔로우하고, 빠르게 소식을 확인하세요 👇🏻

이전 뉴스레터

💥 파리 올림픽은 AI 올림픽

2024. 8. 5.

다음 뉴스레터

💥 LLM 기반 인공지능 제품 개발을 위한 가이드라인 Part1. 모델 성능 개선편

2024. 8. 11.

퓨처드릴 - AIX

AI Experience (AIX)의 이모저모를 전해드리는 '퓨처드릴'입니다!