💥 빅데이터: 가치있는 디자인으로 변환하는 마법

AI와 UX의 숨은 원재료인 데이터 분석에 대해 알아 봐 drill게요

2024. 6. 26.

2024.06.27 | vol. 38 | 구독하기 | 지난호보기

미래에 할 수 있는 경험을 사전 예약하신 퓨처드릴 구독자, 드릴러 🛠️ 여러분 안녕하세요! AI와 UX의 쿨한 콤비네이션을 만들어 drill 퓨처드릴 에디터 또치🐣 입니다.

매일매일, 지금도 엄청난 발전속도로 성장하고 있는 AI 기술을 통해서 어떻게 디자인적으로 다른 사람이나 사용자를 설득시킬 수 있을까요? 이를 위해서는 데이터, 즉 사람이 행동했었던 기록들을 통해 사람의 "니즈"와 사람의 대한 "깊은 이해"를 하는 것이 가장 핵심적인 부분일 것 같네요! 😏😤

Roger Martin, MBA Professor

"디자인 사고는 분석적, 직관적 사고의 조합이다."

분석적인 관점에서 빅데이터는 매우 중요한 자료와 기술이 될 것 같은데요. 오늘은 빅데이터의 개요부터 핵심, 모델 등 개괄적으로 알아보며 함께 나아가봐요!🤸

자, 준비됐나요~ 네네, 선장님!! ☠️🐤

시작하기 - Turning On the Drill

혁신의 수단, 미래의 권력: 빅데이터

빅데이터란?

여러 형태의 많고 다양한 데이터를 잘 처리해서 가치를 만들어 내는 것이에요.

초기의 빅데이터의 특징은 3V라고 불렸지만 점점 필요에 따라서 추가되는 중이에요. 그렇다면 빅데이터의 7가지 V를 다음을 보며 알아봐요.

(출처: impact 홈페이지)

Volume: 대량, 매일 만들어지는 데이터 감당할 수 있는가?
Velocity: 생성 속도, 실시간으로 데이터 분석할 수 있는가?
Variety: 숫자화, 사람을 숫자로 바꿀 수 있는가?
Veracity: 품질, 얼마나 믿을 수 있는가?
Value: 가치, 쓸모 있는가?
Variability: 의미 가변성, 문맥에 따라 달라지는가?
Visualization: 시각화, 이해할 수 있는가?

그 중에 가장 핵심적인 것은? 바로, 5번 Value에요.

빅데이터는 결국에 유용한 가치를 이끌어 낼 수 있어야하니까요.

유용한 가치가 되는 과정: Deming Circle

왜 구글, 유튜브, 인스타그램, 카카오톡이 무료로 서비스를 제공할까요?

👉 사용자들의 질 좋은 데이터로 인사이트, 가치를 얻을 수 있기 때문이에요.

사용자에게 인사이트와 가치를 효과적으로 제공할 수 있는 방법은...!!

Dr. W. Edwards Deming가 고안한 데밍 사이클을 반복하는 거에요.

Deming Circle - PDCA (출처: google)

1. Plan: 빅데이터 분석 기획

사용자가 사고 싶어하는 온라인 광고를 보여주고 싶어. 사용자의 니즈가 무엇일까?

2. Do: 데이터를 인사이트로

이 사용자는 고양이 물품에서 시간을 많이 소요했어!

3. Check: 인사이트 확인

고양이 물품을 사고 싶은 것 같은데?

4. Act: 인사이트를 유용한 가치로

고양이 물품과 관련된 온라인 광고를 보여주자! 😼

가지고 있는 데이터로 가치를 실현하기 어려울 수 있어요. 그래서 먼저 어떠한 목표를 달성하고 싶은지, 어떠한 데이터가 필요로 한지, 데이터를 확보할 수 있는지, 어떻게 데이터를 가공할 것인지 찾아보는 것이 필요해요. 그래서 가장 중요한 것은 Plan에 해당하는 기획이에요. 최종적인 방향성을 잡지 않고 이 과정을 수행한다면, 실패할 확률이 높아요.😥

여기서 더 여러가지 걸림돌이 있어요.

기획에서의 어려움도 있지만, 데이터가 없어서 인사이트를 도출하지 못할 수 도 있어요. 좋은 데이터들은 대기업이 가지고 있거나, 개인정보 보호체계때문에 데이터가 공유되기 어렵기 때문이에요. 또한 데이터에 대한 거부감을 느끼는 사람들도 있겠죠.

인공지능의 양대산맥: 심볼릭AI vs 뉴럴 네트워크

알파고를 기억하시나요?

알파고는 바둑 돌을 직접 옮기지 않고, 바둑 게임을 이기는 추상적인 계획만 하던 인공지능이에요.

인공지능은 주변 상황을 인지하고, 목표를 위한 계획이나 행동을 하는 컴퓨터라고 할 수 있죠. 인공지능 방식은 크게 심볼릭과 뉴럴로 나뉠 수 있어요.

1. 심볼릭 (세상의 모든 지식을 명제로) 🌍
세상의 지식을 "명제, A는 B이다"와 같은 형태로 표현하는 방법이에요. 이 명제를 바탕으로 새로운 지식을 만들고, 추론해낼 수 있어요. 연역적 추론(deduction)은 사실, 규칙, 정의에서 출발해서 새로운 명제를 도출하는 과정이에요. 이 방식으로 수억 개의 명제를 만들 수 있지만, 인간이 모두 기억하기에 한계가 있어요. 또한 명제는 주관적이기에 비일관적이에요.

또치는 AI를 좋아해.
타조는 또치야.
타조는 AI를 좋아해.

2. 뉴럴 네트워크 (뇌세포를 모방한 신경망) 🧠
뇌세포는 전기 자극을 받으면 주변 세포들에게 전기를 퍼트리죠. 이 과정을 반복하면 뇌의 구조가 점점 넓어지게 되는데, 이런 학습을 모방했어요. 귀납적 추론(induction)은 데이터에서 출발해서 결론이나 추측을 만들어내는 과정이에요. 귀납적 추론은 틀릴 수도 있지만, 데이터가 많아지면 더 정확해질 수 있어요. 빅데이터가 많은 현재에서는 귀납적 추론이 경쟁력을 갖게 돼요.

강아지 사진 100장 학습시키기. 🐶
고양이 사진 100장 학습시키기. 🐱
🐈 강아지 vs 고양이 맞춰봐!

Sarrasin Jeremie et al., 2020, 학습 신경세포 (출처: ERICK)

빅데이터: 인사이트로 변환시키는 5가지 매직🧙

빅데이터를 인사이트로 변환하는 5가지 주요 방법을 소개할텐데요.

데이터를 이해하고 예측하는데 매우 유용하게 활용되고 있답니다.

1. Business Intelligence (시각화) 👀

자동차 계기판이나 마케팅 대시보드처럼 데이터를 모우고 정제한 후, 데이터를 직관적으로 한눈에 파악할 수 있도록 하는 방법이에요.

2. 연관 분석(Association Mining) 🙆🙅

구매 패턴을 분석하는 것처럼 특정 사건이 동시에 발생하는 사건이나 조건의 패턴을 찾아내고 상관관계를 발견하는 방법이에요. 인과관계를 발견하지는 않아요!

3. 클러스터링(군집화) 👬

비슷한 데이터끼리 그룹으로 묶는 방법이에요. 소비자를 군집화해서 타겟층을 만들어 마케팅을 할 수 있어요. 클러스터링과 분류의 차이점은 몇개로 얼마나 나눠서 군집화할지 기준을 잡지 않아요.

4. 예측 및 분류(Predictive Analytics)🐶😺

강아지와 고양이를 분류하는 것처럼 추론하는 방법이에요. 컴퓨터에게 데이터 기반으로 트레이닝(머신러닝)을 거치고, 예측하거나 데이터 특정 기준에 따라 나누는 과정이에요. 이것을 추론(inference)라고 해요.

5. 이상 탐지(Anomaly Detection) 👷

공장에서 갑자기 사람이 쓰러진 것을 파악하고 119에 신고하는 것과 같은 방법이에요. 정상적인 데이터를 학습 한 후 비정상적인 상황이 닥쳤을 때, 상황을 감지하는 방법이에요.

최신 데이터 분석 기술: 이미지와 텍스트 분석

먼저, 이미지 분석은 다양한 형태의 이미지 데이터를 처리하고 해석하는 기술이에요. 이미지 처리, 컴퓨터 비전, 이미지 생성을 소개할게요.

이미지 처리(Image Processing)
From Image to Image, 이미지를 이미지로 바꾸어요. 예를 들어, 이미지의 배경을 제거하거나, 컬러 이미지를 흑백으로 변환해요.
컴퓨터 비전(Computer Vision)
From Image to Description, 이미지를 분석하여 그 내용을 설명하는 캡션을 생성해요. 예를 들어, "이것은 새입니다" 또는 "해가 지는 장면입니다"와 같은 설명을 생성해요.
컴퓨터 그래픽스(Computer Graphics)
From Description to Image, 텍스트 설명을 바탕으로 이미지를 생성해요. 예를 들어, 미드저니와 ChatGPT 이미지 생성기처럼 "강아지가 공을 물고 있는 이미지"를 생성할 수 있어요.

이미지 기반의 사례연구:

손으로 쓴 숫자를 인식하기.
페이스북과 인스타그램처럼 사진을 자동으로 인식하여 태그 추가 및 분류하기.
Object Recognition with RCNN을 통해 자율주행차나 냉장고의 물건 인식하기.

다음으로! 자연어처리(NLP, Natural Language Processing)의 기반인 텍스트분석이에요. 텍스트 분석은 비정형 텍스트를 정형화, 즉 수치화하는 기술이에요. 가장 핵심적인 부분은 어떻게 텍스트화시키는지에요. 텍스트로 바꾸어야 연관분석이나 클러스터링, 분류가 가능하니까요! 간단히 텍스트화하는 방법을 소개할게요.

문서를 벡터화를 통해 텍스트를 단어의 등장 빈도로 표현하여 벡터화해요. 그 다음 벡터 스페이스 모델(TF-IDF)로 커다란 액셀표를 만들어, 특정 단어가 문서 내에서 얼마나 중요한지를 나타내주어요. 행은 문서를 열은 단어의 등장 횟수가 젹혀져있어요.

텍스트 기반의 사례연구:

문서 내에서 주요 주제를 추출하기.
뉴스 기사를 주제별로 분류하기.
스팸 필터링하기.

마무리하기 - Turning Off the Drill

드릴러 여러분! 🛠️ 우리가 미래의 권력으로 불리는 빅데이터에 대해 깊이 있게 탐구해보았어요. 데이터가 정말 중요하다고 느껴지지 않나요? 😃

빅데이터의 V7 특징부터 Deming Circle, 인공지능의 분류와 인사이트로 변환하는 방법을 낱낱이 알아보았는데요. 오늘날 AI와 빅데이터는 디자인적으로 다른 사람이나 사용자를 설득시키는데 핵심적인 역할을 해요. 사람들의 "니즈"와 "페인포인트"를 깊이 이해하도록 도와주며, 이를 바탕으로 혁신적인 UX와 설득력 있는 디자인을 통해 다양한 문제를 해결하고 여러 분야에서 가치를 창출할 수있어요!!!

📝 오늘의 단어: 연역적 및 귀납적 추론

연역적 추론 (Deductive Reasoning)

일반적인 원리나 법칙에서 특정 사례나 결론을 도출하는 논리적 과정입니다. 즉, 이미 알고 있는 사실이나 이론을 바탕으로 구체적인 결론을 내리는 방식입니다.

전제 1: 모든 사람은 죽는다.
전제 2: 소크라테스는 사람이다.
결론: 소크라테스는 죽는다.

귀납적 추론 (Inductive Reasoning)

특정 사례나 관찰된 사실에서 일반적인 결론이나 법칙을 도출하는 논리적 과정입니다. 즉, 여러 개의 구체적인 사례를 바탕으로 일반적인 원리나 법칙을 추론하는 방식입니다.

관찰 1: 이번 여름에 본 까마귀는 모두 검은색이었다.
관찰 2: 작년 여름에 본 까마귀도 모두 검은색이었다.
결론: 모든 까마귀는 검은색일 것이다.

차이점

연역적 추론: 일반에서 특정으로, 전제가 참이면 결론도 반드시 참이다.

귀납적 추론: 특정에서 일반으로, 관찰된 사실을 바탕으로 결론 도출, 확률적으로 참일 가능성이 있다.

본 뉴스레터는 모두의연구소 AIX LAB에서 K-하이테크 플랫폼에 지원 받아 진행됐습니다.

📬퓨처드릴 구독하기

💌피드백으로 응원하기

👇🏻 퓨처드릴 인스타그램 계정 팔로우하고, 빠르게 소식을 확인하세요 👇🏻

퓨처드릴 - AIX를 구독하고 이메일로 받아보세요

AI Experience (AIX)의 이모저모를 전해드리는 '퓨처드릴'입니다!

이전 뉴스레터

💥 Apple이 제시한 AI agent의 미래, LAM(대형액션모델)

2024. 6. 23.

다음 뉴스레터

💥 프롬프트 엔지니어링 가이드 A to Z (기초편)

2024. 6. 30.

퓨처드릴 - AIX

AI Experience (AIX)의 이모저모를 전해드리는 '퓨처드릴'입니다!