[퓨처드릴] 따라쟁이 AI로부터 내 작품 지키는 방법

미래에 할 수 있는 경험을 사전 예약하신 퓨처드릴 구독자, 드릴러 🛠️ 님 안녕하세요! AI Experience (AIX)의 이모저모를 전해드리는 '퓨처드릴'입니다!

오늘도 저 에디터 쏭🍄과 함께 알쏭달쏭한 인공지능 소식들을 깊이있게 읽어보아요!

오늘은 인공지능의 스타일 모방을 방해할 수 있는 논문부터 직접 사용해 볼 수 있는 도구까지 모두 소개해 Drill게요!

“AI 이미지 생성기 미드저니 논란...피카소부터 워홀까지 1만6천명 작가 활용”

 혹시 위와 관련된 뉴스를 보신 적 있으신가요? 인공지능에 관심 있으신 분들이라면 보셨을 텐데요, 널리 알려진 Midjourney에서 인공지능을 학습시키기 위해 무려 1만 6천 명의 작가 그림을 사용했다는 뉴스입니다. 이처럼 생성형 인공지능을 학습시키기 위해서는 방대한 양의 이미지 데이터 세트가 필요해요. 저작권이 만료된 작품도 있지만 1만 6천 명의 작가들 목록에는 현재 활발히 활동하고 있는 작가의 작품 또한 포함되어 있습니다. 만약 인공지능이 어떤 작가의 그림 스타일을 너무 잘 학습하여 그 스타일대로 그림을 만들어낸다면 작가는 경제적으로 타격을 받을 수밖에 없겠죠.

 오늘은 Prompt-Specific Poisoning Attacks on Text-to-Image Generative Models(논문 링크)라는 논문과 함께 직접 내 그림에 적용해 볼 수 있는 Glaze라는 도구도 함께 소개해봅니다. 현재 가장 유행하고 있는 프롬프트 기반의 이미지 생성 모델의 모방을 효과적으로 방해하는 방법과 이를 Glaze라는 도구를 이용해 직접 실습해 보는 과정까지 소개해 Drill게요!

모두들 follow me~🎯

핵심 1: 논문을 읽기 위한 기초 개념 다지기

프롬프트(텍스트)를 입력받아 이미지를 생성하는 모델을 Text-to-Image 모델이라고 하는데요, 이번에 살펴볼 이 논문에서도 기본적으로 Text-to-Image 모델의 학습 과정에 관해서 설명하고 있습니다. 즉 모방을 어떻게 하는지 알아야 모방을 피하는 방법도 생각해 낼 수 있는 거죠! 아래의 글들을 통해 기본적인 Text-to-Image 모델이 어떤 식으로 동작하는지 자세히 알아봐요. 

 두 번째 단계는 모델 파인튜닝 단계입니다. 인공지능을 접해 본 분들에게는 이미 익숙한 개념이지만 아마 공부해 보지 않으신 분들에게는 굉장히 생소한 개념일 수 있습니다. 하지만 인공지능이 인간의 학습 과정을 모방한 만큼 파인튜닝의 목적과 의도는 이미 우리에게 굉장히 익숙한 개념일 수밖에 없습니다. 예를 들어 이런 말이 있죠. “국어를 잘해야 다른 과목도 잘 공부할 수 있다.” “국어가 모든 과목의 기본이다.” 즉 사회든 수학이든 영어든 기본적인 언어 능력이 어느 정도 있어야 다른 과목도 잘 공부할 수 있는 거죠.

 인공지능 또한 마찬가지입니다. 기본적인 언어 자체를 잘 모르고 능력이 없는데 뉴스 기사만을 많이 학습해서 뉴스 기사를 제작할 수 있는 모델을 만들 수 있을까요? 혹 만들었다 하더라도 성능이 좋을 수 있을까요? 이런 생각에서 출발해서 위에 나온 꽤 괜찮은 모델을 다운로드 하거나 혹은 직접 개발하여 그 위에 내가 특별히 해결하고자 하는 도메인 맞춤으로 학습을 시키는 겁니다.

 예를 들어 우리가 지금 하고 있는 텍스트를 입력받아 이미지를 생성하는 Text-to-Image 모델에서는 괜찮은 모델을 다운받아 그 위에 우리가 구체적으로 생성하길 원하는 스타일의 작품만을 집중적으로 학습시켜 이 모델의 성능을 미세 조정합니다. 이런 미세 조정 과정을 파인튜닝이라고 부릅니다. 여기서는 기본적인 학습 능력을 갖춘 모델을 가져와 내가 구체적으로 해결하고 싶은 만들고 싶은 결과물을 집중적으로 학습시켜 그것에 특화된 모델을 만드는 과정이라고 생각해 주시면 좋을 것 같습니다.

핵심 2: 인공지능의 모방을 방해하는 도구, Glaze 이해하기

이 논문의 목표는 인공지능의 학습 과정을 효율적으로 방해하는 것에 있습니다. 결국 인공지능이 나의 고유한 스타일의 특징을 잘 학습하면 모방작들을 쉽게 만들어낼 수 있으므로 학습이 잘 안되게 하는 것이 핵심이라고 할 수 있습니다. 다만 내 작품 스타일을 되도록 유지하면서 인공지능의 학습만을 막고 싶은데 학습을 방해하기 위해서 스타일을 너무 바꿔 버리면 본래의 가치가 훼손되겠죠. 그래서 중요한 점은 예술가의 작품 스타일 자체는 되도록 유지하면서 인공지능의 학습만을 방해하는 것입니다.

그렇다면 전체를 무작위적으로 바꿀 수는 없으니, 스타일의 핵심이 되는 부분만 정확히 파악해서 바꾼다면 어떨까요? 인공지능은 사람의 눈과 다르게 하나의 이미지를 픽셀의 모음으로 보고 그 각각의 픽셀들에 해당하는 숫자 값을 이리저리 다루면서 학습을 진행합니다. 이때 스타일에 직결되는 몇몇 픽셀들을 다른 스타일로 적절히 바꿔 놓는다면 인공지능이 그 부분을 학습하지 못하게 되고 그렇다면 결과적으로 스타일 모방에 실패하게 되지 않을까요?

여기서 사용되는 다른 스타일로의 변경이 바로 Style Transfer의 핵심입니다. 알파고 이후에 구글 광고에서 렘브란트 스타일의 그림을 반 고흐 스타일의 그림으로 바꿔놓는 영상을 보신 적이 있으시다면 여기서 사용되는 기술이 바로 Style Transfer입니다.

 즉 말 그대로 스타일을 Transfer 한다는 것이죠. 쉽게 말하면 인공지능의 학습을 방해하기 위해서 일부분을 다른 것으로 바꿔놓아야 하는데 이 바꿔놓는 것의 기준이 되는 레퍼런스를 Style Transfer 기능을 통해서 만들 수 있습니다. 레퍼런스를 참고해 스타일이 다른 작품을 하나 만들어 놓고 거기서 원래 작가의 작품에서 핵심이 되는 부분만 가져와서 새로운 작품을 만들게 됩니다. 특징이 되는 부분이라고는 했지만, 사실 픽셀 단위이기 때문에 인간의 눈에는 잘 구별되지 않고 이를 통해 인간의 눈에는 식별되지 않지만, 인공지능의 학습에는 방해를 줄 수 있는 거죠!

 1단계를 진행하고 나면 두 개의 그림이 남습니다. 하나는 작가가 만들어낸 원본 작품이고 나머지 하나는 Style Transfer 기능을 통해 다른 스타일이 덧씌워진 작품입니다. 위에 보시면 원본 작품에 점선으로 이루어진 원을 보실 수 있습니다. 바로 이 부분이 작가 고유의 특징을 나타내는 부분입니다. 그 아래 반 고흐 스타일이 적용된 이미지를 보시면 불투명한 원이 있는데 바로 그 부분이 우리가 가져오고 싶은 부분입니다. 원본 작품에서 특징이 되는 부분을 새로운 스타일이 적용된 작품에서 가져와 원본 작품에 채워 넣는 것입니다. 그렇게 차이를 계산해 주면 이미지처럼 원이 아닌 영역은 원래 작가의 원작이고 붉은색 영역은 왼쪽의 변형된 작품에서 가져온 부분이 되게 됩니다.

 즉 하나의 이미지 안에 사람의 눈에는 보이지 않지만 원본 작품과 다른 스타일이 적용된 부분이 함께 존재하게 됩니다. 하나의 작품 안에 그것도 가장 중요한 특징이 되는 부분에 사실 다른 작가의 스타일이 존재하니 인공지능이 그 특징을 적절히 추출할 수 없게 되고 그로 인해 모방에도 실패하게 됩니다.

방법 1. Web Glaze 이용하기

 일반적인 웹사이트에서 회원가입하는 방식과 다른 방식으로 계정을 얻을 수 있습니다. 또한 자신의 고유한 작품이 있는지 검증하는 과정이 동반됩니다. 자기 작품이 업로드된 소셜 미디어 계정에서 Glaze팀의 계정에 direct message를 보내게 되면 확인 후 웹 Glaze 계정을 생성할 수 있도록 도와줍니다. 구독자분들 중에 소셜미디어에 자신의 작품 이미지를 게시해 놓으셨고,  고사양의 컴퓨터를 갖고 있지 않아서 데스크탑 버전을 사용하실 수 없는 경우 이 방법을 사용해보시길 추천드립니다. 

링크에 들어가면 맨 하단에 다운로드 링크를 확인하실 수 있습니다. 보시다시피 맥과 윈도우에서 모두 사용 가능하지만 특정 운영체제 버전 이상이 반드시 필요하기 때문에 요구사항보다 낮은 버전을 사용하실 경우 다운로드는 가능하지만 정상적으로 실행되지 않습니다. (정상적으로 실행되지 않을 경우 웹 버전을 사용해보시길 추천드립니다.) 프로그램이 정상적으로 실행된다면 회원가입 절차 없이 바로 Glaze를 이용할 수 있습니다. 

Step 1: 작품 선택하기

인터넷에 올리고자 하는 작품을 한 개 또는 여러 개 선택해 주세요

Step 2: 옵션 선택하기

Glaze에는 두 개의 옵션이 존재하는데요. 각각의 옵션을 잘 선택해서 이미지 제작 시간을 적절히 조절하고 원하는 강도를 선택해주세요

Intensity

Intensity 값을 통해 스타일을 얼마나 강하게 적용할 것인지 지정할 수 있습니다. 이 값이 커질수록 보호 기능이 더 강력해지지만, 일반적으로 여러분의 작품에 눈에 띄는 변화가 더 많이 나타나게 됩니다. 즉 더 강한 강도를 설정하면 작품이 더 많이 변경되기 때문에 인공지능의 모방이 어려워지는 거죠. 하지만 그만큼 여러분의 작품에 더 많은 변화가 발생하기 때문에 이 값이 너무 커지게 되면 여러분의 작품에 있던 스타일에 변형이 생기게 됩니다. 정답은 없습니다. 때론 작품을 일정 부분 희생하더라도 인공지능의 모방을 잘 막는 게 더 중요할 수도 있기 때문이죠.

 일반적으로는 강도를 ‘낮음’으로 설정하는 것이 좋으나 만약 작품이 오래되었거나 변형을 감수하고서라도 모방을 막고 싶다면 강도를 올리시는 것을 추천해 드립니다. 혹은 여러분이 배포하고자 하는 미디어에 따라 강도를 다르게 설정하는 것도 하나의 방법입니다.

Render quality

render quality를 조절하게 되면 Glazing을 하는데 소요되는 시간이 변경됩니다. 즉 렌더링 품질이 높아질수록 성능은 향상되지만 만드는데 시간이 길어집니다. 만약 최고 품질을 선택한다면 개인용 한 개의 이미지당 약 60분의 시간이 소요됩니다. (분명 적지 않은 시간이죠…. ) 우선은 처음부터 품질을 올리기 보다는 중간 정도에서 시작하고 미리보기를 통해 확인한 다음 적절히 조절하시는 것을 추천해 드립니다.

Step 3: 결과 확인하고 최종 결과물 출력하기

이미지를 업로드하고 원하는 설정을 선택하면 처리된 결과를 미리 확인 할 수 있습니다. 미리 보기를 사용하면 글레이즈 변경 사항이 적용된 예상 최종 이미지를 볼 수 있으므로 최종 이미지를 렌더링하기 전에 필요한 경우 강도 수준을 조정할 수 있습니다. 미리보기 결과는 최종 결과와 다를 수 있습니다. 강도 수준이 만족스러우면 실행을 클릭하면 이미지에 변형이 추가됩니다. 

Fine-tuning은 기계 학습에서 사용되는 모델을 초기에 학습시키고, 그 모델을 특정 작업이나 새로운 데이터에 맞게 미세하게 조정하는 과정을 의미합니다. 이것은 기존에 학습된 모델의 일반적인 특성과 패턴을 유지하면서, 새로운 작업이나 도메인에 더 잘 적응할 수 있도록 모델을 조절하는 것을 목표로 합니다.

비유를 들자면, 마치 어떤 사람이 처음에 여러 종류의 동물들을 보고 각 동물에 대한 특징을 학습한다고 상상해봅시다. 이렇게 학습된 지식을 바탕으로 그 사람은 나중에 새로운 동물을 만나면 이전에 학습한 지식을 활용하여 그 동물을 더 잘 이해하게 될 것입니다. Fine-tuning은 이렇게 학습된 지식을 새로운 상황에 더 잘 맞도록 조절하는 것과 비슷합니다.