미래에 할 수 있는 경험을 사전 예약하신 퓨처드릴 구독자, 드릴러 🛠️ 님 안녕하세요! AI Experience (AIX)의 이모저모를 전해드리는 '퓨처드릴'입니다!

이번 레터에서는 국정원이 英 국가사이버안보센터(NCSC), 美 사이버안보·인프라보호청(CISA)를 비롯한 주요국 23개 기관들과 공동발표한 ‘안전한 AI 시스템 개발 가이드라인’에 대해 쿨냥이🐾 가 소개해드립니다. AI 시스템의 안전한 개발에 도움을 주는 실용적인 조언을 해 Drill 게요! 

이 때문에 샘 알트만 해고를 주도한 사람들이 ‘AI로부터 인류를 지킬 수 있었던 마지막 수호자’로 미래에 기억될 수 있다는 주장도 있는데요. 만약 샘 알트만이 주도하고 있는 AI 기술의 고도화가 AI 윤리에 대한 의식 없이 무분별하게 개발되고 상업화 될 경우 사람이 통제 불가능한 상태의 세상이 될 수도 있겠죠.

자, 여러분은 이번 샘 알트만의 해고 사건이 기술의 진보를 막는 ‘쿠데타’라고 생각하세요? 아니면 안전한 AI 제공을 위한 ‘수호자’들의 움직임이었다고 생각하세요?

이 사건의 열기가 아직도 뜨거운 가운데, 국가정보원에서 11월 28일 英 국가사이버안보센터(NCSC), 美 사이버안보·인프라보호청(CISA)를 비롯한 주요국 23개 기관이 참여한 ‘안전한 AI 시스템 개발 가이드라인’을 공동으로 발표했습니다.

안전한 AI 개발 vs 빠른 AI 개발에 대한 사람들의 양분화 된 관점이 팽배한 가운데 전 세계 주요 국가들이 공동으로 발표한 본 가이드라인의 시사점이 크다고 생각됩니다. AI 시스템을 개발할 때 어떤 점을 주의하는 것이 필요한지, ‘안전한 AI 시스템 개발 가이드라인’에 대해 세부적으로 알아보도록 하겠습니다.

AI 시스템은 사회에 많은 혜택을 가져올 수 있습니다. 하지만 AI의 기회가 잘 실현되기 위해서는 안전하고 책임감 있는 방식으로 개발, 배포 및 운영되어야 합니다. 이 가이드라인은 AI 시스템이 의도한 대로 동작하고, 필요할 때 가능하고, 권한이 없는 사람에게 민감한 데이터를 공개하지 않고 작동하는 시스템을 구축하는데 도움이 되도록 하는 것을 목적으로 합니다.

안전한 AI 시스템 개발 방법에 대해 설계·개발·배포·운영 4가지 단계에 대해 단계별 상세 내용을 살펴보겠습니다.

1. 안전한 설계 (Secure design)
시스템에 대한 위협요소 분석, 윤리적 요소 고려

✅  위협과 위험에 대한 직원 인식 제고 (Raise staff awareness of threats and risks)
AI 시스템에 대한 위험 요소에 대해 이해 관계자들이 이해하고 올바른 인식을 갖게 하는 것이 필요

• 시스템 소유자와 경영진 : AI 보안에 대한 위협과 그 완화책을 이해
• 데이터 과학자와 개발자 : 관련 보안 위협과 장애를 인지하고 위험 소유자가 정보에 입각한 결정을 내릴 수 있도록 지원
• 사용자 : AI 시스템이 직면한 고유한 보안 위험에 대한 지침을 제공받음
• 개발자 : 안전한 코딩 기술과 안전하고 책임감 있는 AI 관행에 대해 교육받음

✅  시스템에 대한 위협 모델링 (Model the threats to your system)

• 시스템의 위협을 평가하는 총체적인 프로세스를 적용
• AI 구성 요소가 손상되거나 예기치 않게 작동할 경우 시스템, 사용자, 조직, 사회에 미칠 수 있는 잠재적 영향을 이해

✅  기능 및 성능뿐 아니라 보안까지 고려한 시스템 설계 (Design your system for security as well as functionality and performance)

• AI를 사용해야 문제 해결을 가장 적절하게 해결할 수 있다고 결정한 후에는, AI 관련 설계 선택의 적절성을 평가
• 기능, 사용자 경험, 배포 환경, 성능, 보증, 감독, 윤리적 및 법적 요구 사항과 함께 위협 모델 및 관련 보안 완화 조치를 고려

• AI 모델을 선택할 때 모델 아키텍처, 구성, 학습 데이터, 학습 알고리즘 및 하이퍼파라미터의 선택 등 다양한 요구 사항의 균형을 맞추기
• 위협 모델의 정보를 바탕으로 AI 모델을 결정 
• AI 보안 연구가 발전하고 위협에 대한 이해도가 높아지면 정기적으로 재평가

• 세부 정보를 노출하지 않고 사용자에게 사용 할 수 있는 결과물 제공
• 가장 안전한 설정을 시스템에 기본적 통합
• 최소 권한 원칙을 적용하여 시스템 기능에 대한 액세스 제한
• 금지된 사용 사례를 알리고 사용자에게 대체 솔루션 안내

2. 안전한 개발 (Secure development)
공급망 보안 대책 마련

• 시스템의 수명 주기 전반에 걸쳐 AI 공급망의 보안을 평가 및 모니터링
• 공급업체가 귀사가 다른 소프트웨어에 적용하는 것과 동일한 표준을 준수하도록 요구
• 공급업체가 조직의 표준을 준수할 수 없는 경우 기존 위험 관리 정책에 따라 조치

• 모델, 데이터, 프롬프트, 소프트웨어, 문서, 로그 및 평가를 포함한 AI 관련 자산이 조직에 미치는 가치를 이해
• 로그를 민감한 데이터로 취급하고 기밀성, 무결성 및 가용성을 보호하기 위한 제어를 구현

• 모델, 데이터 세트, 메타 또는 시스템 프롬프트의 생성, 운영 및 수명 주기 관리를 문서화
• 문서에는 학습 데이터의 출처와 같은 보안 관련 정보가 포함

• AI 시스템의 수명 주기 동안 '기술 부채'를 개발 초기 단계부터 식별, 추적, 관리

3. 안전한 배포 (Secure deployment)
배포 IT 인프라 및 AI 모델 조작 환경 보호

✅  인프라 보안

• 시스템 수명 주기의 모든 부분에서 사용되는 인프라에 우수한 인프라 보안 원칙을 적용
• 연구 개발 및 배포 과정에서 API, 모델 및 데이터, 그리고 해당 교육 및 처리 파이프라인에 적절한 액세스 제어를 적용

✅  지속적인 모델 보호

• 표준 사이버 보안 모범 사례 구현
• 쿼리 인터페이스에 제어 기능을 구현하여 액세스, 수정 및 차단 시도를 감지하고 방지

✅  인시던트 관리 절차 개발

• AI 시스템에 영향을 미치는 보안 인시던트의 불가피성은 인시던트 대응, 에스컬레이션 및 수정 계획에 반영
• 계획은 다양한 시나리오를 반영하며 시스템과 광범위한 연구가 발전함에 따라 정기적으로 재평가
• 회사의 중요한 디지털 리소스를 오프라인 백업에 저장

✅  책임감 있는 AI 출시

• 벤치마킹, 레드팀(같은 조직안에서 모의 적군의 입장을 갖고 현 조직내의 보안적 문제점이 무엇인지 살펴보는 팀) 구성 등 적절하고 효과적인 보안 평가를 거친 후에만 모델, 애플리케이션 또는 시스템을 출시하고, 알려진 제한 사항을 사용자에게 명확히 알림

✅  사용자가 올바른 작업을 쉽게 수행할 수 있도록 지원

• 새로운 설정 또는 구성 옵션이 도출하는 비즈니스상의 이점 및 이로 인해 발생하는 보안 위험을 함께 평가
• 기본 옵션은 일반적인 위협에 대해 광범위하게 안전
• 악의적인 방법으로 시스템을 사용하거나 배포하지 못하도록 제어 기능 적용

4. 안전한 운영 및 유지 관리 (Secure operation and maintenance)
시스템 행동 모니터링 및 자동 업데이트 보안대책 적용

• 보안에 영향을 미치는 행동의 갑작스럽고 점진적인 변화를 관찰할 수 있도록 모델과 시스템의 출력과 성능을 측정

✅ 시스템 입력 모니터링

• 개인정보 보호 및 데이터 보호 요건에 따라 시스템에 대한 입력을 모니터링하고 업데이트에 대한 보안 설계 

• 모든 제품에 기본적으로 자동 업데이트를 포함하고 안전한 모듈식 업데이트 절차를 사용하여 업데이트를 배포
• 업데이트 프로세스는 데이터, 모델 또는 프롬프트의 변경이 시스템 동작의 변경으로 이어질 수 있다는 사실을 반영 (예: 주요 업데이트를 새 버전처럼 취급)
• 사용자가 모델 변경 사항을 평가하고 이에 대응할 수 있도록 지원 (예: 미리 보기 액세스 및 버전이 지정된 API 제공)

✅ 배운 교훈 수집 및 공유 정보 공유

• 커뮤니티에 참여하여 업계, 학계, 정부의 글로벌 에코시스템 전반에서 협력하여 모범 사례를 적절히 공유
• 보안 연구원이 취약점을 조사하고 보고할 수 있도록 동의를 제공하는 등 조직 내외부에서 시스템 보안에 관한 피드백을 받을 수 있는 열린 커뮤니케이션 라인을 유지

안전한 AI 시스템 개발 가이드라인 개발 및 공표에 함께 참여한 각국 보안 기관들
(이미지 출처 : Guidelines for secure AI system development)

이번 호는 샘 알트만 Open AI 해고 사건의 배경으로 언급되는 '안전한 AI 개발'과 관련 있는 국정원이 발표한 안전한 AI 시스템 개발 가이드라인(Guidelines for secure AI system development) 내용을 중심으로 구성되었어요. 영어로 되어 있는 원문을 한국어로 번역하고, 이해하기 쉽게 개조식 구성으로 재정리했습니다. 

'안전한 AI 시스템 개발 가이드라인'에서는 개발 과정 전반에 걸쳐 ‘보안 내재화(Design by Secure)’를 강조하면서 보안에 대한 책임, 책임성·투명성 보장, 기업 영업시 보안 내재화를 최우선적 고려 해야 한다고 얘기합니다.  

안토니우 구테흐스 유엔(UN) 사무총장은 “인공지능(AI)은 통제 불가능한 ‘괴물’이 될 수 있다.”며 AI 인류 위협설을 언급하며 AI 규제를 위한 국제 전문기구 수립을 제안했고, 유엔 자문기구는 현재 인공지능 관련 국제기구 설립을 준비 중입니다.

이처럼 AI 기술 개발 못지 않게 통제 불가능이 될 수 있는 AI의 특징과 위협성을 인지하고 사전에 대비할 수 있도록 올바른 가이드라인 수립 및 정책과 규제의 발전도 어느때보다 중요하다고 생각합니다. 

매일 쏟아져나오는 수많은 AI 서비스, 계속 빠르게 진화하는 AI 기술이 인류에게 필요한 가치를 제공하는 만큼 위협이 될 가능성이 있다면, 개발할 때부터 사전에 위협을 최소화할 수 있도록 보안 요소의 강화와 사회적 책임 의식이 필요해 보입니다. 

오늘 알아 본 '안전한 AI 시스템 개발 가이드라인'의 이해를 통해 인류를 위협하지 않고, 안전하면서도 멋진 AI 서비스를 만드시길 바래요! 

인시던트 관리는 예기치 않은 이벤트나 서비스 중단에 대응하고 서비스를 정상화하는 프로세스입니다. 인시던트는 서비스 중단이나 서비스 품질 저하를 야기하는 이벤트로, 즉각적인 대응이 필요합니다.