미래에 할 수 있는 경험을 사전 예약하신 퓨처드릴 구독자, 드릴러 🛠️ 여러분 안녕하세요! AI와 UX의 알쏭달쏭한 점들을 알려 drill 퓨처드릴 에디터 쏭🍄 입니다. 

프롬프트는 무엇일까요? ... 텍스트? 입력된 내용?

많은 프롬프트는 지시문 또는 질문의 형태로 지시를 제공합니다. 이는 프롬프트의 핵심 의도이며, 때로는 단순히 "의도"라고도 불립니다.

Zero-Shot 방법은 모델에 예시나 추가적인 정보를 제공하지 않고, 단순히 지시문만 주어지는 접근 방식입니다. 이 방법은 모델이 문제를 해결하기 위해 예시를 생성하거나 제공할 필요가 없어 간단하고 빠릅니다. 그러나, 이 방식은 모델이 주어진 지시문을 명확하게 이해하지 못하거나 해석을 잘못할 가능성이 있습니다.

 Few-Shot 방법은 모델에게 문제를 해결하기 위해 몇 가지 예시를 제공하는 접근 방식입니다. 이 방법은 모델이 특정 작업이나 질문에 대해 어떤 방식으로 답변을 해야 하는지 예시를 통해 학습할 수 있도록 도와줍니다. 몇 가지 예시를 제공함으로써, 모델은 주어진 지시문을 보다 잘 이해하고, 그에 따른 적절한 출력을 생성할 가능성이 높아집니다.

 Few-Shot 방법은 모델이 다양한 작업을 더 잘 수행할 수 있게 돕지만, 제공된 예시가 충분히 대표적이지 않거나 불완전할 경우, 모델의 결과가 원하는 대로 나오지 않을 수 있습니다. 이 방법은 모델의 성능을 향상시키는 데 유용하지만, 예시의 품질과 관련성이 중요한 역할을 합니다.

Generated Knowledge Prompting은 지식을 생성하여 프롬프팅에 활용하는 방법입니다. 이 방법은 모델이 기존의 예시가 아니라 새로운 지식을 생성하여 문제 해결에 활용할 수 있도록 합니다.

Generated Knowledge Prompting은 다음과 같은 두 단계로 진행됩니다:

1. 지식 생성: 첫 번째 단계에서는 주어진 문제에 대한 관련 지식을 생성합니다. 이는 언어 모델이 여러 예제를 바탕으로 질문과 관련된 지식 진술을 생성하는 과정입니다.

2. 예측 및 선택: 두 번째 단계에서는 생성된 지식 진술을 바탕으로 또 다른 언어 모델이 예측을 수행합니다. 이 단계에서, 여러 지식 진술로부터 가장 신뢰도가 높은 예측을 선택하여 최종적인 답변을 도출합니다.

이 방법은 기존의 Few-Shot 방식에서 제공하는 예시 대신, 모델이 생성한 지식을 사용하여 더 풍부하고 맥락에 맞는 정보를 제공할 수 있습니다. 이를 통해 모델이 더 정확하고 합리적인 추론을 할 수 있도록 돕습니다.

1 단계 - 문서 검색을 위한 쿼리

Retrieval-Augmented Generation는 외부 지식 소스를 활용하여 모델의 응답 정확성과 신뢰성을 향상시키는 방법입니다. 일반적인 사용 환경에서는 추가적인 배경지식이 필요하지 않을 수 있지만, 보다 정확한 추론이 필요한 상황에서는 외부 지식을 통해 사실적 일관성을 높이고 신뢰성 있는 응답을 생성하는 것이 중요합니다.

RAG는 다음과 같은 과정을 포함합니다:

1. 문서 검색: 입력 쿼리를 바탕으로 외부 지식 소스(예: 위키피디아)에서 관련 문서나 정보를 검색합니다. 이 과정에서는 주어진 입력과 관련된 지원 문서들을 찾는 것이 핵심입니다.

2. 정보 통합: 검색된 문서들은 원래 입력 프롬프트와 연결되어, 텍스트 생성기에 공급됩니다. 이 텍스트 생성기는 검색된 정보를 바탕으로 최종 출력을 생성합니다.

이러한 방식으로 RAG는 언어 모델의 정적 매개변수 지식의 한계를 극복하고, 최신 정보와 사실적 일관성을 보장할 수 있습니다. RAG는 검색 기반 생성을 통해 동적인 정보 업데이트를 가능하게 하며, 재교육 없이도 신뢰할 수 있는 출력물을 생성할 수 있습니다.

Directional Stimulus Prompting은 대규모 언어 모델을 더욱 효과적으로 안내하여 원하는 요약을 생성하도록 하는 새로운 프롬프팅 기법을 제안합니다. 이 기법은 언어 모델이 자극(stimulus) 또는 힌트(hint)를 생성하도록 훈련되며, 이를 통해 모델이 더 잘 동작하도록 돕습니다.

Directional Stimulus Prompting의 주요 특징은 다음과 같습니다:

1. 자극 생성: 이 기법에서는 언어 모델이 특정 작업을 수행하기 위해 자극이나 힌트를 생성합니다. 이러한 힌트는 모델이 문제를 해결하는 데 필요한 방향을 제시하는 역할을 합니다.

2. 강화 학습(RL) 활용: 대규모 언어 모델을 최적화하기 위해 강화 학습 기법이 적용됩니다. 이를 통해 모델이 제공하는 힌트의 품질을 개선하고, 최적의 결과를 도출하는 데 도움을 줍니다.

3. 정책 언어 모델: 정책 언어 모델은 '블랙박스' 고정 대규모 언어 모델을 효과적으로 안내하기 위해 작은 규모로 최적화됩니다. 이러한 정책 모델은 제공된 자극을 바탕으로 대규모 모델이 더 나은 출력을 생성할 수 있도록 돕습니다.

Self-Consistency는 프롬프트 엔지니어링의 진보된 기법 중 하나로, Chain-of-Thought (CoT) 프롬프트의 성능을 향상시키기 위해 개발되었습니다. Self-Consistency는 다양한 추론 경로를 샘플링하고, 여러 번의 프롬프트 생성 과정을 거쳐 가장 일관된 답을 선택하는 접근 방식을 채택합니다. 이를 통해 산술 및 상식적인 추론과 관련된 작업에서 Chain-of-Thought 프롬프트의 성능을 더욱 향상시킬 수 있습니다.

Self-Consistency는 다음과 같은 절차로 작동합니다:

1. 샘플링: 언어 모델을 사용하여 다양한 추론 경로를 생성하기 위해 샘플링을 수행합니다. 이 과정에서 각 추론 경로는 서로 다른 최종 답을 초래할 수 있습니다.

2. 마진화: 생성된 다양한 추론 경로에서 최종 답변을 마진화하여 가장 일관된 답을 선택합니다. 이는 여러 다른 사고 방식이 동일한 답에 도달할 때, 최종 답이 올바를 확신할 수 있는 인간의 경험과 유사한 접근 방식입니다.

이 기법은 탐욕적 디코딩에서 발생할 수 있는 반복성과 지역 최적화 문제를 피하며, 단일 샘플링 생성의 확률적 문제를 완화합니다. Self-Consistency는 Chain-of-Thought 프롬프트의 성능을 향상시키기 위한 유용한 방법으로, 복잡한 추론 문제를 해결하는 데 효과적입니다.

Tree of Thoughts (ToT)는 '생각의 사슬 (Chain-of-Thought, CoT)' 프롬프팅 기법을 일반화한 접근 방식입니다. ToT는 언어 모델을 활용하여 문제 해결을 위한 중간 단계 역할을 하는 생각에 대한 탐색을 촉진합니다. 이 기법은 다음과 같은 방식으로 작동합니다:

1. 중간 단계의 일관된 언어 시퀀스: ToT는 문제 해결을 위한 중간 단계를 일관된 언어 시퀀스로 표현하는 Tree of Thoughts를 유지합니다. 이는 문제를 해결하는 과정에서 생성되는 각 중간 단계를 체계적으로 정리하고, 각 단계 간의 관계를 명확히 하는 데 도움을 줍니다.

2. 신중한 추론 과정: 이 접근법은 언어 모델이 신중한 추론 과정을 통해 문제를 해결하도록 지원합니다. 각 중간 단계는 문제 해결 과정의 일환으로 생성되고, 평가되며, 전체 문제를 해결하기 위해 필요한 모든 중간 단계를 고려할 수 있도록 합니다.

3. 탐색 알고리즘의 결합: ToT는 너비 우선 탐색(BFS)과 깊이 우선 탐색(DFS) 등의 탐색 알고리즘과 결합되어 있습니다. 이를 통해 모델은 다양한 추론 경로를 체계적으로 탐색하고, 필요에 따라 선제적 탐색과 백트래킹을 통해 최적의 해결책을 찾을 수 있습니다.

이러한 방식으로 ToT는 문제를 해결하기 위한 중간 단계를 생성하고 평가하는 능력을 향상시킵니다. 결과적으로, 복잡한 문제를 해결하기 위해 더 정교하고 체계적인 접근을 가능하게 합니다.

멀티모달 Chain-of-Thought (CoT)는 기존의 Chain-of-Thought (CoT) 기법을 텍스트와 이미지와 같은 다양한 데이터 형식으로 확장한 접근 방식입니다. 이 방법은 복잡한 추론 작업에서 텍스트와 이미지를 동시에 활용하여 보다 풍부한 정보를 제공합니다. 멀티모달 CoT의 주요 단계는 다음과 같습니다:

1. 근거 생성 (Rationale Generation): 첫 번째 단계에서는 멀티모달 정보를 기반으로 근거를 생성합니다. 즉, 텍스트와 이미지를 결합하여 문제를 해결하기 위한 정보적 근거를 생성합니다. 이 단계에서는 멀티모달 데이터의 통합과 분석을 통해 문제를 이해하고 관련된 정보를 추출합니다.

2. 답변 추론 (Answer Inference): 두 번째 단계에서는 생성된 정보적 근거들을 활용하여 최종 답변을 도출합니다. 이 단계에서는 첫 번째 단계에서 생성된 근거들을 바탕으로 문제에 대한 답변을 추론하고 생성합니다.

이러한 접근 방식은 멀티모달 CoT 모델이 텍스트와 이미지를 통합적으로 활용하여 보다 정확하고 풍부한 추론을 가능하게 합니다.