LLM의 한계

• 입력된 Text의 패턴에 따라 확률적으로 다음에 출력된 Text를 예측해주는데 충실함.
  • ex) “세종대왕이 맥북으로 …” ⇒ 세종대왕이 맥북으로 보고서를 만들었다.
  • 즉, 할루시네이션이 발생함
• 이를 해결하기 위한 방법
  1. Fine-Tuning
  2. In-Context Learning

In-Context Learning

Fine-tuning과 달리 모델을 업데이트 하지 않고 질문을 잘 만들어서 원하는 출력을 만들자

• Zero-shot Learning

  예시 없이 Task를 주면 바로 대답이 가능한 경우

  <aside> 🤖

  • Prompt: “이 영화는 너무 지루해” 라는 문장의 감정을 분석해줘

  • GPT: 부정적인 감정입니다. </aside>

  • 보통 이렇게 잘 나오지 않기 때문에 예시를 줘야한다.

• One-shot Learning

  하나의 예시를 주고 Task를 수행하는 경우

  <aside> 🤖

  • Prompt:
    • “그 영화는 너무 지루해” → 부정적
    • “그 영화는 심심했어” →
  • GPT:
    • 부정적 </aside>

Prompt Learning

• In-context Learning의 특성으로 인해 Prompt Engineering이라는 개념이 등장함.
  • ⇒ Prompt를 정교하게 구성해서
    • 모델의 지식을 최대한 이끌어내고
    • 사용자의 의도에 맞게 조정하자
  • ex) Chain of Thought
    • 문제 해결 과정을 단계별로 설명하라고 요구
      • → 모델이 정확한 답변을 만들도록 유도함
• 🔻 하지만 Prompt를 아무리 잘 만들어도 Model이 갖고 있는 정보가 없다면 한계가 있다.

<aside> 💡

결론:

특정 도메이이나 Task에 대해서는 Fine-tuning기법이 효과적

→ Dataset 준비가 필요함 → Task에 특화되어 있어서 유형이 달라지면 대응이 어려움

이미 모델이 해당 Domain에 대한 정보를 충분히 갖고 있다면 In-context learning이 효과적

</aside>

Instruct Tuning

• Fine-tuning과 In-context learning을 합친 방법
• 즉, Fine-tuning과정에서 모델에게 **구체적인 지시(insturction)**과 적절한 **응답(output)**을 사용함