ChatGPT API - 1. ChatGPT 기반 서비스의 유형 분류

패스트캠퍼스 - ChatGPT API를 활용한 챗봇 서비스 구축 with LangChain & Semantic Kernel

Part 2. ChatGPT 서비스의 분류

 

 

서비스의 유형 분류

1. 선택형 서비스: 우리가 사용하고 있는 대부분의 웹, 앱
2. 대화형 서비스: 챗봇 기반으로 대화를 통해 사용
3. 임베디드형 서비스: 특정 조건이 만족되면 등장

 

 

선택형 서비스

• ChatGPT가 등장하기 이전에 대부분의 서비스가 선택형
• 유저의 입력, 클릭을 기반으로 소통
• 사용자의 자유도 제한
• 제품 팀의 입장에서는 사용자의 행동 패턴을 예측하기 쉬움

 

 

대화형 서비스

• ChatGPT의 등장 이후 급격히 확산
• 유저와 서비스가 대화를 통해 상호 작용
• 서비스를 이용 과정에서 많은 제한이 사라짐
• 사용자의 행동 패턴을 예측하기 어려움

 

임베디드형 서비스

• 유저와 직접적 소통보다는 유저의 행동을 지켜보다가 등장 (트리거)
• 주로 에디터에서 활용
• 자동 완성을 제공하는 형태

 

 

세대 분류

 

• 1세대: 기본 ChatGPT API 사용
  • ChatGPT가 처음 등장했을 때 대부분의 챗봇이 1세대
  • 빠르게 만들기 쉬움
  • 단순히 ChatGPT API를 중개하는 역할
  • 빠르게 등장했다가 빠르게 사라짐

 

• 2세대: ChatGPT API 오케스트레이션
  • 기존 챗봇 빌더들의 작동 방식과 유사 (Intent 기반)
  • 유저의 입력을 받고, 의도를 파악한 다음, 미리 정의한 시나리오대로 실행
  • 기획 단계에서 고민의 시간이 필요
  • 시나리오 기반으로 여러 개의 Prompt를 작성
  • Prompt Chaining 사용 (ex 유저가 여행 계획을 요청할 경우, 계획을 생성하고 표 형태로 정리)
  • 다수의 프롬프트를 관리해야하기 때문에 복잡함
  • 2세대부터 프레임워크가 있으면 훨씬 편리

 

• 3세대: 외부 데이터 연결
  • 프롬프트에 데이터를 포함시켜 풍부한 답변 생성
  • 다양한 API, Database 연동하여 사용
  • 2023년 7월 기준, 서비스로 만들기 가장 적합한 구조
  • User Data
  • APIs: Web Search, Weather, Booking
  • Vector Database: Documents
  • Plugins: ChatGPT Plugins

 

• 4세대: Agent 사용
  • Agent의 종류
    • Conversational: 사용가능한 스킬셋을 기반으로 1~2턴 이내에 빠르게 해결
    • Planning: 목표가 주어졌을 때 스킬셋 기반으로 해결 과정을 설계하고 하나씩 수행
    • Multi Agent: 목표가 주어졌을 때, 정체성을 가진 여러 에이전트들이 협력
  • Agent 특징
    • LLM이 사용자 메세지에 대한 답을 주기 위해 스스로 해결 방식을 고민
    • 시나리오 방식에서 벗어날 수 있음 (최소한의 Intent 분기는 필요함)
      • Agent의 권한 관리가 중요함
    • 실험 단계, GPT-4로 인한 제약들
      • 비싼 가격, 사용량 제한, 느린 속도 등
    • 디버깅이 까다로움, Wandb 같은 Tracing 라이브러리 사용을 권장
  • Agent를 언제 사용하면 좋을까
    • 시나리오 기반 제품을 만들기엔 너무 경우의 수가 많을 경우
      • 하지만 문제 해결을 위한 툴은 준비가 잘 되어 있어야 함
    • 비용에 대한 걱정이 별로 없을 경우
      • 고객들에게 비싼 가격을 받을 수 있거나 한번 실행으로 여러 번 사용 가능한 경우
    • 대기 시간이 길어도 사용자가 이해할 수 있는 경우

 

분류 별 Use Case

1. 선택형 + 오케스트레이션
   • 처음으로 시작해 보기 가장 쉬운 구조
   • ChatGPT로 문서 생성, 요약 등
2. 대화형 + 오케스트레이션
   • 제품을 대화형으로 확장
   • 챗봇이 없던 기업이 코파일럿을 만들어 가는 사례
   • 컨설팅 수요가 가장 많음
3. 선택형 + 에이전트
   • 주로 시간이 오래 걸리지만 어려운 작업들을 대상으로 함 (ex 웹서치를 포함한 리포트 생성)
   • Planning Agent: 목표가 주어졌을 때 스킬셋 기반으로 해결 과정을 설계하고 하나씩 수행
   • Multi Agent: 목표가 주어졌을 때, 정체성을 가진 여러 에이전트들이 협력
4. 대화형 + 에이전트
   • 대화형+오케스트레이션의 다음 단계
   • 복잡하고 어려운 목표보다는 간단하지만 경우의 수가 많을 경우 사용
   • 멀티모달 환경(이미지, 오디오, ...) 에서 활약할 수 있음